AI インフラストラクチャを計画して作成する

このドキュメントでは、AI Hypercomputer で AI ワークロード用のクラスタを作成する方法について説明します。具体的には、このドキュメントでは、クラスタの起動時に行うプロセスと選択について説明します。手動評価の代わりに、 Google Cloud コンソールで Gemini にプロンプトを入力して、ワークロードと予算の消費オプションを比較できます。詳細については、Compute Advisor を使用して AI インフラストラクチャを設計するをご覧ください。

このドキュメントは、モデル トレーニングや推論など、AI ワークロードと ML ワークロードで一般的に使用される用語に精通していることを前提としています。また、デプロイに最適なマシンタイプと容量のニーズを判断する必要がある特定の AI ワークロード（基盤モデルの事前トレーニング、ファインチューニング、推論など）を特定していることも前提としています。

クラスタを起動する

クラスタを起動する手順は次のとおりです。

  1. ワークロードを決定してマシンタイプを選択する
  2. 使用オプションを選択して容量を取得する
  3. デプロイ オプションを選択する
  4. オーケストレーターを選択する
  5. オペレーティング システムとクラスタ イメージを選択する
  6. クラスタを作成する
  7. ワークロードのストレージをプロビジョニングする

ワークロードを決定してマシンタイプを選択する

AI ワークロードのマシンタイプを選択します。AI Hypercomputer は、クラスタ化された GPU と一般的な GPU の両方のクラスタ作成をサポートしています。

選択に役立つように、ワークロードの要件を特定し、推奨されるマシンタイプと GPU タイプに一致させます。

  • クラスタ化された GPU: 基盤モデルの事前トレーニング、大規模モデルのファインチューニング、複数のホストにわたる推論など、大規模で高パフォーマンスのワークロードに最適です。
  • 汎用 GPU: 主流の推論とサービング、検索拡張生成（RAG）、費用対効果の高い小規模から中規模のモデルのトレーニングとファインチューニングに最適です。

ワークロードを推奨されるマシンタイプに合わせるには、次の表を使用します。

GPU のタイプ ワークロードまたはユースケース 推奨マシンタイプ
クラスタ化された GPU 基盤モデルの事前トレーニングと複数のホストにわたる推論 A5X（NVIDIA Vera Rubin）*、A4X Max（NVIDIA GB300）*、A4X（NVIDIA GB200）*
大規模なモデルのトレーニング、ファインチューニング、推論 A4（NVIDIA B200）、A3 Ultra（NVIDIA H200 141 GB）
メインストリーム モデルの推論とファインチューニング A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB）
一般的な GPU 高スループットのエッジ サービングと推論 A3 Edge（NVIDIA H100 80 GB）
高パフォーマンスの単一ノード サービングと小規模なファインチューニング A2（NVIDIA A100）
コスト最適化されたエントリーレベルの推論 G4（NVIDIA RTX PRO 6000）、N1（NVIDIA T4 または V100）
メインストリーム推論、RAG、小規模から中規模のモデルのトレーニング G2（NVIDIA L4）

各マシンシリーズの詳細については、GPU アクセラレータについてをご覧ください。

使用オプションを選択して容量を取得する

選択したマシンタイプと、一般的な GPU またはクラスタ化された GPU のどちらを使用するかに基づいて、GPU リソースの使用オプションを選択します。

一般的な GPU の使用オプション

使用オプション 対象 最適な用途 リクエスト方法
オンデマンド すべての一般的な GPU。 容量の確保が必要ないワークロード。 コンピューティング インスタンスまたはクラスタを作成し、標準プロビジョニング モデルを指定します。手順については、VM インスタンスを作成するをご覧ください。

ヒント: 一般的な GPU 容量を取得できる可能性を高めるには、Flex Start または Spot を使用します。
標準予約と標準の将来の予約 すべての一般的な GPU。 即時（標準予約）または将来の特定の日付（標準の将来の予約）に容量を確保する必要があるワークロード。 オンデマンド予約または将来の予約リクエストを作成します。手順については、容量を予約するをご覧ください。
Flex Start A5X、A4X Max、A4X を除くすべての GPU マシンタイプ。 最大 7 日間継続する、有効期間が短い高密度のクラスタを必要とするワークロード。高密度のリソース割り当てと、サポートされているマシンタイプで最大 53% の割引を提供します。それ以外の場合は、標準のオンデマンド料金が適用されます。 Compute Engine、Cluster Director、Cluster Toolkit、または GKE を使用してリクエストを作成します。リソースは、使用可能になるとすぐにプロビジョニングされます（開始時間は即時ではありません）。手順については、容量を取得するをご覧ください。
Spot A5X、A4X Max、A4X を除くすべての GPU マシンタイプ。 フォールト トレラント、バッチ、または有効期間が短いワークロード。最大限の割引（61 ～ 90%）が適用されますが、コンピューティング リソースはいつでもプリエンプトされる可能性があります。 Spot プロビジョニング モデルを使用して、インスタンスまたはノードプールをすぐに作成します。手順については、容量を取得するをご覧ください。

クラスタ化された GPU の使用オプション

使用オプション 対象 最適な用途 リクエスト方法
容量ブロックの将来の予約 すべてのクラスタ化された GPU と A3 Edge マシンタイプ。 基盤モデルの事前トレーニングや、複数のホストにまたがる基盤モデルの推論など、長期間にわたって安定性が必要なワークロード。この予約方法では、高密度のリソース割り当てとオプションの Hyperdisk プールが提供されます。また、リソースを 365 日以上予約すると、vCPU、メモリ、GPU、ローカル SSD ディスク、Hyperdisk プールの割引が適用されます。 Google アカウント チームを通じて、将来の日時と 90 日以上の期間でリソースをリクエストします。
カレンダー モードの将来の予約 A5X、A4X Max、A4X を除くすべてのクラスタ化された GPU。 最大 90 日間実行され、安定性が必要なワークロード（モデルの事前トレーニングやファインチューニングなど）。高密度のリソース割り当てと最大 53% の割引を提供します。 将来の日時でセルフサービス予約リクエストを作成します。 Google Cloud がリクエストを承認する必要があります。手順については、容量を予約するをご覧ください。
Flex Start A5X、A4X Max、A4X を除くすべての GPU マシンタイプ。 最大 7 日間継続する、有効期間が短い高密度のクラスタを必要とするワークロード。高密度のリソース割り当てと、サポートされているマシンタイプで最大 53% の割引を提供します。それ以外の場合は、標準のオンデマンド料金が適用されます。 Compute Engine、Cluster Director、Cluster Toolkit、または GKE を使用してリクエストを作成します。リソースは、使用可能になるとすぐにプロビジョニングされます（開始時間は即時ではありません）。手順については、容量を取得するをご覧ください。
Spot A5X、A4X Max、A4X を除くすべての GPU マシンタイプ。 フォールト トレラント、バッチ、または有効期間が短いワークロード。最大限の割引（61 ～ 90%）が適用されますが、コンピューティング リソースはいつでもプリエンプトされる可能性があります。 Spot プロビジョニング モデルを使用して、インスタンスまたはノードプールをすぐに作成します。手順については、容量を取得するをご覧ください。

デプロイ オプションを選択する

クラスタのデプロイに必要な制御レベルに応じて、次のオプションから選択します。

高度な管理

高度にマネージドなデプロイ オプションを使用すると、コンピューティング、ネットワーキング、ストレージ リソースの設定とオーケストレーションが自動化され、クラスタ管理の運用オーバーヘッドが削減されます。インフラストラクチャをデプロイして構成するには、Cluster Director、Cluster Toolkit、または GKE を使用します。

  • Cluster Director: クラスタの複雑なセットアップと構成を自動化するGoogle Cloud プロダクト。クラスタのコンピューティング、ネットワーキング、ストレージ リソースを構成して、パフォーマンスを最大化し、ダウンタイムを最小限に抑えることができます。Cluster Director は、クラスタの管理オーバーヘッドを回避し、ワークロードの実行に集中したい IT 管理者と AI 研究者を対象としています。

  • Cluster Toolkit: Google が提供するオープンソース ツール。GKE または Compute Engine のクラスタの構成とデプロイを簡素化します。事前定義されたブループリントを使用して、Slurm を使用する A4 マシンタイプなどの一般的な構成をデプロイします。ブループリントを変更して、デプロイとソフトウェア スタックをカスタマイズできます。

  • GKE: マネージド Kubernetes サービスとオープンソース コンテナ オーケストレーション プラットフォーム。GKE には、自動スケーリングや高可用性などの機能があります。また、コンテナ化されたアプリケーションのオーケストレーション、専用ハードウェアのサポート、 Google Cloudエコシステムとの互換性も備えているため、AI ワークロードや ML ワークロードのデプロイと管理に適しています。GKE クラスタは、GKE を直接使用するか、Cluster Toolkit を使用してデプロイできます。

管理が少なく、より細かい制御

クラスタとクラスタにインストールされているソフトウェアをより詳細に制御するには、マネージド Compute Engine インスタンス グループ（MIG）を使用するか、インスタンスを一括作成して、Compute Engine クラスタを作成します。その後、必要な主要なソフトウェアをインスタンスに手動でインストールします。

オーケストレーターを選択する

オーケストレーターは、クラスタの管理を自動化します。オーケストレーターを使用すると、クラスタ内の各コンピューティング インスタンスを管理する必要がなくなります。Slurm や GKE などのオーケストレーターは、ジョブのキューイング、リソース割り当て、自動スケーリング（GKE の場合）、その他の日常的なクラスタ マネージャー タスクなどを処理します。

  • Slurm: Slurm は、HPC、AI、ML ワークロードで一般的に使用されるオープンソースのオーケストレーターです。マネージド Slurm エクスペリエンスには、Cluster Director を使用できます。Slurm をネイティブで使用するには、Cluster Toolkit（クラスタに Slurm を自動的にインストールするクラスタ ブループリントを提供）を使用するか、Compute Engine クラスタに Slurm を手動でインストールします。

  • GKE: GKE は、オープンソースのコンテナ オーケストレーション プラットフォームである Kubernetes をベースに構築されたマネージド サービスです。GKE は、コンテナ化されたアプリケーションのオーケストレーション、専用ハードウェアのサポート、 Google Cloudエコシステムでの位置付けにより、AI ワークロードや ML ワークロードのデプロイと管理に最適です。GKE クラスタは、GKE を直接使用するか、Cluster Toolkit を使用してデプロイできます。

  • 独自のオーケストレーターを使用する: 他のオーケストレーターを使用するには、Compute Engine クラスタを使用します。Compute Engine クラスタの作成は、 Google Cloudで提供される最も管理が少ないオプションです。この選択は、インスタンスの設定、メンテナンス、更新をユーザーが担当することを意味します。

オペレーティング システム イメージを選択する

使用するイメージは、使用している GPU インフラストラクチャ（クラスタ化された GPU または一般的な GPU）と、クラスタのデプロイ方法（GKE、Slurm、Compute Engine）によって異なります。GKE クラスタの場合は、Container-Optimized OS を使用します。Compute Engine クラスタと Slurm クラスタの場合は、GPU などのアクセラレータ用に最適化されたオペレーティング システム イメージを選択します。また、ワークロードにディープ ラーニング ソフトウェア レイヤ（DLSL）コンテナ イメージを選択することもできます。

詳細については、AI Hypercomputer イメージをご覧ください。

GKE クラスタのイメージ

GKE クラスタを作成するには、Standard モードと Autopilot モードの両方でデフォルトのコンテナ OS イメージを使用します。ただし、標準モードでは、Ubuntu などの他の利用可能なイメージを使用することもできます。

Cluster Toolkit を使用してクラスタをデプロイする場合は、コンテナ OS イメージのみを使用できます。これは、これらのイメージがクラスタ ブループリントに組み込まれているためです。各ノードイメージの詳細については、GKE ドキュメントのノードイメージをご覧ください。

GKE には、NVIDIA CUDA や NCCL などのパッケージと PyTorch などの ML フレームワークをインストールするディープ ラーニング ソフトウェア レイヤ（DLSL）コンテナ イメージも用意されており、ディープ ラーニング ワークロードですぐに使用できる環境が提供されます。これらのビルド済みの DLSL コンテナ イメージは、GKE クラスタでシームレスに動作することがテストされ、検証されています。

Compute Engine クラスタの OS イメージ

AI Hypercomputer には、Compute Engine を使用して AI と ML のワークロードを実行するために最適化されたイメージが用意されています。最も使い慣れている OS を選択してください。

  • Rocky Linux 9 アクセラレータ
  • Rocky Linux 8 アクセラレータ
  • Ubuntu 24.04 LTS アクセラレータ
  • Ubuntu 22.04 LTS アクセラレータ

Cluster Toolkit を使用する場合、これらのアクセラレータ イメージはすでに Cluster Toolkit ブループリントにバンドルされています。これは、Cluster Toolkit が Ubuntu LTS Accelerator OS イメージを拡張するカスタム イメージを作成するためです。

各 OS イメージの詳細については、Compute Engine ドキュメントのオペレーティング システムの詳細をご覧ください。

クラスタを作成する

クラスタ作成プロセスを確認し、ワークロードの予備的な決定を行ったら、次のいずれかのオプションを使用してクラスタを作成します。

ワークロード用のストレージをプロビジョニングする

パフォーマンス、費用、ストレージ アーキテクチャの要件に基づいて、プロビジョニングするストレージ サービスを選択します。