本文總結如何在 AI Hypercomputer 上為 AI 工作負載建立叢集。具體來說，這份文件會引導您完成啟動叢集時的程序和選擇。除了手動評估，您也可以在 Google Cloud 控制台提示 Gemini，比較工作負載和預算的用量選項。詳情請參閱「使用 Compute Advisor 設計 AI 基礎架構」。
本文件假設您熟悉 AI 和機器學習工作負載的常用術語，例如模型訓練和推論。此外，我們也假設您已確定需要判斷最佳機器類型和容量需求的特定 AI 工作負載，例如基礎模型預先訓練、微調或推論。
啟動叢集
啟動叢集的步驟如下：
判斷工作負載並選擇機型
選取 AI 工作負載的機器類型。AI Hypercomputer 支援為叢集式 GPU 和一般 GPU 建立叢集。
為協助您選擇，請先判斷工作負載需求，並與建議的機型和 GPU 類型進行比對：
- 叢集式 GPU：最適合大規模、高效能的工作負載，例如預先訓練基礎模型、微調大型模型，以及跨多部主機推論。
- 一般 GPU：最適合主流推論和服務、檢索增強生成 (RAG)，以及符合成本效益的中小型模型訓練和微調。
請參閱下表，根據工作負載選擇建議的機型：
| GPU 類型 | 工作負載或用途 | 建議的機型 |
|---|---|---|
| 叢集式 GPU | 預先訓練基礎模型，並在多部主機上執行推論 | A5X (NVIDIA Vera Rubin)*、A4X Max (NVIDIA GB300)*、A4X (NVIDIA GB200)* |
| 大型模型訓練、微調和推論 | A4 (NVIDIA B200)、A3 Ultra (NVIDIA H200 141 GB) | |
| 主流模型推論和微調 | A3 Mega (NVIDIA H100 80 GB)、A3 High (NVIDIA H100 80 GB) | |
| 一般 GPU | 高處理量邊緣服務和推論 | A3 Edge (NVIDIA H100 80GB) |
| 高效能單一節點服務和小規模微調 | A2 (NVIDIA A100) | |
| 最具成本效益的入門級推論 | G4 (NVIDIA RTX PRO 6000)、N1 (NVIDIA T4 或 V100) | |
| 主流推論、檢索增強生成，以及中小型模型訓練 | G2 (NVIDIA L4) |
如要進一步瞭解各個機器系列，請參閱「關於 GPU 加速器」。
選擇用量方案並取得容量
請根據所選機型，以及您使用的是一般 GPU 還是叢集式 GPU，選擇 GPU 資源的使用模式。
一般 GPU 的計費模式
| 計費方案 | 適用的裝置 | 適用情境 | 如何提出要求 |
|---|---|---|---|
| 以量計價 | 所有一般 GPU。 | 不需要保證容量的工作負載。 | 建立運算執行個體或叢集，並指定標準佈建模式。如需操作說明，請參閱「建立 VM 執行個體」。 提示：如要提高取得一般 GPU 容量的機率，請使用彈性啟動或 Spot。 |
| 標準預留項目和標準未來預留項目 | 所有一般 GPU。 | 需要立即 (標準預留項目) 或在未來特定日期 (標準未來預留項目) 確保容量的工作負載。 | 建立隨需預留項目或未來預留項目要求。如需操作說明，請參閱「預留容量」。 |
| 彈性啟動 | 除了 A5X、A4X Max 和 A4X 以外的所有 GPU 機型。 | 需要短期密集叢集的工作負載，最長可持續七天。提供密集資源分配，支援的機型可享高達 53% 的折扣，否則適用標準隨選費率。 | 使用 Compute Engine、Cluster Director、Cluster Toolkit 或 GKE 建立要求。資源會在可用時立即佈建 (開始時間並非立即)。如需操作說明，請參閱「取得容量」。 |
| Spot | 除了 A5X、A4X Max 和 A4X 以外，所有 GPU 機型。 | 容錯、批次或短期工作負載。提供最大幅度的折扣 (61% 至 90%)，但運算資源隨時可能遭到占用。 | 使用 Spot 佈建模式，立即建立執行個體或節點集區。如需操作說明，請參閱「取得容量」。 |
叢集式 GPU 的使用選項
| 計費方案 | 適用的裝置 | 適用情境 | 如何提出要求 |
|---|---|---|---|
| 容量區塊的未來預留項目 | 所有叢集式 GPU 和 A3 Edge 機型。 | 需要長期穩定執行的工作負載，例如預先訓練基礎模型，或跨多部主機執行基礎模型推論。這個預留方法提供密集資源分配和選用的 Hyperdisk 集區，如果預留資源 365 天以上，還可享有 vCPU、記憶體、GPU、本機 SSD 磁碟和 Hyperdisk 集區的折扣。 | 透過 Google 帳戶團隊要求未來日期和時間的資源，且時間長度為 90 天以上。 |
| 日曆模式的未來預留項目 | 除了 A5X、A4X Max 和 A4X 以外的所有叢集式 GPU。 | 執行時間不超過 90 天且需要穩定性的工作負載，例如預先訓練或微調模型。提供密集資源分配，以及高達 53% 的折扣。 | 建立未來日期和時間的自助預留項目要求； Google Cloud 必須核准要求。如需操作說明，請參閱「預留容量」。 |
| 彈性啟動 | 除了 A5X、A4X Max 和 A4X 以外的所有 GPU 機型。 | 需要短期密集叢集的工作負載，最長可持續七天。提供密集資源分配，支援的機型最多可享 53% 折扣，否則適用標準隨選費率。 | 使用 Compute Engine、Cluster Director、Cluster Toolkit 或 GKE 建立要求。資源會在可用時立即佈建 (開始時間並非立即)。如需操作說明，請參閱「取得容量」。 |
| Spot | 除了 A5X、A4X Max 和 A4X 以外的所有 GPU 機型。 | 容錯、批次或短期工作負載。提供最大幅度的折扣 (61% 至 90%)，但運算資源隨時可能遭到先占。 | 使用 Spot 佈建模式，立即建立執行個體或節點集區。如需操作說明，請參閱「取得容量」。 |
選擇部署選項
視您對叢集部署作業所需的控管程度，選擇下列其中一個選項：
- 高度代管部署：代管服務會自動設定、調度管理及配置運算、網路和儲存空間資源。
- 代管程度較低、控管程度較高的部署作業：您需要手動建立及管理 VM、自訂環境和調度管理層。
高度管理
高度代管的部署選項可自動設定及調度管理運算、網路和儲存空間資源，減少叢集管理工具的營運負擔。如要部署及設定基礎架構，請使用 Cluster Director、Cluster Toolkit 或 GKE。
Cluster Director：這項Google Cloud 產品可自動完成複雜的叢集設定，協助您設定叢集的運算、網路和儲存空間資源，盡可能提高效能並縮短停機時間。Cluster Director 專為 IT 管理員和 AI 研究人員設計，可避免管理叢集的負擔，專注於執行工作負載。
Cluster Toolkit：Google 提供的開放原始碼工具，可簡化 GKE 或 Compute Engine 的叢集設定和部署作業。您可以使用預先定義的藍圖部署常見設定，例如搭配 Slurm 的 A4 機器類型。您可以修改藍圖，自訂部署作業和軟體堆疊。
GKE：代管式 Kubernetes 服務和開放原始碼容器自動化調度管理平台。GKE 提供自動調度資源和高可用性等功能。此外，GKE 還能自動調度管理容器化應用程式、支援專用硬體，並與 Google Cloud生態系統相容，非常適合部署及管理 AI 或機器學習工作負載。您可以直接使用 GKE 或 Cluster Toolkit 部署 GKE 叢集。
代管程度較低，控管程度較高
如要更精細地控管叢集和叢集上安裝的軟體，請使用代管 Compute Engine 執行個體群組 (MIG) 建立 Compute Engine 叢集，或大量建立執行個體。然後在執行個體上手動安裝所需的重要軟體。
選擇自動調度管理工具
自動調度管理工具會自動管理叢集。有了自動調度管理工具，您就不必管理叢集中的每個運算執行個體。Slurm 或 GKE 等自動調度管理工具會處理工作佇列、資源分配、自動調度資源 (GKE) 等工作，以及其他日常叢集管理工作。
Slurm：Slurm 是開放原始碼自動調度管理工具，常用於 HPC、AI 或機器學習工作負載。如要使用代管 Slurm 服務，請使用 Cluster Director。如要原生使用 Slurm，您可以使用 Cluster Toolkit (提供可在叢集上自動安裝 Slurm 的叢集藍圖)，也可以在 Compute Engine 叢集上手動安裝 Slurm。
GKE：GKE 是以 Kubernetes 為基礎建構的代管服務，Kubernetes 是開放原始碼容器自動化調度管理平台。GKE 具備容器化應用程式自動化調度管理功能、支援專用硬體，且在 Google Cloud生態系統中占有一席之地，因此非常適合用於部署及管理 AI 或機器學習工作負載。您可以直接使用 GKE 或 Cluster Toolkit 部署 GKE 叢集。
使用自有的自動調度管理工具：如要使用其他自動調度管理工具，請使用 Compute Engine 叢集。建立 Compute Engine 叢集是 Google Cloud提供的選項中，代管程度最低的一種。這表示您必須負責設定、維護及更新執行個體。
選擇作業系統映像檔
應使用的映像檔取決於您使用的 GPU 基礎架構 (叢集式 GPU 或一般 GPU)，以及您打算如何部署叢集 (GKE、Slurm 或 Compute Engine)。如果是 GKE 叢集，請使用 Container-Optimized OS。如果是 Compute Engine 和 Slurm 叢集，請選取針對加速器 (例如 GPU) 最佳化的作業系統映像檔。此外，您也可以為工作負載選取深度學習軟體層 (DLSL) 容器映像檔。
詳情請參閱「AI Hypercomputer 映像檔」。
GKE 叢集適用的映像檔
如要建立 GKE 叢集，請使用 Standard 和 Autopilot 模式的預設容器 OS 映像檔。不過，在 Standard 模式下，您也可以選擇使用其他可用的映像檔，例如 Ubuntu。
如果使用 Cluster Toolkit 部署叢集，則只能使用容器 OS 映像檔，因為這些是內建於叢集藍圖的映像檔。如要進一步瞭解各個節點映像檔，請參閱 GKE 說明文件中的「節點映像檔」。
GKE 也提供深度學習軟體層 (DLSL) 容器映像檔，可安裝 NVIDIA CUDA 和 NCCL 等套件，以及 PyTorch 等機器學習框架，為深度學習工作負載提供立即可用的環境。這些預先建構的 DLSL 容器映像檔經過測試和驗證，可在 GKE 叢集上順暢運作。
Compute Engine 叢集適用的 OS 映像檔
AI Hypercomputer 提供經過最佳化的映像檔，可使用 Compute Engine 執行 AI 和機器學習工作負載。選擇您最熟悉的 OS：
- Rocky Linux 9 加速器
- Rocky Linux 8 加速器
- Ubuntu 24.04 LTS 加速器
- Ubuntu 22.04 LTS 加速器
如果您使用 Cluster Toolkit，這些加速器映像檔已與 Cluster Toolkit 藍圖組合，因為 Cluster Toolkit 會建立自訂映像檔，擴充 Ubuntu LTS 加速器 OS 映像檔。
如要進一步瞭解各個 OS 映像檔，請參閱 Compute Engine 說明文件中的「作業系統詳細資料」。
建立叢集
查看叢集建立程序並初步決定工作負載後，請使用下列其中一種方式建立叢集：
- 建立 GKE 叢集：
- 建立 Slurm 叢集：
- 建立 VM 執行個體 (單一、大量或 MIG)
為工作負載佈建儲存空間
根據效能、成本和儲存空間架構需求，選擇要佈建的儲存空間服務。