部署作業的網路服務

您設定的網路服務取決於所選的部署選項 (VM 或叢集) 和基礎架構。

本文適用於架構師、網路工程師和開發人員，協助他們瞭解 AI Hypercomputer 部署作業的網路服務。本文件假設您對雲端網路和分散式運算概念有基本瞭解。如要進一步瞭解部署選項，請參閱「部署選項總覽」。

如要進一步瞭解網路架構、通訊協定和硬體拓撲，請參閱「GPU 網路總覽」。

使用 Cluster Toolkit 為 AI 最佳化 GKE 部署項目建立網路

使用 Cluster Toolkit 建立 AI 最佳化 GKE 叢集時，藍圖會按照下列方式設定網路：

  • 藍圖會將預設虛擬私有雲網路用於主要 GKE 叢集。
  • 這個模組會建立兩個額外的虛擬私有雲：一個用於第二個主機網路介面卡 (NIC)，另一個用於 GPU 對 GPU 遠端直接記憶體存取 (RDMA) 流量。
  • 藍圖會將預先設定、由 Google 管理的網路設定檔，套用至用於 GPU 流量的虛擬私有雲。這個設定檔會自動設定網路，提供高速、低延遲的 RDMA 效能。
  • 藍圖會自動在 RDMA 虛擬私有雲內建立八個專屬子網路，分別供加速器 VM 的各個 RDMA NIC 使用。
  • 設定防火牆規則，允許叢集內節點之間的所有 TCP、UDP 和 ICMP 流量。

為 GKE 部署項目建立網路

GKE 設定的網路設定取決於工作負載類型和基礎架構：

  • 如為一般 GPU 或非分散式工作負載，請建立不含 GPUDirect RDMA 的 GKE 叢集。這項設定會為所有通訊使用單一虛擬私有雲網路。
  • 如要使用叢集式 GPU 或分散式工作負載，請建立啟用 GPUDirect RDMA 的 GKE 叢集。這項設定會使用多重虛擬私有雲環境，將一般用途流量與高頻寬 GPU 對 GPU 通訊區隔開來。

為 Slurm 叢集部署項目建立網路

使用 Cluster Toolkit，透過可自訂的藍圖 (例如 A4 或 A3 Ultra 系列) 部署 AI 和機器學習工作負載。

藍圖為叢集式 GPU Slurm 部署作業設定的網路元件如下：

  • 藍圖會建立三個不同的虛擬私有雲：Slurm 控制層的主要虛擬私有雲、一般主機層級流量的次要虛擬私有雲，以及 GPU 對 GPU 通訊的專屬高效能虛擬私有雲。
  • 針對 GPU 資料層，藍圖會套用預先設定、由 Google 代管的網路設定檔，並針對 RoCE 進行最佳化。
  • 藍圖會設定 Filestore 服務所需的專屬 IP 位址範圍，為叢集提供共用的 /home 目錄。
  • 這項工具會建立臨時、獨立的映像檔建構虛擬私有雲，僅用於為叢集節點建構自訂 VM 映像檔。

Compute Engine 執行個體的網路

您可以使用 Compute Engine 建立獨立 VM、大量運算執行個體和代管執行個體群組 (MIG)。具體的網路需求取決於機型的基礎架構模型：

  • 叢集式 GPU：這些機器系列 (A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High，配備 8 個 GPU) 通常需要多重虛擬私有雲網路設定，才能將一般主機對主機流量，與高頻寬 GPU 對 GPU 通訊隔離。在單一子區塊中部署 A5X、A4X Max 和 A4X 時，RDMA 虛擬私有雲網路為選用，因為多節點 NVLink 網路架構會處理 GPU 對 GPU 通訊。
  • 一般 GPU：這些機器系列 (G2、G4、A2 和 N1，搭配 T4 或 V100) 採用單一虛擬私有雲架構，透過 gVNIC 介面進行所有通訊。A3 Edge 是例外狀況，需要四個資料虛擬私有雲和 GPUDirect-TCPX。

如要進一步瞭解機型的 NIC 和網路設定，請參閱「網路和 GPU 機器」。

後續步驟