密集配置政策和工作負載政策總覽

本文將概略介紹並比較密集配置政策和工作負載政策。這兩項政策都能讓您設定 Compute Engine 執行個體的配置,盡可能縮短網路延遲時間。

根據預設,您只需指定運算執行個體的可用區,即可管理其位置。如要建立彼此距離較近的運算執行個體,可以使用下列選項。詳情請參閱「AI 基礎架構資源共置」。

  • 下列資源已密集共置:

    • 使用相同未來預留項目 (容量區塊) 的資源。
    • 在日曆模式中,使用相同未來預留項目的資源。
    • 透過代管執行個體群組 (MIG) 大小調整要求,一併建立的資源。
  • 指定彈性啟動消耗選項時,您一起建立的資源可能會根據盡力而為的可用性密集共置。如果需要密集配置資源,請套用指定距離上限的密集配置政策,或指定距離上限的工作負載政策。

  • 否則,如要將資源放在相近的位置,請套用密集配置政策或工作負載政策。

    • 如需密集共置資源,請在政策中指定距離上限。
    • 如要根據盡力提供的可用性,密集共置資源,請勿在政策中指定最大距離。

如要進一步瞭解何時應使用密集配置政策,何時應使用工作負載政策,請參閱本文的「密集配置政策與工作負載政策比較」一節。

密集配置政策和工作負載政策的比較

下表摘要說明密集配置政策和工作負載政策之間的差異:

密集配置政策 工作負載政策
政策使用情形
  • 獨立執行個體
  • 使用 Bulk API 部署的執行個體
  • 搭載一般 GPU 的 MIG
具備叢集式 GPU 的 MIG
支援的機型 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High、A3 Edge、A2、G4 和 G2
  • 彈性啟動:A4 和 A3 Ultra
  • Spot 或預留項目:A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU)
分組語意

Compute Engine 會將使用相同密集配置政策的執行個體,放在較靠近的位置。

建議您為每個工作負載使用不同的配置政策。如果在執行不同工作負載的執行個體之間重複使用配置政策,會導致所有執行個體都放在一起。在這種共置情況下,當您向外水平擴展特定工作負載時,可能難以建立彼此相近的執行個體。

Compute Engine 會將執行個體放在使用工作負載政策的 MIG 中,且位置較為接近。

如果將工作負載政策重複用於執行不同工作負載的多個 MIG,系統會將個別 MIG 中的執行個體放在一起。如要訓練大型模型,且各組執行個體必須彼此隔離,則適合重複使用。

運算執行個體共置設定

如要盡可能將運算執行個體放在相同位置,請將 groupPlacementPolicy.collocation 欄位設為 COLLOCATED。

如要盡可能將運算執行個體放在相同位置,請將 workloadPolicy.type 欄位設為 HIGH_THROUGHPUT。

其他設定
  • 如要嚴格指定運算執行個體位置,請指定 maxDistance 欄位。
  • 如果是支援分區的機器系列 (例如 A4X Max 和 A4X),請指定 gpuTopology 欄位。
  • 如要嚴格指定運算執行個體位置,請指定 maxTopologyDistance 欄位。
  • 如果是支援分區的機器系列 (例如 A4X Max 和 A4X),請指定 acceleratorTopology 欄位。

詳情請參閱下列各節:

密集配置政策

將密集配置政策套用至獨立運算執行個體或大量建立的運算執行個體時,Compute Engine 會盡可能將運算執行個體建立在彼此相近的位置。如果應用程式需要最低網路延遲時間,請在建立密集配置政策時指定 maxDistance 欄位 (預先發布版)。

詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。

密集配置政策的距離上限值比較

最大距離值越低,運算執行個體就會越靠近,但也會增加無法建立部分運算執行個體的可能性。

下表列出各個最大距離值支援的機器系列和運算執行個體數量:

密集配置政策中的 maxDistance 工作負載政策中的 maxTopologyDistance 說明 支援的機器系列 運算執行個體數量上限
未指定 (不建議) 未指定 (不建議) Compute Engine 會盡可能將運算執行個體放在最靠近彼此的位置,但運算執行個體之間沒有最大距離。 A4X Max、A4X、A4、A3 Ultra、A3 Mega1、A3 High1、A3 Edge1、A2、G4 和 G2 1500
3 CLUSTER Compute Engine 會在相鄰區塊中建立運算執行個體。 A4、A3 Mega1、A3 High1、A3 Edge1、A2、G4 和 G2 1,500
2 BLOCK Compute Engine 會在同一個區塊中建立運算執行個體。 A4、A3 Ultra、A3 Mega1、A3 High1、A3 Edge1、A2、G4 和 G2
  • A3 Ultra、A3 Mega1、A3 High1 和 A3 Edge1:256
  • 所有其他支援的機器系列:150
1 SUBBLOCK Compute Engine 會在同一個子區塊中建立運算執行個體。 A3 Edge1、A2、G4 和 G2 22

1 如要將密集配置政策套用至 2025 年 10 月 1 日前建立的 A3 Mega、A3 High 或 A3 Edge 執行個體,請與帳戶團隊或銷售團隊聯絡。

工作負載政策

您可以透過工作負載政策,指定 MIG 中運算執行個體的配置和基礎架構。搭配 A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU) 使用工作負載政策,有助於盡可能縮短運算執行個體之間的網路延遲時間,並提升效能。

根據 MIG 中運算執行個體使用的機型,在下列情況下,工作負載政策為必要或選用:

  • 如要部署 A4X Max 或 A4X 執行個體的子區塊,必須使用工作負載政策。

  • 如要使用 A4、A3 Ultra、A3 Mega 或 A3 High (8 個 GPU) 執行個體,可以選擇是否要設定工作負載政策。

  • 工作負載政策不支援 A3 Edge、A2、G4、G2 和 N1 機器系列。如果 MIG 使用這些機器系列,您可以使用密集配置政策,將 VM 放在相同位置。

詳情請參閱 Compute Engine 說明文件中的「關於 MIG 中的工作負載政策」。

後續步驟