容量總覽

AI Hypercomputer 支援多種計費模式,協助您取得及使用運算資源。本文概略說明如何取得各項用量方案的運算資源。

如何取得容量

如要透過 AI 輔助功能評估容量取得選項和配額需求,請在 Compute Advisor 中執行下列提示:

Compute Advisor Compute Advisor 是採用 AI 賦能技術的助理,可根據配額限制、現有預留項目和資源位置限制等資訊,提供自訂的基礎架構建議。

這則提示會評估專案的配額和現有預留項目、比較不同消費選項的容量取得步驟,並輸出 Markdown 表格,列出建議的配額和預留項目動作。

你是 AI 基礎架構架構師。請根據我的專案配額、有效預留項目和可用區域,協助我在 AI Hypercomputer 中取得運算容量。

請提供下列資訊:

1. 專案配額和預留項目稽核:檢查專案在各區域的標準和先占 GPU 配額,以及有效預留項目,並找出哪些 GPU 機器系列有可用配額或有效預留項目,哪些則需要提高配額或預留項目。

2. 容量取得方式比較:根據我的專案和 VM 的機器系列,比較 AI Hypercomputer 目前和可用的使用模式,以及其特定特性,包括支援的 GPU 級別 (叢集式 GPU 和一般 GPU)、必要的配額類型、前置時間和計費模式。

3. 建議的取得路徑:針對長期執行的叢集式 GPU 工作負載、中期預留工作、短期密集工作和一般 GPU 部署作業,建議最佳的容量取得路徑。

請將比較結果格式化為 Markdown 表格 (包含「消耗選項」、「支援的 GPU」、「必要配額」和「計費模式」欄),提供可直接使用的 gcloud CLI 指令來預留容量或建立執行個體,最後提出 2 到 3 個關於目標 GPU 系列、節點數量和時間長度的問題,以便調整行動計畫。

下表說明如何取得各項用量選項的容量。

計費方案 取得容量的程序 定價影響
未來預留項目超過 90 天 (適用於容量區塊)

如要取得未來預留項目資源,請按照下列步驟操作:

  1. 請與帳戶團隊聯絡,預留資源。您可以單獨要求運算執行個體。如果工作負載需要儲存空間,您也可以為運算執行個體要求 Hyperdisk 集區。
  2. Google 會提高配額,並在您指定的日期和時間佈建要求的資源。
  3. 建立 Compute Engine 執行個體或叢集時,請指定與預留資源相符的預留項目繫結佈建模式和屬性。Compute Engine 會使用您預留的容量,佈建運算執行個體和叢集。
無論是否使用預留資源,您都必須支付整個預留期間的費用。詳情請參閱預留項目和儲存空間集區的定價。
未來預留項目最長 90 天 (日曆模式)

如要取得未來預留項目資源,請按照下列步驟操作:

  1. 搜尋可用容量並預留資源。
  2. 您無須支付配額,也不必採取任何行動。
  3. 建立運算執行個體或叢集時,必須指定預留繫結佈建模式。運算執行個體和叢集會從預留容量佈建。
無論是否在整個預留期間使用預留資源,您都必須支付整個預留期間的費用。詳情請參閱「Dynamic Workload Scheduler 定價」。
彈性啟動

這個消耗選項不需要預留項目。如要取得彈性啟動資源,請按照下列程序操作:

  1. 您必須針對要使用的 GPU 機型申請先占配額。
  2. 使用下列任一選項建立運算執行個體或叢集時,請指定彈性啟動佈建模式:

    當您要求的資源可用時,Compute Engine 會佈建 VM。VM 最多運作七天。

系統會在資源使用期間收費。使用彈性啟動佈建的資源會自動享有 Dynamic Workload Scheduler 定價折扣。
隨選

如果選擇這個用量選項,則可視需要預留容量。 隨選資源僅適用於一般 GPU (例如 N1、G2、G4、A2 或 A3 Edge)。如要取得這些隨選資源,請按照下列程序操作:

  1. 請針對要使用的機型申請標準 GPU 配額。詳情請參閱「要求提高配額」。
  2. 請在 Compute Engine 的依區域和可用區列出的 GPU 可用性清單中,查看硬體的偏好區域,確認是否可用。
  3. 建立運算執行個體或叢集,並指定標準佈建模式。系統會根據可用容量立即佈建資源。
使用資源時,系統會依標準隨選費率計費。
隨需預留項目

隨需預留項目 (有時稱為「預留項目」) 僅適用於一般 GPU (例如 G2、G4、A2 或 A3 Edge)。如要預留運算資源,請按照下列步驟操作:

  1. 請為您的機型申請標準 GPU 配額。詳情請參閱「要求提高配額」。
  2. 使用 Google Cloud 控制台、gcloud CLI 或其他方法,為特定 VM 和 GPU 類型建立隨需預留項目。如要進一步瞭解建立預留項目的所有方法,請參閱「為單一專案建立預留項目」。
  3. 建立執行個體或叢集,並指定特定預留項目,藉此佈建資源。
整個預留期間均適用標準費率。套用承諾使用折扣,大幅節省費用。
標準未來預留項目

如果選擇這個消耗選項,您會預留未來某個日期的容量。標準未來預留項目採用標準佈建模式,僅適用於一般 GPU。

  1. 請為您的機型申請標準 GPU 配額。詳情請參閱「要求提高配額」。
  2. 為特定 VM 和 GPU 類型建立未來預留項目要求。
  3. 預留項目達到開始時間時,請使用預留容量建立運算執行個體。
整個預留期間均適用標準費率。套用承諾使用折扣,大幅節省費用。
Spot

這個消耗選項不需要預留項目。如要取得 Spot 資源,請按照下列步驟操作:

  1. 您必須針對要使用的 GPU 機型申請先占配額。
  2. 查看您要建立運算執行個體的區域或可用區中的資源可用性。
  3. 建立運算執行個體或叢集時,請指定 Spot 佈建模式。系統會在容量可用時為您佈建資源,但隨時可能先占資源。
系統會在資源使用期間收費。Spot VM 會透過 Spot VM 定價自動取得折扣。

後續步驟