排解批次和工作階段建立失敗問題

本文提供疑難排解指引,協助您解決常見問題,順利啟動 Managed Service for Apache Spark 批次工作負載和互動式工作階段。

總覽

一般來說,如果批次或工作階段無法啟動,系統會回報下列錯誤訊息:

Driver compute node failed to initialize for batch in 600 seconds

這則錯誤訊息表示 Spark 驅動程式無法在預設逾時期間 (600 秒,即 10 分鐘) 內啟動。常見原因與服務帳戶權限、資源可用性、網路設定或 Spark 屬性有關。

批次和工作階段啟動失敗的原因和疑難排解步驟

以下各節列出批次和工作階段啟動失敗的常見原因,並提供疑難排解提示,協助您解決問題。

服務帳戶權限不足

Managed Service for Apache Spark 批次或工作階段使用的服務帳戶,必須具備特定 IAM 角色,包括 Managed Service for Apache Spark 作業權限,以及 Google Cloud 資源的存取權。如果服務帳戶缺少必要角色,批次或工作階段的 Spark 驅動程式可能無法初始化。

  • 必要 Worker 角色:批次或工作階段服務帳戶必須具備 Managed Service for Apache Spark Worker 角色 (roles/dataproc.worker)。這個角色包含 Managed Service for Apache Spark 佈建及管理運算資源所需的最低權限。
  • 資料存取權限:如果 Spark 應用程式會讀取或寫入 Cloud Storage 或 BigQuery,服務帳戶必須具備與這些服務相關的角色:
    • Cloud Storage:需要 Storage Object Viewer 角色 (roles/storage.objectViewer) 才能讀取,並需要 Storage Object Creator 角色 (roles/storage.objectCreator) 或 Storage Object Admin 角色 (roles/storage.admin) 才能寫入。
    • BigQuery:讀取時需要 BigQuery Data Viewer 角色 (roles/bigquery.dataViewer),寫入時則需要 BigQuery Data Editor 角色 (roles/bigquery.dataEditor)。
  • Logging 權限:服務帳戶需要具備將記錄寫入 Cloud Logging 的權限角色。通常 Logging Writer 角色 (roles/logging.logWriter) 就足夠。

疑難排解提示:

配額不足

如果超出 Managed Service for Apache Spark 或其他 Google Cloud 資源的專案或區域配額,可能無法啟動新的批次或工作階段。

疑難排解提示:

  • 請參閱 Managed Service for Apache Spark 配額頁面,瞭解並行批次、DCU 和重組儲存空間的限制。

    • 您也可以使用 gcloud compute quotas list 指令,查看專案和區域目前的用量和限制:
      gcloud compute quotas list --project=PROJECT_ID --filter="service:dataproc.googleapis.com"
      
  • 如果經常達到配額上限,建議透過 Google Cloud 控制台申請提高配額。

網路設定問題

如果網路設定不正確 (例如虛擬私有雲設定、私人 Google 存取權或防火牆規則),Spark 驅動程式可能無法初始化或連線至必要服務。

疑難排解提示:

  • 確認為批次或工作階段指定的虛擬私有雲網路和子網路設定正確,且有足夠的可用 IP 位址。

  • 如果批次或工作階段需要存取 Google API 和服務,且不透過公開網際網路傳輸,請確認子網路已啟用 Private Google Access。

  • 請檢查虛擬私有雲防火牆規則,確認不會不小心封鎖內部通訊,或輸出至 Spark 應用程式所需的 Google API 或外部服務。

Spark 屬性無效或應用程式程式碼問題

Spark 屬性設定錯誤 (尤其是與驅動程式資源相關的屬性),或 Spark 應用程式程式碼有問題,都可能導致啟動失敗。

疑難排解提示:

  • 檢查 spark.driver.memory 和 spark.driver.cores 值。確認這些值在合理範圍內,且與可用的 DCU 相符。如果這些屬性的值過大,可能會導致資源耗盡和初始化失敗。移除任何不必要或實驗性的 Spark 屬性,簡化偵錯作業。

  • 嘗試執行「Hello World」Spark 應用程式,判斷問題是環境設定所致,還是程式碼複雜度或錯誤造成。

  • 請確認為批次或工作階段指定的所有應用程式 JAR、Python 檔案或依附元件,都正確位於 Cloud Storage 中,且可由批次或工作階段服務帳戶存取。

查看記錄

如要診斷批次建立失敗的原因,關鍵步驟是查看 Cloud Logging 中的詳細記錄。

  1. 前往 Google Cloud 控制台的 「Cloud Logging」頁面。
  2. Filter for Managed Service for Apache Spark Batches or Sessions:
    1. 在「Resource」(資源) 下拉式選單中,選取 Cloud Managed Service for Apache Spark Batch 或 Cloud Managed Service for Apache Spark Session。
    2. 依 batch_id 或 session_id 篩選失敗的批次或工作階段。您也可以依 project_id 和 location (區域) 篩選。
  3. 尋找含有 jsonPayload.component="driver" 的記錄項目。這些記錄通常包含特定錯誤訊息或堆疊追蹤,可在 600 秒逾時前,找出驅動程式初始化失敗的原因。