Cloud Run 中的 AI/機器學習自動化調度管理機制說明文件

閱讀產品說明文件

Cloud Run 是全代管平台，可讓您直接在 Google 的可擴充基礎架構上，執行容器化應用程式，包括 AI/機器學習工作負載。這項服務會為您處理基礎架構，讓您專心編寫程式碼，不必花時間操作、設定及擴充 Cloud Run 資源。Cloud Run 的功能如下：

  • 硬體加速器：存取及管理 GPU，大規模執行推論。
  • 支援框架：整合您熟悉且信任的模型服務框架，例如 Hugging Face、TGI 和 vLLM。
  • 代管平台：享有代管平台的所有優點，自動化、擴充及強化整個 AI/機器學習生命週期的安全性，同時保有彈性。

歡迎參閱教學課程和最佳做法，瞭解 Cloud Run 如何最佳化 AI/機器學習工作負載。

免費試用
  • 運用我們最新生成式 AI 模型和工具進行開發。
  • 免費使用 Compute Engine 和 AI API 等 20 多項熱銷產品。
  • 不會自動收費，也無需綁約
查看免費產品優惠

繼續探索 20 多項永久免費的產品

存取 20 多項常見用途的免費產品，包括 AI API、VM 和資料倉儲等。

說明文件資源

查看快速入門導覽課程與指南、瀏覽重要參考資料，並獲取常見問題相關說明。
瀏覽自修訓練課程、用途、參考架構和程式碼範例，瞭解如何使用及連結 Google Cloud 服務。
用途
用途

部署 Cloud Run 沙箱，在以 gVisor 為基礎的隔離容器中執行執行環境，安全地執行不受信任、由 AI 生成的程式碼。

安全性 沙箱 AI 執行程式碼

用途
用途

使用無伺服器設定和架構設計模式調整，最佳化 Cloud Run 容器化 LLM 推論的冷啟動延遲時間。

冷啟動 延遲時間 最佳化 大型語言模型

用途
用途

設定並強制執行 Model Context Protocol (MCP) 授權規則，確保部署在 Cloud Run 的 AI 代理能安全連線至遠端工具。

安全性 MCP 代理

用途
用途

直接從 Google AI Studio 的建構模式，將全端應用程式部署至 Cloud Run，並享有整合式 Firebase 和 Cloud SQL 備份支援。

AI Studio Firebase Cloud SQL 直覺式程式開發

用途
用途

在 Cloud Run 使用 NVIDIA L4 GPU 執行即時 AI 推論，包括快速冷啟動和將大型語言模型 (LLM) 的資源調度率降至零。

GPU LLM

用途
用途

瞭解如何使用 Cloud Run 打造可用於正式環境的 AI 應用程式。本指南說明多種用途，例如 A/B 測試提示詞的流量拆分、RAG (檢索增強生成) 模式，以及與向量儲存庫的連線能力。

AI 應用程式 A/B 測試的流量拆分 RAG 模式 向量儲存庫 與向量儲存庫的連線能力

用途
用途

從 Google AI Studio 一鍵部署至 Cloud Run 和 Cloud Run MCP (Model Context Protocol) 伺服器，在 IDE 或代理 SDK 中啟用 AI 代理，並部署應用程式。

MCP 伺服器 部署作業 Cloud Run

用途
用途

將 NVIDIA L4 GPU 與 Cloud Run 整合，以符合成本效益的方式提供 LLM 服務。本指南著重於將資源調度率降至零，並提供 Gemma 2 等模型搭配 Ollama 的部署步驟。

LLM GPU Ollama 成本最佳化

用途
用途

使用 Cloud Storage FUSE，將大型模型檔案與容器映像檔分離。解耦可縮短建構時間、簡化更新作業，並建立更具擴充性的服務架構。

模型封裝 Cloud Storage FUSE 最佳做法 大型模型

用途
用途

使用專為機器學習服務最佳化的 Cog 架構，簡化容器封裝和部署至 Cloud Run 的作業。

Cog 模型封裝 部署 教學課程

用途
用途

使用 Cloud Run 執行輕量級機器學習推論，並運用 Logging 和 BigQuery 等原生 Google Cloud 服務，建構符合成本效益的監控堆疊。

監控 MLOps 成本效益 推論

相關影片