GKE 上的 AI/机器学习工作负载简介

本页面从概念上简要介绍了 Google Kubernetes Engine (GKE) 如何处理 AI/机器学习工作负载。GKE 是由 Google 管理的 Kubernetes 开源容器编排平台。

Google Kubernetes Engine 提供了一个可伸缩、灵活且经济高效的平台,用于运行所有容器化工作负载,包括人工智能和机器学习 (AI/ML) 应用。无论您是要训练大型基础模型、大规模处理推理请求,还是要构建全面的 AI 平台,GKE 都能提供您所需的控制力和性能。

本页面适用于正在寻找可伸缩、自动化的托管式 Kubernetes 解决方案来运行 AI/机器学习工作负载的数据和 AI 专家、云架构师、运维人员和开发者。如需详细了解常见角色,请参阅常见的 GKE 用户角色和任务。

开始在 GKE 上运行 AI/机器学习工作负载

您可以使用 GKE 的免费层级,这使您无需支付集群管理费用即可开始使用 Kubernetes,只需几分钟即可开始探索 GKE。

  1. 在 Google Cloud 控制台中开始使用

  2. 试用以下快速入门:
    • 在 GKE 上推理:在 GKE 上部署 AI 大语言模型 (LLM),以使用预定义的架构进行推理。
    • 在 GKE 上训练:在 GKE 上部署 AI 训练模型,并将预测结果存储在 Cloud Storage 中。
  3. 阅读关于 AI/机器学习工作负载的加速器使用选项,其中提供了有关规划和获取平台加速器(GPU 和 TPU)的指导和资源。
  4. 在 Google Cloud 控制台中向 Gemini 撰写提示词,即可获得 AI 赋能的辅助功能,帮助您规划和设计 GKE 集群的基础设施。如需了解详情,请参阅使用 Compute Advisor 设计和优化 GKE 集群。

常见使用场景

GKE 提供了一个统一的平台,可支持您的所有 AI 工作负载。

  • 构建 AI 平台:对于企业平台团队,GKE 提供了构建标准化多租户平台的灵活性,可满足各种需求。
  • 低延迟在线传送:对于构建生成式 AI 应用的开发者,GKE 与推理网关相结合可提供所需的优化路由和自动扩缩功能,从而在控制成本的同时提供响应迅速的用户体验。

为 AI/机器学习工作负载选择合适的平台

Google Cloud 提供一系列 AI 基础设施产品,从全托管到完全可配置,可支持您的机器学习历程。选择合适的平台取决于您对控制、灵活性和管理级别的具体需求。

最佳实践:

如果您需要深度控制、可移植性以及构建自定义高性能 AI 平台的能力,请选择 GKE。

  • 基础架构控制和灵活性:您需要对基础架构进行高度控制,需要使用自定义流水线,或者需要进行内核级自定义。
  • 大规模训练和推理:您希望利用 GKE 的扩缩功能和高性能来训练非常大的模型或以极低延迟部署模型。
  • 大规模实现成本效益:您希望优先考虑成本优化,通过将 GKE 与 Spot 虚拟机和灵活启动型虚拟机集成,有效管理成本。
  • 可移植性和开放标准:您希望避免受制于供应商,并借助 Kubernetes 在任何地方运行工作负载,并且您已经具备 Kubernetes 方面的专业知识或制定了多云策略。

您还可以考虑以下替代方案:

Google Cloud 服务 支持的设备
Vertex AI 一个全托管式端到端平台,可加快开发速度并分担基础设施管理工作。非常适合专注于 MLOps 且希望快速实现价值的团队。如需了解详情,请观看在自托管 GKE 和托管式 Vertex AI 托管 AI 模型之间进行选择。
Cloud Run 一个无服务器平台,适用于可缩容至零的容器化推理工作负载。非常适合事件驱动型应用,并能以更优成本部署较小的模型。如需进行深入比较,请参阅 GKE 和 Cloud Run。

GKE 如何为 AI/机器学习工作负载提供支持

GKE 提供了一套专用组件,可简化和加速 AI/机器学习生命周期的每个阶段,从大规模训练到低延迟推理。

在下图中,GKE 位于 Google Cloud中,可以使用不同的云存储选项(例如 Cloud Storage FUSE 和 Managed Lustre)和不同的云基础设施选项(例如 Cloud TPU 和 Cloud GPU)。GKE 还可与用于深度学习(例如 JAX 或 TensorFlow)、机器学习编排(例如 Jupyter 或 Ray)和 LLM 推理(例如 vLLM 或 NVIDIA Dynamo)的开源软件和框架搭配使用。
图 1:GKE 是一个可伸缩的托管式平台,适用于 AI/机器学习工作负载。

下表总结了支持 AI/机器学习工作负载或运维目标的 GKE 功能。

AI/机器学习工作负载或运维 GKE 如何为您提供支持 主要特性
推理和部署 经过优化,可弹性地提供 AI 模型,具有低延迟、高吞吐量和高成本效益。
  • 加速器灵活性:GKE 支持 GPU和 TPU 进行推理。
  • GKE Inference Gateway:一种模型感知网关,专门为 AI 推理工作负载提供智能路由和负载均衡。
  • GKE 推理快速入门:一款工具,可为热门 AI 模型提供一组基准化配置文件,从而简化性能分析和部署。
  • GKE Autopilot:一种 GKE 运维模式,可自动执行集群运维和容量合理调整,从而减少开销。
训练和微调 提供必要的扩缩和编排功能,以便高效训练非常大的模型,同时最大限度地降低成本。
  • 更快的启动节点:专为 GPU 工作负载设计的优化,可将节点启动时间缩短多达 80%。
  • 由动态工作负载调度器提供支持的灵活启动预配模式:可提高您为短期训练工作负载获取稀缺 GPU 和 TPU 加速器的能力。
  • Kueue:一个 Kubernetes 原生作业排队系统,用于管理批量工作负载的资源分配、调度、配额管理和优先级。
  • TPU 多切片:一种硬件和网络架构,允许多个 TPU 切片通过数据中心网络 (DCN) 相互通信,以实现大规模训练。
统一的 AI/机器学习开发 为 Ray 提供托管式支持,Ray 是一种用于扩缩分布式 Python 应用的开源框架。
  • Ray on GKE 插件:抽象化 Kubernetes 基础设施,让您只需进行极少的代码更改,即可扩缩大规模数据预处理、分布式训练和在线传送等工作负载。
如果您希望 AI 赋能的助理帮助您为训练或服务工作负载选择加速器硬件、拓扑和使用选项,请在 Compute Advisor(预览版)中运行以下提示:

Compute Advisor Compute Advisor 是一款 AI 赋能的助理,您可以向其发出提示,根据配额限制、现有预留和资源位置限制等信息,获取针对基础架构的自定义建议。

此提示会评估项目的配额和预留,比较用于训练和应用工作负载的加速器硬件和拓扑,并生成包含推荐节点池配置的 Markdown 比较表。

现在你是一名 AI 基础设施架构师。请根据我项目的 GPU 和 TPU 配额、有效预留以及可用区域和可用区,帮我为 GKE 上的 AI/机器学习工作负载选择最佳加速器硬件、拓扑和使用选项。

请提供以下信息:

1. 项目就绪情况检查:检查我的项目在各个区域的 GPU 和 TPU 配额以及有效预留,以确定哪些加速器可以立即使用,以及哪些区域需要申请容量。

2. 训练与服务比较:针对我的工作负载类型,比较加速器和拓扑,例如用于大规模训练的多主机 GPU 节点池或 TPU 切片(包括 TPU 多切片),以及用于低延迟推理的单主机 GPU 或 TPU 节点池,比较维度包括加速器内存、互连带宽和伸缩限制。

3. 可用性和使用选项:为每个工作负载推荐一种使用选项(预留、灵活启动虚拟机、Spot 虚拟机或按需)和后备硬件,并说明如何使用 Kueue、ComputeClasses 和节点池自动创建功能来提高可用性。

以 Markdown 表格的形式列出每个工作负载、加速器、拓扑、使用选项和后备,提供可直接使用的 gcloud CLI 命令或 YAML 清单来创建节点池,最后提出 2-3 个关于模型大小、延迟时间目标和工作负载时长的问题,以便优化方案。

后续步骤