借助 Application Design Center 中的 AI 预训练推理模板,您可以预配 Google Kubernetes Engine (GKE) 基础设施并部署模型服务工作负载。您可以使用 AI 预训练推理 GKE 集群模板设置安全的专用 GKE 集群,以实现高性能推理。然后,您可以使用 AI 预训练推理 GKE 工作负载模板(预览版),通过 Helm 图表和 vLLM 服务引擎部署预训练的 Gemma 模型。该工作负载配置了 GPU 资源请求和 Pod 横向自动扩缩器 (HPA),后者会根据 CPU 利用率进行扩缩。
例如,您可以部署集群和工作负载模板,以满足以下业务需求:
| 示例 | 业务需求 | 实现 |
|---|---|---|
| 实时视频分析 | 一家安全公司需要处理来自数百个摄像头的视频流,以实时检测异常或特定对象。 | 在支持 GPU 的节点池池上部署视频处理模型。GPU 可以处理并发视频流的高吞吐量、低延迟需求。 |
| 专用文档处理 | 一家保险公司需要每天从数千份理赔表单中自动提取信息,这些表单的布局和手写内容各不相同。 | 使用 GKE 集群托管自定义模型,并确保数据在处理过程中绝不会离开安全环境。 |
| 高容量商品推荐引擎 | 某电子商务平台需要在节日购物高峰期向用户提供个性化的商品推荐。 | 使用 Google Kubernetes Engine Gateway API 将大量用户流量路由到推荐模型。Gateway API 可以处理突发的流量高峰,而不会降低延迟。 |
架构
下图显示了模板中的组件和连接:
下面介绍了此模板中的组件配置:
GKE Standard 集群:一个安全且专用集群,用于运行 AI 工作负载。
下表介绍了此模板中的集群配置:
配置 用途 node_locations设置为["us-central1-a", "us-central1-b", "us-central1-c"]。通过将集群节点分布在 us-central1区域的三个可用区中,确保高可用性和弹性。enable_intranode_visibility设置为true。在 VPC 流日志中启用对同一节点中 Pod 间流量的可见性。网络监控、问题排查和安全分析都需要这种可见性。 gateway_api_config是使用{"channel":"CHANNEL_STANDARD"}启用的。GKE Inference Gateway API 可帮助您管理流向 Kubernetes 服务的入站流量。该 API 可帮助您配置精细路由、高级负载均衡和集中式政策附加。 private_cluster_config.enable_private_endpoint设置为false。private_cluster_config.enable_private_nodes的大小是true。control_plane_endpoints_config.dns_endpoint_config.allow_external_traffic设置为true。确保运行 AI 模型的工作器节点具有专用 IP 地址。这会将您的节点与公共互联网隔离开。GKE 控制平面已配置为可公开访问,以便您在 Virtual Private Cloud (VPC) 网络之外管理集群。 release_channel设置为{"channel":"REGULAR"}。确保您的 GKE 集群收到稳定且可预测的更新,在提供新功能的同时兼顾可靠性。 GKE 节点池:一组运行应用容器的工作器节点。
下表介绍了此模板中的节点池配置:
配置 用途 autoscaling.min_node_count设置为0。autoscaling.max_node_count设置为3(默认值为100)。当没有 AI 工作负载运行时,节点池可以完全缩容,从而降低空闲期间的费用。伸缩上限有助于控制费用和资源消耗。 添加了 node_config.guest_accelerator参数。gpu_driver_installation_config.gpu_driver_version:设置为"LATEST"。gpu_sharing_config已通过TIME_SHARING启用。max_shared_clients_per_gpu:设置为2。指定使用 NVIDIA L4 GPU 执行 AI 推理任务。系统会自动安装必要的 GPU 驱动程序。多个较小的工作负载可以共享一个 GPU。 node_config.machine_type变为"g2-standard-8"。该机器类型专为 L4 GPU 设计。vCPU(8 个)和内存 (32 GB) 旨在支持 GPU 并运行 AI 推理应用。 node_config.oauth_scopes包含https://www.googleapis.com/auth/cloud-platform。节点的服务账号对 Google Cloud 服务具有广泛的访问权限,可实现 API 交互,以执行日志记录、监控和拉取容器映像等任务。 node_config.shielded_instance_config.enable_secure_boot设置为true。安全启动功能会在引导加载程序和内核执行之前验证其加密签名,从而帮助保护节点免受启动级恶意软件的攻击。
Helm 图表配置
下表列出了 Helm chart 配置,这些配置已针对在 GKE 上部署和伸缩 AI 推理服务进行了自定义。
| 配置 | 用途 |
|---|---|
replicaCount: 1 |
创建单个初始副本。 |
image.repository: vllm/vllm-openai |
使用 vLLM 映像,这是一个针对大语言模型 (LLM) 推理进行优化的库,通过与 OpenAI 兼容的 API 公开。 |
model.id: google/gemma-7b-it |
将 Gemma 7B 指令调优模型定义为要应用的模型。 |
model.hfSecret: hf-secret |
表示模型需要使用 Kubernetes Secret 进行身份验证,以实现安全的凭证管理。 |
resources.limits和requests(nvidia.com/gpu: "1") |
确保每个 Pod 都有一个专用 GPU。 |
nodeSelector.cloud.google.com/gke-accelerator: nvidia-l4 |
确保您的 AI 模型 Pod 仅在配备 NVIDIA L4 GPU 的 GKE Standard 节点上调度,这些节点非常适合经济高效且高性能的推理。 |
hpa.enabled: true |
启用 Pod 横向自动扩缩器,让应用能够根据targetCPUUtilizationPercentage: 80%自动扩缩 Pod 数量(在 minReplicas: 1 到 maxReplicas: 10 之间)。确保在高峰负载期间的性能,并在低用量期间实现成本效益。 |
tensorParallelSize: 1 |
表示模型不会拆分到单个 Pod 内的多个 GPU 上。 |
maxModelLen: 512 |
控制 Gemma 7B 模型可以处理的最大序列长度。 |
service.type: ClusterIP |
该服务已配置为在集群内进行内部访问。 |
pdb.enabled: true和minAvailable: 1之间 |
已启用 Pod 中断预算,以确保高可用性。在节点维护等主动中断期间,AI 模型至少有一个副本保持可用。 |
创建 AI 应用
使用 AI 预训练推理 GKE 集群和工作负载模板部署 AI 应用。
部署 AI 基础设施
配置和部署 AI 预训练推理 GKE 集群模板,以创建运行 AI 工作负载的基础基础架构。
复制并部署 AI 预训练推理 GKE 集群模板作为应用。
系统会在您选择的部署项目中创建一个 GKE 集群。
配置组件。详情请参阅以下内容:
点击部署。应用会在几分钟后部署。
在应用详情面板中,点击输出标签页。
确定应用的 cluster_id。您将在部署 Helm 图表时使用此信息。
部署 AI 工作负载
使用 AI 预训练推理 GKE 工作负载模板将 AI 工作负载部署到您创建的集群中。您将部署一个 Helm 图表,其中包含您的 AI 工作负载配置。
在 Google 模板页面上,点击 AI 预训练推理 GKE 工作负载模板上的创建新应用。
在名称字段中,为应用输入一个唯一名称。
在 GKE 部署目标区域中,执行以下操作:
从项目列表中,选择您通过 AI 预训练推理 GKE 集群应用部署 GKE 集群的项目。
从区域列表中,选择您部署 GKE 集群的区域。
从集群列表中,选择已部署的 GKE 集群。
在命名空间字段中,输入工作负载的命名空间。如果您未更改名称,请输入
default。点击创建应用。
系统会创建应用并显示配置文件。
在 Helm chart 面板中,执行以下操作:
几分钟后,Helm chart 配置会部署到 GKE 集群。
后续步骤
- 如需了解如何复制和自定义模板,请参阅快速入门:自定义和部署 Google 模板。
- 通过设计应用模板来定义您自己的配置。
- 通过Google Cloud 架构框架确定一般架构最佳实践。