您可以使用容量缓冲区在 Google Kubernetes Engine (GKE) 集群中保持备用容量,从而在扩容操作期间提高 Pod 调度速度。本文档介绍了如何在自定义 ComputeClass 中配置容量缓冲区,这比自行创建 CapacityBuffer 需要更少的设置。如果您需要对缓冲区进行更多控制,例如每个缓冲区单元的大小、基于副本的大小调整,或备用缓冲区启动和刷新时间,请改为手动创建 CapacityBuffer。如需比较这两种方法,请参阅配置容量缓冲区的方法。
本文档适用于管理自定义 ComputeClass 并希望为伸缩工作负载预配备用容量的平台管理员和集群运维人员。
在阅读本文档之前,请确保您熟悉容量缓冲区和自定义 ComputeClass。
限制
ComputeClass 中的容量缓冲区存在以下限制:
- 您无法更改缓冲区单元的大小。GKE 以 2 个 vCPU 和 2 GiB 内存的固定单位预配缓冲区。
- 您无法根据副本数量或工作负载百分比来设置缓冲区的大小。您只能通过在
spec.buffers.limits字段中设置cpu和memory值来设置缓冲区的大小。 - 您无法自定义备用缓冲区的启动和刷新方式。新的备用节点会保持活跃状态 5 分钟,然后 GKE 会将其暂停,并且 GKE 会每 24 小时刷新一次暂停的节点。
- 您无法为单个优先级规则添加缓冲时间。缓冲区适用于整个 ComputeClass。
- 您无法修改 GKE 在
gke-managed-ccc命名空间中创建的 CapacityBuffer 和 PodTemplate,包括添加标签或注解。如需更改缓冲区,请更新 ComputeClass。 - 您无法在 ComputeClass 的
spec.buffers.limits字段中请求 GPU 或 TPU。无论您是将 GPU 或 TPU 添加到 ComputeClass 还是自行创建,备用缓冲区都不支持 GPU 或 TPU。 - GKE 会根据 CPU 和内存(而非 GPU 或 TPU 数量)设置 ComputeClass 中活跃缓冲区的规模。如果 ComputeClass 预配 GPU 或 TPU 节点,请勿向 ComputeClass 添加活跃缓冲区。GKE 会创建一个缓冲区 PodTemplate,该 PodTemplate 仅请求 2 个 vCPU 和 2 GiB 内存,不请求 GPU 或 TPU。因此,选择 ComputeClass 但不请求 GPU 或 TPU 的 Pod 可以使用缓冲区容量。如需使用活跃缓冲区预配 GPU 或 TPU 容量,请手动创建 CapacityBuffer,其 PodTemplate 会请求 GPU 或 TPU。
- 您无法向使用基于 Pod 的结算模式的 ComputeClass(例如具有
podFamily优先级规则的 ComputeClass)添加缓冲区。
如果您需要其中任何功能,请改为手动创建 CapacityBuffer。容量缓冲区的要求和限制(例如备用缓冲区支持的机器类型)也适用于 ComputeClass 中的缓冲区。
准备工作
在开始之前,请确保您已执行以下任务:
- 启用 Google Kubernetes Engine API。 启用 Google Kubernetes Engine API
- 如需使用 Google Cloud CLI 执行此任务,请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI,请通过运行
gcloud components update命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。
- 创建或使用运行 1.37.1-gke.3020000 版或更高版本的 GKE 集群。
- 如需在 Standard 集群中使用备用缓冲区,请在 ComputeClass 中将
nodePoolAutoCreation.enabled字段的值设置为true,或在集群上启用节点自动预配。在 Autopilot 集群以及 Standard 集群中的 Autopilot 模式 ComputeClass(具有autopilot.enabled: true设置)中,GKE 会自动启用节点池自动创建。活跃缓冲区不需要任何设置。 - 确保 ComputeClass 不使用
podFamily优先级规则。 - 确保 ComputeClass 未设置
minimumCapacity字段,并查看备用缓冲区如何与 Spot 虚拟机和主动迁移进行交互。如需了解详情,请参阅自定义 ComputeClass 简介。
所需的角色
如需获得向自定义 ComputeClass 添加容量缓冲区所需的权限,请让您的管理员为您授予项目的 Kubernetes Engine Developer (roles/container.developer) IAM 角色。
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
此预定义角色包含向自定义 ComputeClass 添加容量缓冲区所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需向自定义 ComputeClass 添加容量缓冲区,您需要具备以下权限:
-
连接到集群:
-
resourcemanager.projects.get -
container.clusters.get -
container.clusters.list -
container.clusters.getCredentials
-
-
创建、更新和查看 ComputeClass:
-
container.thirdPartyObjects.create -
container.thirdPartyObjects.update -
container.thirdPartyObjects.get
-
-
查看 GKE 为缓冲区创建的 CapacityBuffer 和 PodTemplate:
-
container.thirdPartyObjects.get -
container.thirdPartyObjects.list -
container.podTemplates.get -
container.podTemplates.list
-
向 ComputeClass 添加缓冲区
如需向 ComputeClass 添加活跃缓冲区和备用缓冲区,请完成以下步骤:
将以下示例清单保存为
buffered-compute-class.yaml文件:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: name: buffered-class spec: priorities: - machineType: n2d-standard-4 nodePoolAutoCreation: enabled: true buffers: # Active buffer: 4 vCPUs / 2 vCPUs per unit = 2 units - provisioningStrategy: buffer.x-k8s.io/active-capacity limits: cpu: "4" # Standby buffer: smaller of 6 / 2 and 6Gi / 2Gi = 3 units - provisioningStrategy: buffer.gke.io/standby-capacity limits: cpu: "6" memory: 6Gi此清单会创建一个具有以下设置的
buffered-classComputeClass:nodePoolAutoCreation.enabled: true设置:允许 GKE 在 Standard 集群中为 ComputeClass 创建节点池,这是备用缓冲区所必需的。在 Autopilot 集群中,以及在 Standard 集群中的 Autopilot 模式 ComputeClass 中,GKE 会自动启用节点池自动创建。活跃缓冲区不需要此设置。buffers字段:为buffered-classComputeClass 配置两个缓冲区。您最多可以为每个预配策略添加一个缓冲区,因此一个 ComputeClass 可以有一个活跃缓冲区和一个备用缓冲区。每个缓冲区都包含以下字段:provisioningStrategy字段:缓冲区类型。该示例配置了一个活跃缓冲区 (buffer.x-k8s.io/active-capacity) 和一个备用缓冲区 (buffer.gke.io/standby-capacity)。如果您省略此字段,则 GKE 会创建一个活跃缓冲区。limits字段:缓冲区的总 CPU 和内存。该示例为活跃缓冲区预配 4 个 vCPU(2 个缓冲区单元),为备用缓冲区预配 6 个 vCPU 和 6 GiB 内存(3 个缓冲区单元)。
您可以设置
cpu值、memory值或同时设置这两者。 GKE 会将缓冲区划分为 2 vCPU 和 2 GiB 内存的单元,并根据您设置的所有值创建尽可能多的单元。如果cpu值小于"2",或者memory值小于2Gi,则缓冲区为空。
应用清单:
kubectl apply -f buffered-compute-class.yaml如果命令失败并显示
unknown field "spec.buffers"错误,或者 GKE 忽略了buffers字段,请参阅 ComputeClass 拒绝或忽略 buffers 字段。验证 GKE 是否已配置缓冲区:
kubectl get computeclass buffered-class \ -o jsonpath='{.status.conditions[?(@.type=="BuffersConfigured")]}{"\n"}'输出类似于以下内容:
{"lastTransitionTime":"2026-10-14T17:02:52Z","message":"All capacity buffers configured and ready for provisioning","observedGeneration":1,"reason":"Ready","status":"True","type":"BuffersConfigured"}检查输出中
reason和status字段的值:- 如果
reason字段为Ready且status字段为True,则表示 GKE 已接受缓冲区并开始预配容量。缓冲区节点可能需要几分钟才能显示。在新的 Autopilot 集群上,该条件可能需要大约两分钟才会显示。如果几分钟后未显示任何缓冲区节点,请参阅缓冲区已准备就绪,但 GKE 未预配容量。 - 如果
reason字段为BufferIsEmpty,status字段为False,则cpu或memory限制小于一个缓冲区单元(2 个 vCPU 和 2 GiB 内存)。 - 对于所有其他
False原因,message字段会描述问题。如需了解每个False原因(包括BufferIsEmpty)的含义以及如何解决,请参阅检查BuffersConfigured条件原因。
如需查看 GKE 为 ComputeClass 创建的 CapacityBuffer,请列出
gke-managed-ccc命名空间中的 CapacityBuffer:kubectl get capacitybuffers -n gke-managed-ccc \ -l cloud.google.com/compute-class=buffered-class- 如果
如果您的工作负载尚未选择 ComputeClass,请向其 Pod 规范添加节点选择器,如以下示例所示:
spec: nodeSelector: cloud.google.com/compute-class: buffered-class如需详细了解如何在工作负载中选择 ComputeClass,请参阅在工作负载中请求 ComputeClass。
从 ComputeClass 中移除缓冲区
当您从 ComputeClass 中移除缓冲区时,GKE 会删除相应的 CapacityBuffer。如果 ComputeClass 中没有其他缓冲区使用该缓冲区的 PodTemplate,则 GKE 也会删除该 PodTemplate。然后,集群自动扩缩器可以缩容不再需要的节点。
- 在 ComputeClass 清单中,删除
buffers字段。如需仅移除一个缓冲区,请改为从buffers列表中删除该缓冲区的条目。 应用清单:
kubectl apply -f buffered-compute-class.yaml
后续步骤
- 详细了解容量缓冲区。
- 了解如何配置容量缓冲区。
- 详细了解自定义 ComputeClass。
- 请参阅 ComputeClass 参考文档。
- 了解如何排查自定义 ComputeClass 问题。
- 了解如何排查容量缓冲区问题。