使用控制台部署节点并配置设备网络

本页面介绍了如何使用 Google Cloud 控制台部署裸金属 ESXi 节点并配置 Google Cloud 网络结构,以便为在 Google Cloud上的 VMware 解决方案中部署 VMware Cloud Foundation (VCF) 做好准备。

完成本页面中的步骤后,您的 Google Cloud基础架构将为 VCF 启动做好准备,但不会部署 VCF 或 VCF 管理设备本身:

  • 此工作流的作用:预配裸金属 ESXi 计算实例,配置主要和动态网络接口 (NIC),设置 VPC 子网和可用区级网络端点组 (NEG),并为未来的 VCF 管理设备和 NSX 数据路径预先配置 Google Cloud 负载均衡结构和 IP 地址预留。
  • 此工作流不会执行的操作:它不会重置初始 ESXi root 密码、初始化 ESXi 主机网络(vSwitch0 和 vSAN)、部署 VCF Installer 或部署 VCF 管理设备(例如 vCenter Server、SDDC Manager 或 NSX Manager)。如需重置初始 ESXi root 密码、初始化主机并在完成这些步骤后部署 VCF,您必须运行 VMware 解决方案工具包并在 VCF 安装程序中完成启动,如使用工具包准备节点并部署 VCF 中所述。

准备工作

在开始之前,请查看前提条件中的要求,并验证以下各项:

  1. 在Google Cloud 控制台的支持页面上,将您的项目添加到 VMware 解决方案的第 2 层子网网络许可清单中。许可清单访问权限可让您的虚拟私有云 (VPC) 子网支持基于 VLAN 的地址解析协议 (ARP) 广播和自定义 MAC 学习。在Google Cloud 控制台中,VMware Engine > 自行管理会显示警告横幅并停用部署操作,直到支持团队将您的项目添加到此许可清单中。如需查看相关说明,请参阅请求访问第 2 层网络许可清单。
  2. 验证您的项目在目标区域和可用区中是否有足够的裸金属节点配额。请参阅配额和限制。确保您的账号具有所需的 Identity and Access Management (IAM) 角色,包括 Compute Admin 角色 (roles/compute.admin)。如果您使用 Cloud DNS,请确保您的账号还具有 DNS Administrator 角色 (roles/dns.admin)。如需了解详情,请参阅验证配额和权限。
  3. 在部署节点之前,请将主机 VPC 网络的 MTU 设置为 8896 字节。规划管理、vSAN、vMotion 和 NSX 隧道端点 (TEP) 流量的子网 IPv4 范围。此外,还要为跳转盒虚拟机实例、DNS 入站转发和离线代码库端点规划一个不带第 2 层 ARP 广播的标准子网。您可以在 VMware 解决方案中部署节点时选择现有子网或创建子网。请参阅规划 VPC 网络。
  4. 在部署之前,请规划节点主机名和 DNS 记录:
    • 在必填的主机名字段中,为每个裸金属 ESXi 实例提供一个唯一的有效完全限定域名 (FQDN),长度不超过 64 个字符。
    • 如果您分配临时(自定义)或预留的静态 IPv4 地址,请先设置 DNS 正向和反向查找区域。在部署裸机节点之前,请先创建 A 和 PTR 记录,以便 ESXi 在初始启动时生成匹配的 TLS 证书。如果您选择临时(自动) IPv4 地址,请在预配后立即配置 DNS 记录。请参阅规划 DNS 和强制性节点主机名。
  5. 确保 VCF Installer 和 SDDC Manager 的 root 和本地用户密码以及 ESXi root 密码符合 Broadcom 密码复杂性规则。请参阅验证 Broadcom 密码要求。
  6. 如果您的组织强制执行 constraints/compute.trustedImageProjects 限制条件或将目标项目置于 VPC Service Controls 服务边界内,则允许 Compute Engine 访问 smve-prod-public-images 项目(项目编号为 999037279871)。请参阅配置组织政策和 VPC Service Controls。

验证区域配额

在预配裸金属节点或创建集群之前,请验证您的项目是否有足够的区域和全球 Compute Engine 配额。在将该区域中所有现有集群的资源与项目配额进行比较之前,请先将这些资源添加到以下增量值中:

配额指标 每个裸金属节点所需的资源 3 节点集群所需的资源
Z3的compute.googleapis.com/cpus_per_vm_family 192 个 vCPU 3 × 192 = 576 个 vCPU
Z3的compute.googleapis.com/local_ssd_total_storage_per_vm_family 72 TB 3 × 72 TB = 216 TB
compute.googleapis.com/hyperdisk_balanced_total_storage 128 GB 3 × 128 GB = 384 GB
compute.googleapis.com/resource_policies 向现有集群添加节点时为 0 每个集群 1 项分散布置政策
compute.googleapis.com/regional_backend_services_protocol_forwarding_fast_ha 在不添加新设备的情况下添加节点或集群时,此值为 0 每个新的 VCF 管理设备 VIP 或 NSX Edge 端点 1 个

如需查看所需配额的完整列表以及有关如何查看或申请增加配额的说明,请参阅配额和限制。

部署裸金属节点并配置节点网络

如需预配裸金属 ESXi 节点并配置其网络接口,请执行以下操作:

  1. 在 Google Cloud 控制台中,依次前往 VMware Engine > 自行管理 > 概览。

    转到“概览”页面

  2. 点击开始部署,启动基础设施预配和配置工作流。

  3. 在节点配置部分中,选择要部署节点的区域和可用区。

  4. 选择布置政策,或点击创建新的布置政策:

    • 如果您创建的是布置政策,请输入名称并选择可用性域的数量(最多 8 个)。
  5. 选择您计划在节点上部署的 VCF 版本。

  6. 选择机器类型,并指定要创建的节点数量。高可用性 (HA) VCF 部署至少需要四个节点。

  7. 在快速命名向导部分中,输入资源名称前缀和域名后缀:

    • 资源名称前缀:VMware 解决方案在所有生成的资源名称前面添加的前缀。
    • 域名后缀:VMware 解决方案用于为每个节点生成完全限定域名 (FQDN) 的 DNS 域名后缀。
  8. 查看或更新每个节点的节点名称、主机名和可用性网域字段。在必需的主机名字段中,验证每个节点是否具有唯一的有效 FQDN(不超过 64 个字符)。在可用性网域字段中,将节点均匀分布在布置政策中的可用性网域中,以匹配 vSAN 故障域。如需了解详情,请参阅布置政策和可用性网域。

  9. 如需防止意外删除节点,请选择启用防删除保护。此选项默认处于启用状态。

  10. (可选)点击管理标签,为节点添加元数据标签。

  11. 点击继续,前往节点网络配置。

  12. 在网络部分中,为节点选择 VPC 网络。

  13. 在网络接口部分中,配置主接口:

    • 选择现有子网,或点击创建子网以定义具有名称、说明和 IPv4 范围的新子网。
    • 选择一个现有的网络端点组,或点击创建网络端点组以创建新组。工作流会自动将所有预配的节点添加到此群组。
  14. 在内部 IPv4 地址配置下,保留自动,或选择自定义,然后点击查看配置以选择每个节点的地址选项。选项包括临时(自动)、自定义临时 IP 地址字段中的临时(自定义)、现有预留静态 IPv4 地址或预留静态内部 IPv4 地址。如果您分配临时(自定义)或预留的静态 IPv4 地址,请先创建 DNS 区域以及 A 和 PTR 记录,然后再点击部署。如需查看相关说明,请参阅配置 Cloud DNS 区域和记录。

  15. 为 VMware 流量配置动态网络接口:

    • Dynamic NIC (vSAN):选择或创建用于 vSAN 集群流量的子网。(可选)分配网络端点组。
    • Dynamic NIC (vMotion):选择或创建用于虚拟机实例实时迁移流量的子网。(可选)分配网络端点组。
    • Dynamic NIC(NSX 隧道端点):选择或创建用于 NSX TEP 叠加流量的子网和网络端点组。
  16. 可选:如果您的架构需要专用接口来处理自定义工作负载流量,请添加其他 Dynamic NIC。

  17. 点击继续,前往设备网络设置。

配置设备网络

如需为 VCF 启动期间将部署的 VCF 管理设备和 NSX 数据路径预配置 Google Cloud 负载均衡资源和 IP 预留,请执行以下操作:

  1. 在配置设备网络页面上,选择 VCF 部署模型。对于高可用性部署,请选择高可用性部署(需要 4 个或更多节点)。
  2. 在管理设备和 NSX 数据路径表中,查看预配置的 Google Cloud 网络资源名称和端点。
  3. 如需自定义名称或内部 IP 分配,请点击相应表格的修改:
    • 为每个设备端点选择临时(自动)、临时(自定义)或预留。
    • 如果您使用预留地址,请提供预留 IP 地址或指定静态预留详情。
  4. 点击继续,查看配置摘要。
  5. 验证配置详情,然后点击部署以预配裸金属节点并配置设备网络资源。

配置 Cloud DNS 区域和记录

当您使用 Google Cloud 控制台部署裸金属实例并配置设备网络时,必须配置正向和 DNS 反向查找区域以及 A 和 PTR 记录:

  • 如果您分配临时(自定义)或预留静态 IPv4 地址,请在预配节点之前引导 DNS 区域并创建 A 和 PTR 记录。预先创建这些记录可让 ESXi 在初始启动时解析其 FQDN 并生成匹配的 TLS 证书。
  • 如果您分配临时(自动) IPv4 地址,请在预配裸金属实例后立即运行初始 DNS 设置。在运行该工具包或 VCF 验证之前,请先完成此步骤。

您可以通过在 VMware 解决方案工具包代码库中运行独立的 scripts/cloud_dns/vcf_cloud_dns_sync.py 脚本来自动执行 Cloud DNS 和网络时间协议 (NTP) DNS 设置。该脚本会执行以下操作:

  • 启用 Cloud DNS API (dns.googleapis.com)。
  • 确保将具有默认设置的 Cloud DNS 服务器政策附加到您的 VPC 网络。
  • 确保专用正向和反向查找区域存在并绑定到您的 VPC 网络。
  • 同步 Z3 裸金属节点和管理子网内部负载均衡器前端的正向 (A) 和反向 (PTR) DNS 记录,去除 -fr 后缀并跳过仅 IP 的 NSX TEP 和上行链路子网负载均衡器。
  • 管理专用正向查找区域中的 NTP DNS 记录 (ntp.DOMAIN_NAME),例如指向 169.254.169.254 处的 Compute Engine 元数据服务器。

如需获取脚本,请克隆工具包代码库并前往 scripts/cloud_dns 目录:

git clone https://github.com/GoogleCloudPlatform/self-managed-vmware-solution-toolkit
cd self-managed-vmware-solution-toolkit/scripts/cloud_dns

在试运行模式下预览更改

如需预览所有 Cloud DNS API、政策、可用区、节点和内部负载均衡器记录以及 NTP 操作,而不应用任何更改,请使用 --dry-run 标志运行脚本:

python3 vcf_cloud_dns_sync.py \
    --project-id PROJECT_ID \
    --vpc-network VPC_NETWORK_NAME \
    --domain DOMAIN_NAME \
    --sync-all \
    --set-ntp-ip 169.254.169.254 \
    --dry-run

运行初始 DNS 设置

在Google Cloud 控制台中预配 VPC 网络、子网、Z3 裸金属实例、NEG 和内部负载均衡器转发规则之后,以及运行 VCF 安装程序验证之前,请运行以下命令。此命令会启用 Cloud DNS API、创建 VPC DNS 政策、从非 NSX 子网创建专用正向和 /16 或 /8 反向可用区、注册所有节点和管理前端 A 和 PTR 记录(同时跳过 NSX 子网负载均衡器),并配置 ntp.DOMAIN_NAME 以指向 169.254.169.254 处的 Compute Engine 元数据服务器:

python3 vcf_cloud_dns_sync.py \
    --project-id PROJECT_ID \
    --vpc-network VPC_NETWORK_NAME \
    --domain DOMAIN_NAME \
    --sync-all \
    --set-ntp-ip 169.254.169.254

同步记录以进行第 2 天横向扩容

在 Google Cloud 控制台中添加新的 Z3 裸机主机或工作负载网域内部负载均衡器转发规则后,请使用 --sync-all 标志重新运行脚本,以便仅注册新添加的记录。该脚本会自动跳过未发生更改的现有记录:

python3 vcf_cloud_dns_sync.py \
    --project-id PROJECT_ID \
    --vpc-network VPC_NETWORK_NAME \
    --domain DOMAIN_NAME \
    --sync-all

在预配计算资源之前,先引导 DNS 区域和 VPC 政策

如果您分配临时(自定义)或预留的静态 IPv4 地址,请在预配裸金属实例或负载均衡器前端之前设置 DNS 区域。如需启用 Cloud DNS API、创建 VPC DNS 政策以及创建正向和反向查找区域,请使用 --setup-zones 标志运行脚本:

python3 vcf_cloud_dns_sync.py \
    --project-id PROJECT_ID \
    --vpc-network VPC_NETWORK_NAME \
    --domain DOMAIN_NAME \
    --reverse-zones REVERSE_ZONE_NAME=REVERSE_SUBNET_CIDR \
    --setup-zones

脚本创建可用区后,请先为计划的节点 FQDN 和 IPv4 地址创建 A 和 PTR 记录,然后再部署实例。

使用自定义资源名称或预先创建的管理员资源

如需替换默认资源名称,或在管理员已预配 VPC DNS 政策或托管区域时跳过创建这些资源,请使用以下选项之一:

  • 指定自定义可用区和政策名称,包括多个 --reverse-zones 条目(如果需要):

    python3 vcf_cloud_dns_sync.py \
        --project-id PROJECT_ID \
        --vpc-network VPC_NETWORK_NAME \
        --domain DOMAIN_NAME \
        --dns-policy CUSTOM_DNS_POLICY_NAME \
        --forward-zone CUSTOM_FORWARD_ZONE_NAME \
        --reverse-zones REVERSE_ZONE_1=CIDR_1 REVERSE_ZONE_2=CIDR_2 \
        --sync-all
    
  • 如果 VPC DNS 政策已存在,请跳过创建 VPC DNS 政策:

    python3 vcf_cloud_dns_sync.py \
        --project-id PROJECT_ID \
        --vpc-network VPC_NETWORK_NAME \
        --domain DOMAIN_NAME \
        --no-create-dns-policy \
        --sync-all
    
  • 如果管理员已预先创建了正向和反向区域,则跳过创建正向和反向区域,在这种情况下,您必须传递 --reverse-zones:

    python3 vcf_cloud_dns_sync.py \
        --project-id PROJECT_ID \
        --vpc-network VPC_NETWORK_NAME \
        --domain DOMAIN_NAME \
        --reverse-zones REVERSE_ZONE_1=CIDR_1 REVERSE_ZONE_2=CIDR_2 \
        --no-create-zones \
        --sync-all
    

替换以下内容:

  • PROJECT_ID:您的 Google Cloud项目的 ID
  • VPC_NETWORK_NAME:您的 VPC 网络的名称
  • DOMAIN_NAME:VCF 环境的 DNS 域名后缀,例如 vcf.example.com
  • REVERSE_ZONE_NAME=REVERSE_SUBNET_CIDR:反向查找区域的托管区域名称和 CIDR 块,例如 smve-rev-10-10=10.10.0.0/16
  • CUSTOM_DNS_POLICY_NAME:Cloud DNS 服务器政策的自定义名称
  • CUSTOM_FORWARD_ZONE_NAME:专用转发代管区域的自定义名称
  • REVERSE_ZONE_1=CIDR_1 和 REVERSE_ZONE_2=CIDR_2:一个或多个反向托管区域名称和 CIDR 对,例如 my-rev-zone-1=10.10.1.0/24 my-rev-zone-2=10.10.2.0/24

后续步骤

配置裸金属节点、 Google Cloud 网络资源和 DNS 记录后,请完成以下步骤来准备主机并部署 VCF:

  1. 如果您使用外部 DNS 服务器,而不是使用 vcf_cloud_dns_sync.py 配置 Cloud DNS,请使用以下各项的正向 (A) 和反向 (PTR) 记录更新 DNS 服务器:
    • 所有 ESXi 节点主机名和内部 IP 地址。
    • 所有 VCF 管理设备主机名和内部 IP 地址。
  2. 运行准备节点工具包,以重置每个主机上的初始 ESXi root 密码、初始化 ESXi 主机并部署 VCF 安装程序。如需查看分步说明,请参阅使用工具包准备节点并部署 VCF。
  3. 访问 VMware Cloud Foundation (VCF) 安装程序,完成部署并启动管理网域。如需了解如何完成 VCF 启动,请参阅 Broadcom 文档中的部署新的 VCF 舰队或新的 VCF 实例。