使用 Stellar Engine 创建着陆区

着陆区部署过程包含多个阶段。在每个阶段,您都必须向 terraform.tfvars 文件添加特定变量。完成一个阶段后,Terraform 会将 tfvar.auto.tfvars.json 文件写入初始阶段创建的 Cloud Storage 存储桶。后续阶段会使用 Google Cloud CLI 将文件和模拟特定阶段服务账号的提供方文件复制到新的阶段文件夹中。

部署新环境大约需要一小时,具体取决于租户数量。

前提条件

在部署 Stellar Engine 之前,请完成以下任务。

设置 Google Cloud

请完成以下步骤来设置 Google Cloud:

  1. 选择一个 Google Cloud 组织。如果您创建了新组织,请至少登录 Google 管理控制台一次。

  2. 配置多位管理员以实现职责分离。在测试环境中,一个用户可能拥有所有资源的管理员角色。但是,在生产环境中,您需要多个管理员。如需了解详情,请参阅设置组织资源。

  3. 为所有特权账号启用两步验证。

  4. 停用 Cloud Shell。 IL4 或 IL5 环境不支持 Cloud Shell,Google Workspace 管理员必须停用 Cloud Shell。

  5. 如果您没有项目,请创建引导项目。

    创建项目

  6. 在引导项目中完成以下任务:

    1. 启用结算功能。如需查看相关说明,请参阅验证项目的结算状态。

    2. 启用 Cloud Monitoring API(如果尚未启用)。

      启用 API 所需的角色

      如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。

      启用 API

  7. 验证您的用户账号是否为超级用户。

  8. 如果贵组织没有数据分类方案,请创建一个。

分配角色

将以下 Identity and Access Management 角色分配给部署 Stellar Engine 的用户账号。

  1. 确保您在组织中拥有以下一个或多个角色: Access Transparency Admin、Assured Workloads Administrator、Billing Account Administrator、Logging Admin、Organization Administrator、Organization Policy Admin、Organization Role Administrator、Owner、Project Creator、Service Account Admin、Service Account Token Creator、Tag Admin

    检查角色

    1. 在 Google Cloud 控制台中,前往 IAM 页面。

      转到 IAM
    2. 选择组织。
    3. 在主账号列中,找到标识您或您所属群组的所有行。如需了解您属于哪些群组,请与您的管理员联系。

    4. 对于指定或包含您的所有行,请检查角色列以查看角色列表是否包含所需的角色。

    授予角色

    1. 在 Google Cloud 控制台中,前往 IAM 页面。

      转到 IAM
    2. 选择组织。
    3. 点击 授予访问权限。
    4. 在新的主账号字段中,输入您的用户标识符。 这通常是 Google 账号的电子邮件地址。

    5. 点击选择角色,然后搜索相应角色。
    6. 如需授予其他角色,请点击 添加其他角色,然后添加其他各个角色。
    7. 点击 Save(保存)。

如果您要从新组织开始,可以运行位于 fast/stages-aw/0-bootstrap 文件夹中的以下脚本来应用角色:

./setIAM.sh EMAIL_ADDRESS ORGANIZATION_ID

替换以下内容:

  • EMAIL_ADDRESS:用户账号的邮箱。
  • ORGANIZATION_ID:您的组织 ID。

此脚本会添加除 Billing Account Administrator 和超级用户之外的所有角色。

添加群组并配置服务

  1. 在 Google Cloud 设置的第 2 阶段部分中,添加以下群组,如用户和群组中所述:

    • 必需的 FAST 阶段组:

    • gcp-billing-admins@DOMAIN

    • gcp-devops@DOMAIN

    • gcp-organization-admins@DOMAIN

    • gcp-vpc-network-admins@DOMAIN

    • gcp-security-admins@DOMAIN

    • 可选应用群组:

    • gcp-developers@DOMAIN

    • gcp-logging-admins@DOMAIN

    • gcp-logging-viewers@DOMAIN

    • gcp-monitoring-admins@DOMAIN

    前往第 2 阶段

    将 DOMAIN 替换为您的完全限定域名 (FQDN)。

    如果系统提示您选择身份提供方,请跳过此步骤。

    如果设置指南中没有群组,您也可以手动创建群组。

  2. 启用 Assured Workloads、BigQuery、Cloud Billing、Cloud Logging、Cloud KMS、IAM、Pub/Sub、Resource Manager、服务账号凭证、Service Usage、Organization Policy Service API(如果尚未启用)。

    启用 API 所需的角色

    如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。

    启用 API

  3. 您还可以使用 fast/stages-aw/0-bootstrap/enableServices.sh 脚本来启用这些服务。

  4. 启用 Access Transparency。

  5. 如果您的配额少于 13 个项目,请前往 Google Cloud Platform/API 项目:申请增加结算配额,申请 13 个项目。如需了解详情,请参阅查看和管理配额。

配置本地环境

在 Linux 命令 shell、macOS 终端或适用于 Linux 的 Windows 子系统 2 (WSL 2) 中完成以下步骤,以配置本地环境:

  1. 克隆 Stellar Engine GitHub 代码库。
  2. 安装 Google Cloud SDK。
  3. 更新本地 Terraform,使其与 modules/*/versions.tf 文件中的 required_version 限制条件相匹配。支持 Terraform 1.10.2 或更高版本。
  4. 安装 uv,以便从 cli/ 目录运行 stellar 命令行界面 (CLI)。
  5. 安装 jq 二进制文件。
  6. 进行身份验证并将引导项目设置为活跃项目:

    gcloud auth login
    gcloud config set project BOOTSTRAP_PROJECT_ID
    gcloud auth application-default login
    

    将 BOOTSTRAP_PROJECT_ID 替换为您在设置 Google Cloud中创建的项目的 ID。

修改模块

在大多数情况下,您无需更改即可使用该代码库。如果您需要修改模块,请复制整个模块并使用命名惯例 <module-se>,以避免在从 Cloud Foundation Fabric 代码库中拉取定期更新时发生合并冲突。

运行阶段 0:引导

第 0 阶段将网络的现有部分与 Terraform 状态保持一致。第 0 阶段会创建初始 IaC 引导服务账号和项目。第 0 阶段旨在从用户最初拥有的任何项目过渡到新的核心项目,并迁移 Terraform 状态。

  1. 将目录切换为 fast/stages-aw/0-bootstrap。

  2. 复制 terraform.tfvars.sample 文件:

    cp terraform.tfvars.sample terraform.tfvars
    
  3. 将 providers.tf.tmp 文件复制到 0-bootstrap-providers.tf 文件:

    cp providers.tf.tmp 0-bootstrap-providers.tf
    
  4. 更新 fast/stages-aw/0-bootstrap/terraform.tfvars 文件中的变量:

    billing_account = {
    id = "BILLING_ACCOUNT_ID"
    }
    regions = {
    primary = "REGION"
    }
    organization = {
    domain = "DOMAIN"
    id = "ORGANIZATION_ID"
    customer_id = "CUSTOMER_ID"
    }
    outputs_location = "~/fast-config"
    prefix = "PREFIX"
    log_sinks = {
    audit-logs = {
    filter = "logName:\"/logs/cloudaudit.googleapis.com%2Factivity\" OR logName:\"/logs/cloudaudit.googleapis.com%2Fsystem_event\" OR protoPayload.metadata.@type=\"type.googleapis.com/google.cloud.audit.TransparencyLog\""
    type = "logging"
    }
    vpc-sc = {
    filter = "protoPayload.metadata.@type=\"type.googleapis.com/google.cloud.audit.VpcServiceControlAuditMetadata\""
    type = "logging"
    }
    workspace-audit-logs = {
    filter = "logName:\"/logs/cloudaudit.googleapis.com%2Fdata_access\" and protoPayload.serviceName:\"login.googleapis.com\""
    type = "logging"
    }
    empty-audit-logs = {
    filter = ""
    type = "logging"
    }
    }
    org_policies_config = {
      constraints = {
        allowed_policy_member_domains = []
        allowed_vpc_peering_producers = ["under:organizations/433637338589"]
        }
      }
    kms_protection_level = "KMS_PROTECTION_LEVEL"
    fast_features = {
    envs = true
    }
    assured_workloads = {
    regime = "COMPLIANCE_REGIME"
    location = "LOCATION"
    }
    bootstrap_project = "BOOTSTRAP_PROJECT_ID"
    alert_email = "ALERT_EMAIL"
    

    替换以下内容:

    • BILLING_ACCOUNT_ID:用于部署环境的结算账号。如需查找结算账号信息,请参阅 Google Cloud 控制台。

      转到“结算”

    • REGION:要将资源部署到的主要区域。对于 IL5 和 FedRAMP,默认值为 us-east4。

      如需添加要将资源部署到的次要区域,请添加 secondary = "SECONDARY_REGION",其中 SECONDARY_REGION 是次要区域的名称。

    • DOMAIN:FQDN。如需查看 FQDN,请运行 gcloud organizations list。

    • ORGANIZATION_ID:Google Cloud 组织的组织 ID。如需查看组织 ID,请运行 gcloud organizations list。

    • CUSTOMER_ID:Google Workspace 目录客户 ID。如需查看 ID,请运行 gcloud organizations list。

    • PREFIX:要附加到已部署的项目和资源名称的前缀。项目名称必须全局唯一,且前缀最多只能包含 7 个字符。如果项目名称不唯一,则会发生 409 错误。

    • KMS_PROTECTION_LEVEL:所有阶段的 Cloud Key Management Service 保护级别。对 FEDRAMP_MODERATE 使用 SOFTWARE,对 FEDRAMP_HIGH 和 IL5 使用 HSM。如果省略,第 0 阶段会选择一个感知机制的默认值(FEDRAMP_MODERATE 为 SOFTWARE,所有其他机制为 HSM)。

    • COMPLIANCE_REGIME:此环境的合规性制度,IL4、IL5、FEDRAMP_MODERATE、FEDRAMP_HIGH 或 COMPLIANCE_REGIME_UNSPECIFIED 之一。如果您不想使用 Assured Workloads,请将此值设置为 COMPLIANCE_REGIME_UNSPECIFIED。阶段 0 还会根据监管制度量身定制自定义组织政策。例如,它会为 FEDRAMP_MODERATE、FEDRAMP_HIGH 和 COMPLIANCE_REGIME_UNSPECIFIED 强制执行 compute.requireOsLogin,但会为 IL4 和 IL5 省略该政策,因为 Assured Workloads 会直接管理 OS Login。

    • LOCATION:要将资源部署到的美国区域。不支持双区域(例如 NAM9)或洲。

    • BOOTSTRAP_PROJECT_ID:您在设置 Google Cloud中创建的项目的 ID。

    • ALERT_EMAIL:用于接收日志记录提醒通知的邮箱。

  5. 可选:更新 fast/stages-aw/0-bootstrap/terraform.tfvars 文件中的以下变量:

    • allowed_policy_member_domains:如需向来自其他受信任网域(例如合作伙伴机构或承包商)的主账号授予 IAM 角色,请将其 Google Workspace 或 Cloud Identity 客户 ID 添加到列表中。如需了解详情,请参阅通过网域限制共享来限制身份。

    • allowed_vpc_peering_producers:如需允许与其他组织、文件夹或项目进行 VPC 网络对等互连,请将这些资源的 ID 添加到列表中。constraints/compute.restrictVpcPeering 组织政策限制条件使用此列表来定义哪些资源可以与组织的 VPC 网络进行对等互连。默认情况下,该列表包含 Google 服务提供方组织 (under:organizations/433637338589),这是专用服务访问通道和专用 Google Kubernetes Engine (GKE) 集群所必需的。

    • deploy_org_resources:对于现有部署或没有组织级 IAM 权限的文件夹级部署,请更新此变量中的字段,以停用组织级资源创建,并将审计日志和 IAM 绑定范围限定为 Assured Workloads 文件夹。您可以根据部署要求停用一个或多个资源。例如:

      deploy_org_resources = {
        audit_config = false
        custom_roles = false
        iam          = false
        logging_settings = false
        logging_sinks    = false
        org_policies     = false
        workforce_identity_pool = false
      }
      
    • log_sinks:如需将日志发送到 Pub/Sub 以进行 SIEM 提取,而不是发送到 Cloud Logging 存储桶,请将日志接收器类型设置为 pubsub。确保您的 Pub/Sub 订阅者正在读取和存储主题中的消息,以便在默认的 7 天消息保留时长后不会丢失日志。

    • billing_account:如果您无法修改共享结算账号上的 IAM 绑定,请设置 no_iam = true。按照 cli/README.md 文件中的说明,导入任何现有项目(使用 project_deletion_policies 变量)和 Assured Workloads 工作负载。如需了解详情,请参阅在使用外部结算账号时配置结算。

  6. 在初始化 Terraform 之前,请从代码库的根目录验证前提条件:

    uv run --project cli stellar preflight \
      --org ORGANIZATION_ID \
      --billing-account BILLING_ACCOUNT_ID \
      --project BOOTSTRAP_PROJECT_ID \
      --prefix PREFIX \
      --regime COMPLIANCE_REGIME \
      --region REGION
    

    请先修正所有失败的检查,然后再继续。

    stellar CLI 包含其他命令,例如 stellar init、stellar imports scan 和 stellar render。您可以使用这些命令在 answers.yaml 文件中记录部署答案、生成组织政策 import 块,以及呈现隔离的第 0 阶段和第 1 阶段工作区。如需了解详情,请参阅 cli/README.md 文件。

  7. 运行 terraform init。

  8. 运行 terraform apply:

    terraform apply -var bootstrap_user=$(gcloud config list --format
     'value(core.account)')
    
  9. 出现提示时,请输入 yes。

  10. 切换到新项目:

    gcloud config set project PREFIX-prod-iac-core-0
    
  11. 复制新的本地 Terraform 提供方文件:

    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/providers/0-bootstrap-providers.tf ./
    
  12. 将状态从本地迁移到远程:

    terraform init --migrate-state
    
  13. 出现提示时,请输入 yes。

  14. 运行 ./import.sh。

  15. 再次运行 terraform apply。出现提示时,请输入 yes。

运行第 1 阶段:资源管理

第 1 阶段在组织级层创建不同的文件夹、项目和服务账号,供后续阶段使用。如需创建环境,您必须更新 fast/stages-aw/1-resman 中的 terraform.tfvars 文件,以包含 tenants 变量。每个租户(例如,特定的联邦机构或内部开发群组)都有自己的专用隔离边界来运行其工作负载。每个租户都会继承在第 0 阶段和第 2 阶段创建的集中式安全控制、网络边界、政策护栏和审核日志接收器。

  1. 如果您使用的是外部结算账号,请参阅使用外部结算账号时配置结算。

  2. 将目录切换为 fast/stages-aw/1-resman。

  3. 复制 terraform.tfvars.sample 文件:

    cp terraform.tfvars.sample terraform.tfvars
    
  4. 更新 terraform.tfvars,具体代码如下所示:

    tenants = {
    ten-1 = {
      admin_principal = "group:gcp-devops@DOMAIN"
      descriptive_name = "TENANT_ONE_NAME"
      locations = {
        gcs = "REGION"
        kms = "REGION"
        }
      },
    ten-2 = {
      admin_principal = "group:gcp-devops@DOMAIN"
      descriptive_name = "TENANT_TWO_NAME"
      locations = {
        gcs = "REGION"
        kms = "REGION"
        }
      }
    }
    fast_features = {
    envs = true
    }
    envs_folders = {
    Prod = {
      admin = "gcp-organization-admins@DOMAIN"
    },
    Int = {
      admin = "gcp-organization-admins@DOMAIN"
    },
    Test = {
      admin = "gcp-organization-admins@DOMAIN"
    }
    }
    

    替换以下内容:

    • DOMAIN:主要 FQDN。如需查看 FQDN,请运行 gcloud organizations list。

    • TENANT_ONE_NAME:部署的第一个租户项目的名称。最多使用 6 个字符。

    • REGION:要将资源部署到的主要区域。对于 IL5 和 FedRAMP,默认值为 us-east4。

    • TENANT_TWO_NAME:已部署的第二个租户项目的名称。最多使用 6 个字符。

    根据需要添加任意数量的租户定义。

  5. 可选:如需替换租户项目上的组织级政策限制条件,请创建一个或多个 YAML 文件,用于在 fast/stages-aw/1-resman/data/org-policies/ 目录中定义组织政策限制条件。如需使用其他目录,请在 fast/stages-aw/1-resman/terraform.tfvars 文件中设置 factories_config.org_policies。

    例如,如需在租户项目中允许其他自定义虚拟机映像项目,同时保留父级组织允许的映像项目,请创建一个包含以下内容的 YAML 文件:

    compute.trustedImageProjects:
      inherit_from_parent: true
      rules:
        - allow:
            values:
              - projects/IMAGE_PROJECT_ID
    

    将 IMAGE_PROJECT_ID 替换为托管可信虚拟机映像的项目 ID。

  6. 从 Cloud Storage 复制 tfvars 文件:

    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/providers/1-resman-providers.tf ./ &&
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-globals.auto.tfvars.json ./ &&
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-bootstrap.auto.tfvars.json ./
    
  7. 运行 terraform init。

  8. 运行 terraform apply。出现提示时,请输入 yes。

运行第 2 阶段:创建网络

第 2 阶段包含两个网络选项:一个用于 FedRAMP 高风险级别或 FedRAMP 中风险级别,另一个用于 IL4 或 IL5。

为 FedRAMP 高影响级别或中影响级别配置网络

  1. 如果您使用的是外部结算账号,请参阅使用外部结算账号时配置结算。

  2. 将目录切换为 fast/stages-aw/2-networking-a-fedramp。

  3. 从 Cloud Storage 存储桶中复制提供方和全局 tfvars 文件:

    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/providers/2-networking-providers.tf ./ && \
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-globals.auto.tfvars.json ./ && \
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-bootstrap.auto.tfvars.json ./ && \
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/1-resman.auto.tfvars.json ./
    
  4. 复制 terraform.tfvars.sample 文件:

    cp terraform.tfvars.sample terraform.tfvars
    
  5. 在 terraform.tfvars 文件中,更新自定义子网、代理子网、防火墙规则、命名 CIDR 和 DNS 响应政策规则。

  6. 运行 terraform init。

  7. 运行 terraform apply。出现提示时,请输入 yes。

为 IL4 或 IL5 配置网络

此步骤会将一对 Palo Alto VM-Series 新一代防火墙 (NGFW) 部署到网络账号中。NGFW 使用自带许可 (BYOL) 部署映像,并且需要您使用 Palo Alto 控制台上传虚拟机代码并进行注册。如需查看更多说明,请参阅 2-networking-b-il5-ngfw 阶段文件夹中的自述文件。

  1. 如果您使用的是外部结算账号,请参阅使用外部结算账号时配置结算。

  2. 将目录切换为 fast/stages-aw/2-networking-b-il5-ngfw。

  3. 从 Cloud Storage 存储桶中复制提供方和全局 tfvars 文件:

    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/providers/2-networking-providers.tf ./ && \
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-globals.auto.tfvars.json ./ && \
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-bootstrap.auto.tfvars.json ./ && \
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/1-resman.auto.tfvars.json ./
    
  4. 复制 terraform.tfvars.sample 文件:

    cp terraform.tfvars.sample terraform.tfvars
    
  5. 在 terraform.tfvars 文件中,更新自定义子网(包括 mgmt)、代理子网、防火墙规则、命名 CIDR 和 DNS 响应政策规则。

  6. 运行 terraform init。

  7. 运行 terraform apply。出现提示时,请输入 yes。

    如果您收到有关服务账号或 Cloud KMS 不存在的错误,请在控制台中点击 PREFIX-net-vdss-host 存储账号中的设置。服务账号已生成。

运行第 3 阶段:安全和审核账号配置

第 3 阶段配置安全和审核项目。安全项目 (prod-sec-core-0) 包含 Cloud KMS,并且可以包含 Secret Manager。在 IL5 中,默认情况下会为 Compute Engine、GKE、Cloud Storage 和 Cloud SQL 启用 CMEK。强制执行以下组织政策限制条件:

  • gcp.restrictNonCmekServices:
    • denied_values: "compute.googleapis.com"
    • denied_values: "container.googleapis.com"
    • denied_values: "storage.googleapis.com"
    • denied_values: "sqladmin.googleapis.com"
  • gcp.restrictCmekCryptoKeyProjects:gcp.restrictCmekCryptoKeyProjects 包含可以使用 CMEK 的项目列表。

在 prod-sec-core-0 项目中,配置了以下项:

  • Cloud KMS 受限管理员会被授予受限管理员角色,以便他们可以向其他服务授予解密权限。
  • 系统会预配不同位置的 Cloud KMS 密钥环。密钥环位置必须与服务位置一致。例如,多区域密钥环不能在单个区域的存储桶中使用。

审核项目 (audit-logs-0) 是组织级日志的集中位置。这些日志分为以下几类:

  • audit-logs:管理员活动、系统事件和 Access Transparency 日志
  • vpc-sc:VPC Service Controls 日志
  • workspace-audit-logs:Google Workspace 登录和数据访问日志
  • empty-audit-logs:所有其他日志

此项目可以包含 CMEK 加密的 Logging 存储桶,也可以包含用于路由日志以注入 SIEM 的 Pub/Sub 主题。默认选项是 Logging 存储桶,默认保留期限为 365 天。如需更改保留期限,请使用在阶段 0 terraform.tfvars 文件中定义的 logging_bucket_retention 变量。

安全管理员负责安全项目,审核者负责审核项目。

  1. 如果您使用的是外部结算账号,请参阅使用外部结算账号时配置结算。

  2. 将目录切换为 fast/stages-aw/3-security。

  3. 从 Cloud Storage 存储桶复制配置文件:

    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/providers/3-security-providers.tf ./ &&
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-globals.auto.tfvars.json ./ &&
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/0-bootstrap.auto.tfvars.json ./ &&
    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/1-resman.auto.tfvars.json ./
    
  4. 运行 terraform init。

  5. 运行 terraform apply。出现提示时,请输入 yes。

    如果您遇到服务账号问题,请重新运行 terraform apply。

  6. 运行 ./sa_lockdown.sh 以停用您在部署期间使用的服务账号。

使用外部结算账号时配置结算

如果您使用的是外部结算账号,则可以向所需服务账号添加 Billing Account Administrator 角色,或使用结算覆盖。

完成下列操作之一:

  • 将 Billing Account Administrator 角色添加到以下服务账号:

    • PREFIX-prod-resman-0@PREFIX-prod-iac-core-0.iam.gserviceaccount.com:此服务账号是在第 0 阶段创建的。

    • PREFIX-prod-resman-net-0@PREFIX-prod-iac-core-0.iam.gserviceaccount.com:此服务账号是在第 1 阶段创建的。

    • PREFIX-security-0@PREFIX-prod-iac-core-0.iam.gserviceaccount.com:此服务账号是在第 2 阶段创建的。

    将 PREFIX 替换为您的部署的前缀。

    如需向这些服务账号添加角色,请完成访问 Cloud Billing 账号的“权限”面板和在“权限”面板中更新角色和主账号。

  • 如果您无法向阶段服务账号授予结算权限,请使用结算替换功能,通过您的个人凭据运行项目创建或结算关联。在以下 terraform.tfvars 文件中定义 billing_override 变量:

    • fast/stages-aw/1-resman/terraform.tfvars
    • fast/stages-aw/2-networking-a-fedramp/terraform.tfvars 或 fast/stages-aw/2-networking-b-il5-ngfw/terraform.tfvars
    • fast/stages-aw/3-security/terraform.tfvars
    billing_override = {
      project         = "QUOTA_PROJECT_ID"
      billing_project = "QUOTA_PROJECT_ID"
    }
    

    将 QUOTA_PROJECT_ID 替换为配额项目的项目 ID。

修改租户项目

为现有 Stellar Engine 部署添加或移除租户项目时,请执行以下步骤。

  1. 进行身份验证并设置活跃项目:

    gcloud auth login
    gcloud config set project PREFIX-prod-iac-core-0
    gcloud auth application-default login
    

    将 PREFIX 替换为您为部署配置的前缀。

  2. 为各个阶段启用服务账号:

    1. 将目录切换为 fast/stages-aw/3-security。

    2. 运行 ./sa_lockdown.sh --enable。

  3. 申请阶段 1:

    1. 将目录切换为 fast/stages-aw/1-resman。

    2. 根据您的新要求更新 terraform.tfvars 中的信息。

    3. 运行 terraform init。

    4. 运行 terraform apply。出现提示时,请输入 yes。

  4. 申请第 2 阶段:

    1. 将目录切换到以下某个网络文件夹:

    2. 从 Cloud Storage 存储桶复制 1-resman tfvars 文件:

    gcloud storage cp gs://PREFIX-prod-iac-core-outputs-0/tfvars/1-resman.auto.tfvars.json ./
    
    1. 运行 terraform init。

    2. 运行 terraform apply。出现提示时,请输入 yes。

  5. 停用各阶段的服务账号:

    1. 将目录切换为 fast/stages-aw/3-security。

    2. 运行 ./sa_lockdown.sh。

问题排查

本部分介绍了一些常见错误和解决方法。

第 1 阶段出现 BigQuery 不可用错误

如果您收到 bigquery.googleapis.com 无法在 Assured Workloads 中使用的错误,请完成以下操作:

  1. 在控制台中,前往 Assured Workloads 页面。

    Assured Workloads

  2. 选择 StellarEngine-PREFIX 文件夹和网络文件夹(如果适用),其中 PREFIX 是部署的前缀。

  3. 点击查看可用更新。

  4. 前往允许的服务。

  5. 点击允许服务以添加 BigQuery API。

  6. 如果系统提示,请点击是确认您的选择。

  7. 等待大约两分钟,然后重新运行 terraform apply:

    terraform apply -var bootstrap_user=$(gcloud config list --format 'value(core.account)')
    
  8. 出现提示时,请输入 yes。

您的引导项目将无法再访问您的结算账号

如果您的引导项目无法再访问结算账号,请为引导项目重新启用结算功能。

启用结算功能

Cloud KMS 密钥错误

如果构建流程中出现密钥错误,您可能需要手动启用密钥。如需查看相关说明,请参阅启用密钥版本。

如果您收到这些错误,请等待大约一分钟,然后重新运行 terraform apply。

不支持 Windows shell 环境(例如 PowerShell、命令提示符、Git Bash 或 Cygwin),因为阶段关联和部署脚本依赖于 POSIX 路径解析和符号链接。请完成以下操作:

  1. 在 Windows 工作站上,在 WSL 2 Linux 文件系统(例如 ~/stellar-engine,而不是 /mnt/c/)或开发容器中克隆代码库。

  2. 从该环境运行所有命令。

  3. 如果符号链接在第 2 阶段仍然失败,请手动将 psc.tf 和 log-metric-alerts.tf 文件复制到暂存目录中。

跨阶段 IAM 模拟 403 Forbidden 错误

每个部署阶段都使用在其生成的 *-providers.tf 文件中配置的专用自动化服务账号。如果您在阶段之间转换时遇到 403 Forbidden 或 iam.serviceAccounts.getAccessToken 错误,请完成以下操作:

  1. 运行以下命令之一,清除过时的 shell 模拟变量:

    • unset GOOGLE_IMPERSONATE_SERVICE_ACCOUNT CLOUDSDK_AUTH_IMPERSONATE_SERVICE_ACCOUNT
    • ../../stage-links.sh OUTPUTS_LOCATION

    将 OUTPUTS_LOCATION 替换为您在第 0 阶段配置的输出位置目录路径(例如 ~/fast-config)。

    这些命令可确保 Terraform 使用阶段的 *-providers.tf 配置。

  2. 如果您在第 3 阶段停用了部署服务账号,请在 fast/stages-aw/3-security 目录中运行 ./sa_lockdown.sh --enable。

  3. 验证您的活跃 gcloud auth list 身份是否属于在目标阶段服务账号上具有 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色的 gcp-organization-admins 或 gcp-devops 群组。

结算或配额问题

如果您遇到结算或配额问题,请验证是否已设置配额项目。 您可以通过运行以下命令来设置该变量:

gcloud auth application-default set-quota-project PREFIX-prod-iac-core-0

将 PREFIX 替换为您的部署的前缀。(可选)您可以使用其他项目。

违反了组织政策限制条件 compute.restrictVpcPeering

第 0 阶段使用组织节点(under:organizations/ORGANIZATION_ID,其中 ORGANIZATION_ID 是您的组织 ID)和 fast/stages-aw/0-bootstrap/terraform.tfvars 文件中的 org_policies_config.constraints.allowed_vpc_peering_producers 列表来配置 constraints/compute.restrictVpcPeering 组织政策限制条件。

如果您部署的服务或蓝图使用专用服务访问通道或具有 VPC 网络对等互连的专用 GKE 集群,请完成以下操作:

  1. 在 org_policies_config.constraints.allowed_vpc_peering_producers 中添加 Google 服务提供方组织 (under:organizations/433637338589)。
  2. 在 fast/stages-aw/0-bootstrap 目录中重新运行 terraform apply。

后续步骤