将 VPC Service Controls 与联合目录端点搭配使用

在 Lakehouse 运行时目录中,针对联合目录端点的 VPC Service Controls 边界规则可让您在 BigQuery 中查询外部 Apache Iceberg 表,同时帮助防止数据渗漏。当您的Google Cloud 项目或 Cloud Storage 存储桶位于服务边界内时,您可以为 Amazon S3 和 Microsoft Azure Data Lake Storage (ADLS) Gen2 配置出站流量规则,或为 Cloud Storage 配置入站流量规则。这些规则会授权对 AWS Glue Data Catalog、Databricks Unity Catalog、Snowflake Horizon Catalog 和 Workday 数据湖中注册的表进行后台元数据刷新和查询。

如果您的项目不在服务边界内,则联合目录端点无需任何 VPC Service Controls 配置即可运行。如需了解与 SAP Business Data Cloud (SAP BDC) 的跨云连接,请参阅适用于 SAP BDC 的 VPC Service Controls 配置。如需保护在凭证发放模式下通过 Apache Iceberg REST 目录端点访问的存储桶,请参阅将 VPC Service Controls 与凭证发放搭配使用。

准备工作

  1. 为 AWS Glue Data Catalog、Databricks Unity Catalog、Snowflake Horizon Catalog 或 Workday 数据湖 设置联合目录端点。
  2. 为您的项目创建一个或多个服务边界,具体取决于表文件的存储位置:

    • 外部云存储(Amazon S3 或 ADLS Gen2):使用限制 biglake.googleapis.com 和 bigquery.googleapis.com 的边界保护联合目录端点项目。如需了解所需的出站流量规则,请参阅为外部云存储空间添加出站流量规则。
    • Cloud Storage:使用限制 storage.googleapis.com 的边界保护 Cloud Storage 存储桶项目。存储桶项目和联合目录端点项目可以共享一个边界,也可以位于不同的边界中。如需了解所需的入站流量规则,请参阅为服务边界中的 Cloud Storage 存储桶添加入站流量规则。
  3. 如果边界外的用户或服务账号查询联合目录端点,请添加入站流量规则,允许他们访问目录端点项目的边界。

所需的角色

如需获得配置服务边界所需的权限,请让管理员向您授予组织的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

应用场景和所需的边界规则

您配置的边界规则取决于表文件的存储位置以及查询调用方的运行位置:

使用场景 必需的边界规则 配置步骤
查询 Amazon S3 或 ADLS Gen2 中的跨云表:通过受保护的 BigQuery 项目中的联合目录端点查询 s3:// 存储桶或 abfss:// 容器中的 Apache Iceberg 表,同时阻止未经授权的外部出站流量。 在目录端点项目的边界上添加出站流量规则,以允许目录端点的 blirc-... 服务账号和查询主账号读取已获批准的外部存储桶或容器。 查找目录端点的服务账号,然后为外部 Cloud Storage 添加出站流量规则。
访问受保护的 Cloud Storage 存储桶中的外部目录表:查询存储在 gs:// 存储桶中的 Databricks Unity Catalog 或 Snowflake Horizon Catalog 表,该存储桶位于限制 storage.googleapis.com 的边界内(即使与联合目录端点位于同一项目和边界内)。 在 Cloud Storage 存储桶项目的边界上添加入站流量规则,以允许远程目录的 Google Cloud 服务账号访问 storage.googleapis.com。 为服务边界内的 Cloud Storage 存储桶添加入站规则。
允许来自目录端点边界外部的调用方的查询:在目录端点项目中,通过位于边界外部的分析师账号、BI 工具或工作负载服务账号运行 BigQuery 作业。 在目录端点项目的边界上添加一条入站流量规则,除了针对表位置的存储规则之外,该规则还允许外部调用方访问 bigquery.googleapis.com 和 biglake.googleapis.com。 使用入站流量规则参考文档配置调用方入站流量,然后按照表位置的存储过程进行操作。

VPC Service Controls 如何评估联合目录端点流量

联合目录端点会执行两项不同的操作,这些操作会从底层存储空间读取数据:后台元数据刷新和 BigQuery 查询。VPC Service Controls 如何评估这些操作取决于表文件的存储位置:

  • 外部云存储(Amazon S3 或 Azure Data Lake Storage Gen2):VPC Service Controls 会根据Google Cloud 上的调用方身份和目标外部存储桶或容器,评估从目录端点项目的服务边界流出的出站流量:

    操作 身份已评估 已评估的资源
    后台元数据刷新 目录端点自动预配的 Lakehouse 服务账号 (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.) 包含表的 Apache Iceberg 元数据的外部存储桶或容器
    查询 运行 BigQuery 作业的用户或服务账号 存放表的元数据和数据文件的外部存储桶或容器

    对于存储在 Amazon S3 或 ADLS Gen2 中的表,边界的出站流量规则必须包含以下所有内容:

    • 身份:目录端点的服务账号和查询主账号。
    • 外部资源:表用于存储元数据和数据文件的每个存储桶或容器。
    • 操作:bigquery.googleapis.com(具有 externalResource.read 权限)和 biglake.googleapis.com(具有所有方法 '*')。
  • Cloud Storage( Google Cloud上的 Databricks Unity Catalog 或 Snowflake Horizon Catalog 外部位置):在后台元数据刷新和 BigQuery 查询期间,BigQuery 和 Lakehouse 会使用远程目录(而非目录端点的 blirc-... 服务账号)提供的降级凭据从 Cloud Storage 读取数据。当 Cloud Storage 存储桶项目位于限制 storage.googleapis.com 的服务边界内时,storage.googleapis.com 会将远程目录的 Google Cloud 服务账号评估为尝试进入边界的外部身份。即使存储桶与联合目录端点位于同一项目和服务边界内,此评估也适用。您必须向存储桶项目的服务边界添加入站流量规则,以允许远程目录的Google Cloud 服务账号访问 storage.googleapis.com。

VPC Service Controls 仅评估 BigQuery 和 Lakehouse (biglake.googleapis.com) 执行的存储读取操作。它不会评估 Lakehouse 对远程目录的 API 端点发出的调用(例如列出命名空间和表),也不会管理直接读取存储的外部查询引擎。

外部资源格式

在出站流量规则中将外部资源指定为确切的存储桶或容器 URI。 不支持对象路径和通配符。存储桶、容器和存储账号名称必须为小写;如果您在保存规则时,这些名称中包含大写字符,则规则会被拒绝。在 VPC Service Controls 出站规则中,Azure Data Lake Storage Gen2 (abfss://) 和 Azure Blob Storage (azure://) URI 不可互换;对于联合目录端点,您必须指定 abfss:// 格式。

下表显示了联合目录端点支持的外部资源 URI 格式:

存储服务 格式 示例
Amazon S3 s3://BUCKET_NAME s3://my-iceberg-warehouse
Azure Data Lake Storage Gen2 abfss://CONTAINER@STORAGE_ACCOUNT.dfs.core.windows.net abfss://unity-catalog-storage@mystorageaccount.dfs.core.windows.net

查找目录端点的服务账号

当您创建联合目录端点时,Lakehouse 会为每个联合目录端点预配一个专用服务账号。对于 Cloud Storage 中的表,请跳至为服务边界中的 Cloud Storage 存储桶添加入站流量规则。如果您的表存储在 Amazon S3 或 ADLS Gen2 中,请检索此服务账号电子邮件地址,以用于出站流量规则:

gcloud biglake iceberg catalogs describe CATALOG_ID \
    --project=PROJECT_ID \
    --format='value(biglake-service-account)'

替换以下内容:

  • CATALOG_ID:联合目录端点的 ID。
  • PROJECT_ID:包含联合目录端点的 Google Cloud项目的 ID。

该命令会返回以下格式的邮箱:

blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.

为外部云端存储空间添加出站规则

如果通过联合目录端点访问的表存储在 Amazon S3 或 ADLS Gen2 中,请向保护目录端点项目的服务边界添加出站流量规则。

控制台

  1. 在 Google Cloud 控制台中,前往 VPC Service Controls 页面。

    转到 VPC Service Controls

  2. 选择您的组织和访问权限政策,然后点击包含目录端点项目的服务边界的名称。

  3. 点击修改,然后在出站流量政策部分中,点击添加出站流量规则。

  4. 在来源部分的身份下,选择选择身份和群组,点击添加身份,然后添加目录端点的服务账号以及运行查询的用户或服务账号。

  5. 在收件人部分:

    1. 选择外部资源,点击添加资源,输入表使用的每个 s3:// 存储桶或 abfss:// 容器,然后点击添加外部资源。
    2. 在操作或 IAM 角色下,在 API 操作表中配置以下服务:
      • BigQuery API (bigquery.googleapis.com):如需将默认的所有方法 (*) 条目限制为只读访问权限,请打开 bigquery.googleapis.com 的操作菜单,然后点击修改,选择选择方法,选择 externalResource.read 权限,然后点击添加所选方法。
      • BigLake API (biglake.googleapis.com):点击添加操作,选择 BigLake API (biglake.googleapis.com),选择所有方法,然后点击添加所有方法。
  6. 点击保存。

gcloud CLI

  1. 创建一个名为 egress.yaml 的文件,用于指定目录端点的服务账号、查询主账号以及表使用的每个外部存储桶或容器。如需查看完整架构,请参阅出站规则参考。

    - egressFrom:
        identities:
        - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
        - user:QUERY_USER_EMAIL
      egressTo:
        externalResources:
        - s3://S3_BUCKET_NAME
        - abfss://ADLS_CONTAINER@STORAGE_ACCOUNT.dfs.core.windows.net
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - permission: externalResource.read
        - serviceName: biglake.googleapis.com
          methodSelectors:
          - method: '*'
    

    替换以下内容:

    • CATALOG_ENDPOINT_SERVICE_ACCOUNT:您之前检索到的目录端点的服务账号邮箱。
    • QUERY_USER_EMAIL:通过联合目录端点运行查询的用户或服务账号的电子邮件地址。对于服务账号,请使用 serviceAccount: 前缀,而不是 user:。或者,将 identities 替换为 identityType: ANY_IDENTITY,以允许边界内的任何主账号。
    • S3_BUCKET_NAME、ADLS_CONTAINER 和 STORAGE_ACCOUNT:保存表元数据和数据文件的外部存储位置。仅包含适用于您的存储服务提供商的条目。
  2. 查找您组织的访问权限政策的数字 ID:

    gcloud access-context-manager policies list \
        --organization=ORGANIZATION_ID \
        --format='value(name)'
    

    将 ORGANIZATION_ID 替换为您的数字组织 ID。

  3. 将出站流量规则应用于服务边界:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --policy=POLICY_ID \
        --set-egress-policies=egress.yaml
    

    替换以下内容:

    • PERIMETER_NAME:服务边界的名称。
    • POLICY_ID:访问权限政策的数字 ID。

    如需在强制执行规则之前对其进行测试,请使用 gcloud access-context-manager perimeters dry-run update 将其应用于试运行配置,并在使用 gcloud access-context-manager perimeters dry-run enforce 进行验证后强制执行。

  4. 验证规则是否处于活跃状态:

    gcloud access-context-manager perimeters describe PERIMETER_NAME \
        --policy=POLICY_ID \
        --format='yaml(status.egressPolicies)'
    

为服务边界内的 Cloud Storage 存储桶添加入站流量规则

如果远程目录(例如 Databricks Unity Catalog 或 Snowflake Horizon Catalog)中的表存储在受限制 storage.googleapis.com 的边界保护的 Cloud Storage 存储桶中,请向存储桶项目的服务边界添加入站流量规则。由于 BigQuery 和 Lakehouse 使用远程目录的 Google Cloud 服务账号(而非 blirc-... 服务账号)向 Cloud Storage 进行身份验证,因此即使存储桶与联合目录端点位于同一项目和边界内,也需要此规则。

控制台

  1. 在 Google Cloud 控制台中,前往 VPC Service Controls 页面。

    转到 VPC Service Controls

  2. 选择您的组织和访问权限政策,然后点击保护包含 Cloud Storage 存储桶的项目所用的服务边界的名称。

  3. 点击修改,然后在入站流量政策部分中,点击添加入站流量规则。

  4. 在发件人部分:

    1. 在身份下,选择选择身份和群组,点击添加身份,然后添加远程目录为 Cloud Storage 存储桶预配的 Google Cloud 服务账号。
    2. 在来源下,选择所有来源(或选择选择来源以指定访问权限级别)。
  5. 在收件人部分:

    1. 在资源下,选择选择资源。在项目标签页上,点击添加项目,选择包含 Cloud Storage 存储桶的项目,然后点击添加所选项目。
    2. 在操作或 IAM 角色下,选择选择操作,点击添加操作,选择 Cloud Storage API (storage.googleapis.com),选择所有方法,然后点击添加所有方法。或者,选择选择方法以选择特定的受支持的服务方法(例如 google.storage.objects.get、google.storage.objects.list 和 google.storage.buckets.get),然后点击添加所选方法。
  6. 点击保存。

gcloud CLI

  1. 创建一个名为 ingress.yaml 的文件,以允许远程目录的Google Cloud 服务账号访问存储桶项目中的 storage.googleapis.com。如需查看完整架构,请参阅入站流量规则参考。

    - ingressFrom:
        identities:
        - serviceAccount:REMOTE_CATALOG_GCS_SERVICE_ACCOUNT
        sources:
        - accessLevel: '*'
      ingressTo:
        operations:
        - serviceName: storage.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - projects/BUCKET_PROJECT_NUMBER
    

    替换以下内容:

    • REMOTE_CATALOG_GCS_SERVICE_ACCOUNT:远程目录预配的Google Cloud 服务账号邮箱,用于访问您的 Cloud Storage 存储桶(例如,来自 Databricks Unity Catalog 中的 DESCRIBE STORAGE CREDENTIAL 或 Snowflake Horizon Catalog 中的 DESC EXTERNAL VOLUME)。
    • BUCKET_PROJECT_NUMBER:包含 Cloud Storage 存储桶的项目的数字项目编号。
  2. 查找您组织的访问权限政策的数字 ID:

    gcloud access-context-manager policies list \
        --organization=ORGANIZATION_ID \
        --format='value(name)'
    

    将 ORGANIZATION_ID 替换为您的数字组织 ID。

  3. 将入站流量规则应用于保护存储桶项目的服务边界:

    gcloud access-context-manager perimeters update BUCKET_PERIMETER_NAME \
        --policy=POLICY_ID \
        --set-ingress-policies=ingress.yaml
    

    替换以下内容:

    • BUCKET_PERIMETER_NAME:用于保护存储桶项目的服务边界的名称。
    • POLICY_ID:访问权限政策的数字 ID。

    如需在强制执行规则之前对其进行测试,请使用 gcloud access-context-manager perimeters dry-run update 将其应用于试运行配置,并在使用 gcloud access-context-manager perimeters dry-run enforce 进行验证后强制执行。

  4. 验证规则是否处于活跃状态:

    gcloud access-context-manager perimeters describe BUCKET_PERIMETER_NAME \
        --policy=POLICY_ID \
        --format='yaml(status.ingressPolicies)'
    

验证配置

服务边界政策更新最长可能需要 30 分钟才能传播。规则生效后,请验证后台元数据刷新和 BigQuery 查询是否在没有 VPC Service Controls 拒绝的情况下完成:

  1. 等待下一个预定的后台元数据刷新周期完成,然后检查 Cloud Audit Logs 中的政策拒绝审核日志,确认没有发生 VPC Service Controls 违规行为。后台元数据刷新会根据其刷新时间表自动运行,无法手动触发。

    在 Logs Explorer 中,选择受保护的项目,即外部云存储空间的目录端点项目,或 Cloud Storage 表的 Cloud Storage 存储桶项目。如需了解详情,请参阅从审核日志中检索 VPC Service Controls 错误。请运行以下查询:

    log_id("cloudaudit.googleapis.com/policy")
    protoPayload.metadata.@type:"type.googleapis.com/google.cloud.audit.VpcServiceControlAuditMetadata"
    

    如果违规条目在规则传播后出现,请检查日志条目中的 egressViolations.targetResource、ingressViolations.targetResource 和 authenticationInfo.principalEmail 字段,确认它们与规则中的资源和身份匹配。如果新表无法同步且未显示 VpcServiceControlAuditMetadata 条目,请检查您的远程目录权限和凭据;请参阅排查跨云数据访问问题。

  2. 使用由四个部分组成的 P.C.N.T (Project.Catalog.Namespace.Table) 命名惯例对 BigQuery 中的表运行测试查询:

    SELECT COUNT(*)
    FROM `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    

    替换以下内容:

    • PROJECT_ID:包含联合目录端点的 Google Cloud项目的 ID。
    • CATALOG_ID:联合目录端点的 ID。
    • NAMESPACE:联合目录端点中的命名空间。
    • TABLE_NAME:命名空间中表的名称。

    如果查询被 VPC Service Controls 屏蔽,则出错提示会包含 vpcServiceControlsUniqueIdentifier 值。通过将 protoPayload.metadata.vpcServiceControlsUniqueId 与该标识符进行匹配,在 Logs Explorer 中过滤政策拒绝审核日志:

    log_id("cloudaudit.googleapis.com/policy")
    protoPayload.metadata.@type:"type.googleapis.com/google.cloud.audit.VpcServiceControlAuditMetadata"
    protoPayload.metadata.vpcServiceControlsUniqueId="UNIQUE_IDENTIFIER"
    

    将 UNIQUE_IDENTIFIER 替换为出错提示中的 vpcServiceControlsUniqueIdentifier 值。

后续步骤