连接到 MySQL

作为 BigQuery 管理员，您可以创建一个连接来访问 MySQL 数据。借助此连接，数据分析师可以查询 MySQL 中的数据。

支持的 MySQL 环境和版本

BigQuery 联合查询支持以下 MySQL 部署环境：

• 通过 Cloud VPN 或 Cloud Interconnect 连接到 Google Cloud 的本地 MySQL 实例
• Compute Engine 上的自管式 MySQL 实例
• 可通过公共 IP 地址或网络连接访问的云托管 MySQL 实例

BigQuery 联合查询支持以下 MySQL 版本：

• MySQL 8.4 LTS
• MySQL 8.0

准备工作

启用必要的 API，配置 MySQL 数据库，并授予为用户提供执行本文档中的每个任务所需权限的 Identity and Access Management 角色。

1. 启用 BigQuery Connection API。

   启用 API

2. 如果您计划使用网络连接通过专用网络路由流量，请同时启用 Compute Engine API。

   启用 Compute Engine API

3. 在 MySQL 数据库中，创建一个对您要查询的表或数据库具有 SELECT 权限的专用数据库用户：

   CREATE USER 'USER_NAME'@'%' IDENTIFIED BY 'PASSWORD';
   GRANT SELECT ON DATABASE_NAME.* TO 'USER_NAME'@'%';
   FLUSH PRIVILEGES;

   替换以下内容：

   • USER_NAME：数据库用户的用户名。
   • PASSWORD：数据库用户的密码。
   • DATABASE_NAME：默认 MySQL 数据库名称。

4. 通过执行以下操作之一，配置与 MySQL 数据库实例的网络连接：

   • 如果您要通过专用网络路由流量，请在 BigQuery 连接所在的区域中创建网络连接。不支持 DNS 对等互连；请使用可在 VPC 网络中解析的 IP 地址或主机名进行连接。
   • 如果您通过公共互联网进行连接，请将所有 Google IP 地址范围添加到 MySQL 数据库的防火墙规则中。

所需的角色

如需获得连接到 MySQL 所需的权限，请让您的管理员为您授予以下 IAM 角色：

• 如需创建连接：针对项目的 BigQuery Connection Admin (roles/bigquery.connectionAdmin)
• 配置网络连接：项目的 Compute Admin (roles/compute.admin)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

将 BigQuery 连接到 MySQL

您可以在Google Cloud 控制台或 bq 命令行工具中将 BigQuery 连接到 MySQL。

bq mk --connection \
  --location=LOCATION \
  --project_id=PROJECT_ID \
  --connector_configuration '{
    "connector_id": "mysql",
    "endpoint": {
      "host_port": "HOST_PORT"
    },
    "asset": {
      "database": "DATABASE"
    },
    "authentication": {
      "username_password": {
        "username": "USERNAME",
        "password": {
          "plaintext": "PASSWORD"
        }
      }
    },
    "tls": {
      "mode": "TLS_MODE"
    },
    "network": {
      "private_service_connect": {
        "network_attachment": "projects/PROJECT_ID/regions/NA_REGION/networkAttachments/ATTACHMENT_NAME"
      }
    }
  }' \
  CONNECTION_ID

传输层安全协议 (TLS) 配置

将 BigQuery 连接到 MySQL 时，请选择以下 TLS 模式之一：

• 加密数据并验证证书授权机构 (CA) 和主机名（ENCRYPT_VERIFY_CA_AND_HOST 模式）。使用 TLS 执行完整的服务器验证。加密传输中的所有数据，验证数据库服务器的证书是否由受信任的 CA 签名，并检查您要连接的主机名是否与证书中的通用名称 (CN) 或主体备用名称 (SAN) 匹配。对于通过公共 IP 建立的连接，此字段为必填项。

• 加密数据并仅验证 CA（ENCRYPT_VERIFY_CA 模式）。加密传输中的所有数据，并验证服务器的证书是否由受信任的 CA 签名，但不验证服务器的主机名。如果服务器证书由可信 CA 签名，但您使用与证书 CN 或 SAN 不匹配的 IP 地址或主机名进行连接，请使用此模式。

• 仅加密（ENCRYPT_VERIFY_NONE 模式）。加密在 BigQuery 与服务器之间传输的所有数据。 不执行证书或主机名验证。仅建议在私有 VPC 中使用。

• 不加密或验证（DISABLE 模式）。不加密数据，也不执行证书或主机名验证。仅在通过受保护 VPC 网络中的专用网络连接进行连接时才允许。

PEM 格式的可信服务器证书

如果您使用 ENCRYPT_VERIFY_CA_AND_HOST 模式或 ENCRYPT_VERIFY_CA 模式，请执行以下操作：

• 如果您的数据库服务器证书由公共 CA（例如 Mozilla 根 CA 计划中包含的 CA，包括 Let's Encrypt、DigiCert 或 Google Trust Services）签名，则您无需提供证书。默认情况下，公共 CA 的根证书是受信任的。
• 如果您使用由组织内的内部或私有 CA 签名的证书，或者使用自签名证书，则必须在连接设置期间，在受信任的 PEM 证书字段中提供隐私增强邮件 (PEM) 格式的完整证书链。

与用户共享连接

您可以授予以下角色，以使用户可以查询数据并管理连接：

• roles/bigquery.connectionUser：允许用户使用连接与外部数据源建立连接，并对其运行查询。

• roles/bigquery.connectionAdmin：允许用户管理连接。

如需详细了解 BigQuery 中的 IAM 角色和权限，请参阅预定义的角色和权限。

从下列选项中选择一项：

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

价格

联合查询和连接需支付以下费用：

• 您需要按标准的联合查询价格付费。
• 使用 VPC 需遵循虚拟私有云价格。
• 使用 Cloud VPN 按照 Cloud VPN 价格计费。
• 使用 Cloud NAT 按照 Cloud NAT 价格计费。

后续步骤

• 了解不同的连接类型。
• 了解如何管理连接。
• 了解如何查询 MySQL 数据。