Snowflake 転送のプライベート接続を構成する

このガイドでは、Snowflake から BigQuery へのプライベート データ転送を作成するために、プライベート接続を構成する方法について説明します。プライベート データ転送を使用すると、プライベート ネットワーク内でデータをあるソースから別のソースに転送できます。また、公共のインターネット経由でデータを転送する際のセキュリティ リスクを軽減できます。

以降のセクションでは、Snowflake 転送を作成する前に、プライベート接続を構成するために必要な手順について説明します。

プライベート転送は、アマゾン ウェブ サービス(AWS)、Microsoft Azure、 Google Cloudでホストされている Snowflake インスタンスでサポートされています。

AWS、Azure、または Google Cloudでホストされている Snowflake アカウントから BigQuery へのプライベート データ転送

Snowflake アカウントをクラウド プロバイダに接続するプライベート リンクを作成します。詳細については、次のいずれかのオプションを選択してください。

AWS

AWS PrivateLink を構成して、Snowflake アカウントを AWS アカウントに接続します。AWS アカウントには、Snowflake 転送に必要な Amazon S3 ステージング バケットが含まれている必要があります。

Azure

Azure Private Link を構成して、Azure Virtual Network(VNet)を Azure の Snowflake VNet に接続します。Azure アカウントには、Snowflake 転送に必要な Blob ステージング バケットが含まれている必要があります。

Google Cloud

Google Cloudでホストされている Snowflake アカウントに Virtual Private Cloud(VPC)ネットワーク サブネットを接続するように Google Cloud Private Service Connect を構成します。Google Cloud には、Snowflake 転送に必要な Cloud Storage ステージング バケットが必要です。

Cross-Cloud Interconnect または HA VPN を設定する

AWS または Azure から Cross-Cloud Interconnect または HA VPN を設定します。この手順は、Google Cloudでホストされている Snowflake アカウントでは必要ありません。

AWS

高可用性 VPN を使用すると、暗号化された VPN トンネルを介してデータを転送できます。プライベート Snowflake 転送に HA VPN を使用するには、 Google Cloud と AWS の間に HA VPN 接続を作成するをご覧ください。

Cross-Cloud Interconnect 接続は、クラウド プロバイダ間に専用のプライベート リンクを作成します。これは、低レイテンシ要件を伴う大規模なデータ転送に適しています。プライベート Snowflake 転送に Cross-Cloud Interconnect を使用するには、AWS に接続するをご覧ください。

Azure

高可用性 VPN を使用すると、暗号化された VPN トンネルを介してデータを転送できます。プライベート Snowflake 転送に HA VPN を使用するには、 Google Cloud と Azure の間に HA VPN 接続を作成するをご覧ください。

Cross-Cloud Interconnect 接続は、クラウド プロバイダ間に専用のプライベート リンクを作成します。これは、低レイテンシ要件を伴う大規模なデータ転送に適しています。プライベート Snowflake 転送に Cross-Cloud Interconnect を使用するには、Azure に接続するをご覧ください。

プロキシ VM を作成する

プライベート接続を完了するには、データがパブリック インターネットに到達することなく、データソース間の接続を完了するためにプロキシ VM が必要です。このステップは、AWS、Azure、 Google Cloudでホストされている Snowflake インスタンスに必要です。

Snowflake のプライベート転送用のプロキシ VM を作成して構成する手順は次のとおりです。

  1. コンシューマー VPC ネットワーク内に 1 つ以上の Compute Engine VM インスタンスを作成します。
  2. HAProxy や Nginx などの TCP プロキシ ソフトウェアをダウンロードし、以下を構成します。
    1. ポートを指定します。例: 443
    2. すべての受信 TCP トラフィックを Snowflake インスタンスのプライベート ホスト名とポートに転送します。
  3. コンシューマー VPC ネットワークで構成された DNS を介して Snowflake のプライベート ホスト名を解決するように VM を構成します。

内部パススルー ロードバランサを作成する

次の手順で、コントロール プレーンの内部パススルー ロードバランサを設定します。

  1. プロキシ VM をマネージド インスタンス グループ(MIG)にグループ化する。
  2. VM インスタンス グループのバックエンドを使用して内部パススルー ネットワーク ロードバランサを設定する。

サービス アタッチメントを作成する

Private Service Connect を使用してネットワーク アタッチメントを作成し、サービスを公開する。このステップは、AWS、Azure、 Google Cloudでホストされている Snowflake インスタンスに必要です。

サービス アタッチメントは、BigQuery データセットと同じリージョンに存在する必要があります。

サービスで明示的な承認を使用している場合(connection-preference が ACCEPT_MANUAL に設定されている場合)、Snowflake のプライベート データ転送で使用されるサービス アカウントには、次の IAM 権限が必要です。

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

サービス アタッチメントを作成したら、サービス アタッチメント URI をメモします。この URI は、Snowflake 転送構成を作成するときに必要になります。

エンドポイントの作成

AWS アカウントまたは Azure アカウントにエンドポイントを作成します。この手順は、Google Cloudでホストされている Snowflake アカウントでは必要ありません。

AWS

AWS で、Amazon S3 に接続する VPC エンドポイントを作成します。詳細については、インターフェース VPC エンドポイントを使用して AWS サービスにアクセスするをご覧ください。

Azure

Azure のストレージ アカウントにプライベート エンドポイントを構成します。詳細については、Azure Storage にプライベート エンドポイントを使用するをご覧ください。

Storage Transfer Service には *.blob.core.windows.net エンドポイントが必要です。*.dfs.core.windows.net エンドポイントはサポートされていません。

作成したら、エンドポイントの IP アドレスをメモします。次のセクションでロードバランサを作成するときに、IP アドレスを指定する必要があります。

プロキシ リージョン ロードバランサを作成する

Google Cloudで、ハイブリッド接続を使用してリージョン内部プロキシ ネットワーク ロードバランサを設定します。これにより、ロードバランサと同じ VPC ネットワークで実行されているクライアントに制限された内部 IP アドレスが提供され、前のセクションで作成した S3 VPC エンドポイントまたは Azure Storage プライベート エンドポイントにトラフィックがルーティングされます。

ロードバランサは、Cloud Interconnect とインターフェースする VLAN アタッチメントと同じプロジェクトと VPC ネットワークに作成する必要があります。相互接続自体は同じ組織内の別のプロジェクトに存在できますが、アタッチメントはロードバランサと同じ VPC とリージョンに存在する必要があります。

ハイブリッド接続 NEG にエンドポイントを追加するというラベルの手順に到達したら、S3 VPC エンドポイントまたは Azure Storage プライベート エンドポイントの IP アドレスを指定します。

NLB のフロントエンド IP アドレスとポートをメモします。これらは次のセクションで指定する必要があります。

接続を検証する

続行する前に、ロードバランサがリモート ストレージ エンドポイントに接続できることを確認することをおすすめします。

手順は次のとおりです。

  1. ロードバランサと同じ VPC ネットワークに Compute Engine VM を作成します。
  2. VM から curl を使用して、ロードバランサの IP アドレスとポートへの接続をテストします。

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    次のように置き換えます。

    • HOSTNAME は、移行元ストレージ プロバイダのホスト名です。
      • AWS S3 の場合は、バケットのリージョンの S3 API エンドポイント(s3.us-west-1.amazonaws.com など)を使用します。
      • Azure Storage の場合は、ストレージ アカウントの blob エンドポイント(mystorageaccount.blob.core.windows.net など)を使用します。
    • PORT は、ロードバランサの転送ルールで構成したポートです(通常は 443)。
    • LOAD_BALANCER_IP は、ロードバランサのフロントエンド IP アドレスです。

リモート エンドポイントからのレスポンス(エラーを含む)は、接続が成功したことを示します。接続タイムアウトは、ネットワーク設定に誤りがあることを示しています。続行する前に解決する必要があります。

NLB を登録する

Service Directory に NLB を登録します。BigQuery は、Service Directory を使用してロードバランサのアドレスを解決し、ロードバランサに直接接続します。

手順に沿って内部ロードバランサを登録します。転送ルールの指定時に作成したロードバランサの IP アドレスとポートを使用します。

作成したら、サービスのセルフリンクをメモします。形式は projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service} です。この値は、転送ジョブの作成時に必要になります。

ステージング バケットを準備する

Snowflake データ転送を完了するには、ステージング バケットを作成してから、Snowflake からの書き込みアクセスを許可するように構成する必要があります。

次のオプションのいずれかを選択します。

AWS

AWS でホストされている Snowflake アカウントの場合は、Snowflake データを BigQuery に読み込む前にステージングするための Amazon S3 バケットを作成します。

  1. Amazon S3 バケットを作成します。

  2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Amazon S3 バケットにデータを書き込めるようにします。

Amazon S3 バケットに対する読み取りアクセスを許可するには、次の操作も行う必要があります。

  1. 専用の Amazon IAM ユーザーを作成し、AmazonS3ReadOnlyAccess ポリシーを付与します。

  2. IAM ユーザーの Amazon アクセスキー ペアを作成します。

Azure

Azure でホストされている Snowflake アカウントの場合は、Snowflake データを BigQuery に読み込む前にステージングするための Azure Blob Storage コンテナを作成します。

  1. Azure ストレージ アカウントを作成し、ストレージ アカウント内にストレージ コンテナを作成します。
  2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Azure ストレージ コンテナにデータを書き込めるようにします。外部ステージを作成する手順は、必須ではないためスキップできます。

Azure コンテナへの読み取りアクセスを許可するには、そのコンテナの SAS トークンを生成します。

Google Cloud

Google Cloudでホストされている Snowflake アカウントの場合は、Snowflake データを BigQuery に読み込む前にステージングするための Cloud Storage バケットを作成します。

  1. Cloud Storage バケットを作成します。
  2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Cloud Storage バケットにデータを書き込めるようにします。
  3. ステージング バケットへのアクセスを許可するには、次のコマンドを使用して DTS サービス エージェントに roles/storage.objectViewer ロールを付与します。

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
      --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
      --role=roles/storage.objectViewer

プライベート Snowflake 転送構成を作成する

Snowflake 転送を作成します。転送構成を設定する際に、次の操作を行います。

コンソール

  • [プライベート ネットワークを使用する] で [True] を選択します。
  • [PSC サービス アタッチメント] に、サービス アタッチメントの URI を入力します。サービス アタッチメント URI の確認については、公開サービスの詳細を表示するをご覧ください。サービス アタッチメント URI の形式は projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT です。
  • [プライベート ネットワーク サービス] に、NLB サービスのセルフリンクを入力します。形式は projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME です。
  • 転送に使用するステージング バケットの URI:
  • [Cloud Provider] で、Snowflake アカウントがホストされているクラウド プロバイダに応じて AWS、AZURE、GCP のいずれかを選択します。

    AWS

    Azure

    Google Cloud

    • [GCS URI] に、ステージング バケットとして使用する Cloud Storage の URI を入力します。

bq

  • use_private_network パラメータを TRUE に設定します。
  • service_attachment パラメータに、サービス アタッチメント URI を指定します。サービス アタッチメント URI の確認については、公開サービスの詳細を表示するをご覧ください。サービス アタッチメント URI の形式は projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT です。
  • private_network_service パラメータには、NLB サービスのセルフリンクを指定します。形式は projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME です。
  • cloud_provider: Snowflake アカウントがホストされているクラウド プロバイダに応じて、AWS、AZURE、GCP のいずれかを入力します。
  • staging_s3_uri: ステージング バケットとして使用する S3 バケットの URI を入力します。cloud_provider が AWS の場合にのみ必須です。
  • aws_access_key_id: アクセス鍵ペアを入力します。cloud_provider が AWS の場合にのみ必須です。
  • aws_secret_access_key: アクセス鍵ペアを入力します。cloud_provider が AWS の場合にのみ必須です。
  • azure_storage_account: ステージング バケットとして使用するストレージ アカウント名を入力します。cloud_provider が AZURE の場合にのみ必須です。
  • staging_azure_container: ステージング バケットとして使用する Azure Blob Storage 内のコンテナを入力します。cloud_provider が AZURE の場合にのみ必須です。
  • azure_sas_token: SAS トークンを入力します。cloud_provider が AZURE の場合にのみ必須です。
  • staging_gcs_uri : ステージング バケットとして使用する Cloud Storage の URI を入力します。cloud_provider が GCP の場合にのみ必須です。