Snowflake-Übertragung planen

Mit dem Snowflake-Connector, der vom BigQuery Data Transfer Service bereitgestellt wird, können Sie automatisierte Übertragungsjobs planen und verwalten, um Daten von Snowflake zu BigQuery mithilfe von Zulassungslisten für öffentliche IP-Adressen zu migrieren.

Übersicht

Der Snowflake-Connector aktiviert Migrations-Agents in der Google Kubernetes Engine und löst einen Ladevorgang von Snowflake zu einem Staging-Bereich im Cloud Storage-Bucket aus.

  • Bei Amazon Web Services (AWS) oder Azure oder von Google Cloudgehosteten Snowflake-Konten werden die Daten zuerst in Ihrem Cloud Storage-Bucket bereitgestellt und dann mit dem BigQuery Data Transfer Service an BigQuery übertragen.

Das folgende Diagramm zeigt öffentliche Datenübertragungen von Snowflake-Konten, die auf Amazon Web Services (AWS) oder Azure gehostet werden, oder von Snowflake-Konten, die auf Google Cloudgehostet werden.

Öffentliche Datenübertragungen von AWS- oder Azure- oder Google Cloud-gehosteten Snowflake-Konten zu BigQuery

Beschränkungen

Für Datenübertragungen mit dem Snowflake-Connector gelten die folgenden Einschränkungen:

  • Der Snowflake-Connector unterstützt nur Übertragungen aus Tabellen innerhalb einer einzelnen Snowflake-Datenbank und eines einzelnen Snowflake-Schemas. Wenn Sie Daten aus Tabellen mit mehreren Snowflake-Datenbanken oder ‑Schemas übertragen möchten, können Sie jeden Übertragungsjob separat einrichten.
  • Die Geschwindigkeit, mit der Daten von Snowflake in Ihren Amazon S3-Bucket, Azure Blob Storage-Container oder Cloud Storage-Bucket geladen werden, ist durch das Snowflake-Warehouse begrenzt, das Sie für diese Übertragung ausgewählt haben.
  • BigQuery schreibt Daten aus Snowflake als Parquet-Dateien in Cloud Storage. Parquet-Dateien unterstützen die Datentypen TIMESTAMP_TZ und TIMESTAMP_LTZ nicht. Wenn Ihre Daten diese Typen enthalten, können Sie sie als CSV-Dateien in Amazon S3 exportieren und dann die CSV-Dateien in BigQuery importieren. Weitere Informationen finden Sie unter Einführung in Amazon S3-Datenübertragungen.

Hinweis

In den folgenden Abschnitten werden die Schritte beschrieben, die Sie zum Einrichten einer Snowflake-Übertragung ausführen müssen.

Google Cloud -Projekt vorbereiten

So erstellen und konfigurieren Sie Ihr Google Cloud -Projekt für eine Snowflake-Übertragung:

  1. Erstellen Sie ein Google Cloud -Projekt oder wählen Sie ein vorhandenes Projekt aus.

  2. Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.

  3. Erstellen Sie ein BigQuery-Dataset zum Speichern Ihrer Daten. Sie müssen keine Tabellen erstellen.

Erforderliche IAM-Rollen abrufen

Zum Erstellen und Verwalten von Snowflake-Datenübertragungen müssen alle erforderlichen Nutzer- und Dienstkonten die in der folgenden Tabelle beschriebenen Rollen haben:

Identität Rolle Zielressource
Nutzerkonto roles/bigquery.user Google Cloud -Projekt
Nutzerkonto roles/bigquery.dataOwner BigQuery-Ziel-Dataset
Nutzerkonto roles/iam.serviceAccountUser Dediziertes Dienstkonto
Dediziertes Dienstkonto roles/storage.objectViewer Staging-Cloud Storage-Bucket und Bucket oder Buckets, die die Schemazuordnungsdateien enthalten
Dienst-Agent für BigQuery Data Transfer Service roles/storage.objectViewer Cloud Storage-Staging-Bucket
Dienst-Agent für BigQuery Data Transfer Service roles/bigquery.dataEditor BigQuery-Ziel-Dataset
Dienst-Agent für BigQuery Data Transfer Service roles/iam.serviceAccountTokenCreator Dediziertes Dienstkonto, wenn Sie ein projektübergreifendes Dienstkonto verwenden
Snowflake Google Cloud -Dienstkonto roles/storage.objectUser Cloud Storage-Staging-Bucket
Snowflake Google Cloud -Dienstkonto roles/storage.bucketViewer Cloud Storage-Staging-Bucket

In den folgenden Abschnitten finden Sie weitere Informationen zu den erforderlichen Rollen und Berechtigungen für die einzelnen Identitäten.

Nutzerkontoberechtigungen abrufen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Transferkonfigurationen und zum Ausführen von Jobs mit einem Nutzerkonto benötigen:

  • Transferkonfigurationen erstellen und verwalten und Jobs ausführen: BigQuery-Nutzer (roles/bigquery.user) für das Projekt
  • Zugriff auf das Ziel-Dataset verwalten und gewähren: BigQuery Data Owner (roles/bigquery.dataOwner) für das BigQuery-Ziel-Dataset
  • Übertragungskonfigurationen mit einem dedizierten Dienstkonto erstellen oder aktualisieren: Dienstkontonutzer (roles/iam.serviceAccountUser) für das dedizierte Dienstkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Transferkonfigurationen und zum Ausführen von Jobs mit einem Nutzerkonto erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Transferkonfigurationen zu erstellen und zu verwalten und Jobs mit einem Nutzerkonto auszuführen:

  • bigquery.transfers.get
  • bigquery.transfers.update
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.jobs.create
  • bigquery.datasets.setIamPolicy
  • iam.serviceAccounts.actAs

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Berechtigungen für dedizierte Dienstkonten abrufen

Bitten Sie Ihren Administrator, dem dedizierten Dienstkonto die IAM-Rolle Storage-Objekt-Betrachter (roles/storage.objectViewer) für den Cloud Storage-Staging-Bucket und den Bucket oder die Buckets zuzuweisen, die die Schemazuordnungsdateien enthalten, damit das dedizierte Dienstkonto die erforderlichen Berechtigungen hat, um während der Übertragungsausführung ein Dienstkonto zum Lesen von Übersetzungsmetadaten, benutzerdefinierten Schemas oder Staging-Dateien zu verwenden.

Berechtigungen für den BigQuery Data Transfer Service-Agent abrufen

Damit der BigQuery Data Transfer Service-Dienst-Agent die erforderlichen Berechtigungen zum Verwenden eines Dienst-Agents zum Ausführen der Übertragung hat, bitten Sie Ihren Administrator, dem BigQuery Data Transfer Service-Dienst-Agent die folgenden IAM-Rollen zuzuweisen:

  • Entladene Datendateien während der Übertragungsausführung lesen: Storage-Objekt-Betrachter (roles/storage.objectViewer) für den Cloud Storage-Staging-Bucket
  • Übertragene Daten in Zieltabellen schreiben: BigQuery-Dateneditor (roles/bigquery.dataEditor) für das BigQuery-Ziel-Dataset
  • Übertragungen autorisieren, die ein projektübergreifendes Dienstkonto verwenden: Ersteller von Dienstkonto-Tokens (roles/iam.serviceAccountTokenCreator) für das dedizierte projektübergreifende Dienstkonto

Wenn sich das dedizierte Dienstkonto im selben Projekt befindet, in dem der BigQuery Data Transfer Service aktiviert ist, gewährt Google automatisch die erforderliche Berechtigung iam.serviceAccounts.getAccessToken. Sie müssen die Rolle „Ersteller von Dienstkonto-Tokens“ (roles/iam.serviceAccountTokenCreator) nur dann manuell zuweisen, wenn sich das dedizierte Dienstkonto in einem anderen Projekt befindet. Weitere Informationen finden Sie unter Projektübergreifende Dienstkontoautorisierung.

Berechtigungen für das Snowflake Google Cloud -Dienstkonto abrufen

Damit das Snowflake-Dienstkonto Google Cloud die erforderlichen Berechtigungen zum Schreiben und Verwalten von entladenen Datendateien im Staging-Bucket hat, bitten Sie Ihren Administrator, dem Snowflake-Dienstkonto Google Cloud die folgenden IAM-Rollen für den Cloud Storage-Staging-Bucket zuzuweisen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Schreiben und Verwalten von entladenen Datendateien im Staging-Bucket erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um entladene Datendateien im Staging-Bucket zu schreiben und zu verwalten:

  • storage.buckets.get
  • storage.objects.get
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list

Staging-Bucket vorbereiten

Erstellen Sie zur Vorbereitung einer Snowflake-Datenübertragung einen Staging-Bucket und konfigurieren Sie ihn so, dass Schreibzugriff von Snowflake möglich ist. Sie müssen die Snowflake-Daten in einem Cloud Storage-Bucket bereitstellen, bevor Sie sie in BigQuery laden können. Für den Staging-Bucket darf die Funktion „Hierarchischer Namespace“ nicht aktiviert sein.

So erstellen und konfigurieren Sie einen Staging-Bucket:

  1. Cloud Storage-Bucket erstellen
  2. Erstellen und konfigurieren Sie ein Snowflake-Speicherintegrationsobjekt, damit Snowflake Daten als externe Phase in den Cloud Storage-Bucket schreiben kann.

    CREATE STORAGE INTEGRATION STORAGE_INTEGRATION_NAME
    TYPE = EXTERNAL_STAGE
    STORAGE_PROVIDER = 'GCS'
    ENABLED = TRUE
    STORAGE_ALLOWED_LOCATIONS = ('gcs://STAGING_BUCKET_NAME/');
    
    -- Describe integration to retrieve Snowflake Google Cloud service account
    DESCRIBE INTEGRATION STORAGE_INTEGRATION_NAME;

    Ersetzen Sie Folgendes:

    • STORAGE_INTEGRATION_NAME: der Name des neuen Speicherintegrationsobjekts.
    • STAGING_BUCKET_NAME: der Name des von Ihnen erstellten Cloud Storage-Bucket.
  3. Wenn Sie den Befehl DESCRIBE INTEGRATION ausführen, wird das Cloud Storage-Dienstkonto im Feld STORAGE_GCP_SERVICE_ACCOUNT aufgeführt. Weisen Sie dem Cloud Storage-Dienstkonto die folgenden Berechtigungen für den Cloud Storage-Bucket zu:

    • storage.buckets.get
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
  4. Wenn Sie den Zugriff auf den Staging-Bucket zulassen möchten, weisen Sie dem BigQuery Data Transfer Service-Dienst-Agent die Rolle roles/storage.objectViewer zu:

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer. \
        --role=roles/storage.objectViewer

Erstellen Sie für eine private Snowflake-Datenübertragung den Staging-Bucket und konfigurieren Sie ihn für private Verbindungen.

Wenn Ihre Organisation in Google Cloud die domainbeschränkte Freigabe mit der Einschränkung constraints/iam.allowedPolicyMemberDomains erzwingt, schlägt das Zuweisen von IAM-Rollen für den Staging-Bucket an das Dienstkonto STORAGE_GCP_SERVICE_ACCOUNT fehl, da dieses Dienstkonto zur externen Organisation von Snowflake gehört.

Sie können die Google Workspace-Kundennummer von Snowflake nicht aus der E-Mail-Adresse des Dienstkontos ableiten. Rufen Sie die Kundennummer auf eine der folgenden Arten ab:

  • Wenn Ihr Snowflake-Konto auf Google Cloudgehostet wird, führen Sie SELECT SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO(); in Snowflake mit der Rolle ACCOUNTADMIN aus und suchen Sie in der Ausgabe nach dem Wert snowflake-customer-directory-id.
  • Wenn Ihr Snowflake-Konto auf AWS oder Azure gehostet wird, wenden Sie sich an den Snowflake-Support, um die Google Workspace-Kundennummer für Ihr STORAGE_GCP_SERVICE_ACCOUNT-Dienstkonto anzufordern.

Wenn Sie die Snowflake-Kundennummer der Zulassungsliste für Ihr Projekt hinzufügen möchten, aktualisieren Sie die Organisationsrichtlinie:

gcloud resource-manager org-policies allow \
    iam.allowedPolicyMemberDomains EXTERNAL_CUSTOMER_ID \
    --project=PROJECT_ID

Ersetzen Sie Folgendes:

  • EXTERNAL_CUSTOMER_ID: Die Google Workspace-Kundennummer von Snowflake.
  • PROJECT_ID: die ID des Google Cloud -Projekts, das Ihren Staging-Bucket enthält.

Weitere Informationen finden Sie unter Identitäten mit domainbeschränkter Freigabe einschränken.

Snowflake-Nutzer mit den erforderlichen Berechtigungen erstellen

Während einer Snowflake-Übertragung stellt der Snowflake-Connector über eine JDBC-Verbindung eine Verbindung zu Ihrem Snowflake-Konto her. Sie müssen einen neuen Snowflake-Nutzer mit einer benutzerdefinierten Rolle erstellen, die nur die erforderlichen Berechtigungen zum Ausführen der Datenübertragung hat.

In der folgenden Tabelle sind die erforderlichen Rollen und Berechtigungen für die benutzerdefinierte Rolle MIGRATION_ROLE aufgeführt:

Identität Rolle oder Berechtigung Zielressource Zweck
Migrationsnutzer MIGRATION_ROLE Snowflake-Konto Mit RSA-Schlüsselpaar authentifizieren und Migrationsvorgänge ausführen.
Migrationsrolle USAGE Snowflake-Warehouse Rechenkapazität für die Abfrageausführung bereitstellen
USAGE Snowflake-Datenbank und -Schema Greifen Sie auf die Datenbank und das Schema zu, die die Quelltabellen enthalten.
SELECT Quelltabellen Tabellenmetadaten lesen und Daten für die Übertragung extrahieren.
USAGE Speicherintegration Autorisieren Sie das Entladen von Daten in den externen Cloud Storage-Staging-Bucket.

Führen Sie die folgenden SQL-Befehle in Ihrem Snowflake-Konto aus, um die benutzerdefinierte Rolle und den Migrationsnutzer zu erstellen und zu konfigurieren:

  1. Erstellen Sie die benutzerdefinierte Rolle MIGRATION_ROLE:

    CREATE ROLE MIGRATION_ROLE;

    Ersetzen Sie MIGRATION_ROLE durch den Namen der benutzerdefinierten Rolle, die Sie erstellen.

  2. Weisen Sie der benutzerdefinierten Rolle die erforderlichen Berechtigungen zu:

    GRANT USAGE ON WAREHOUSE WAREHOUSE_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON DATABASE DATABASE_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE;
    GRANT SELECT ON ALL TABLES IN SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON INTEGRATION STORAGE_INTEGRATION_OBJECT_NAME TO ROLE MIGRATION_ROLE;

    Ersetzen Sie Folgendes:

    • WAREHOUSE_NAME: der Name Ihres Data Warehouse.
    • DATABASE_NAME: der Name Ihrer Snowflake-Datenbank.
    • SCHEMA_NAME: der Name Ihres Snowflake-Schemas.
    • STORAGE_INTEGRATION_OBJECT_NAME: der Name Ihres Snowflake-Speicherintegrationsobjekts.
  3. Erstellen Sie den Migrationsnutzer als Dienstnutzer:

    CREATE USER MIGRATION_USER TYPE = SERVICE;

    Ersetzen Sie MIGRATION_USER durch den Nutzernamen des Migrationsnutzers. Wenn Sie TYPE = SERVICE festlegen, wird ein Dienstnutzer erstellt, der sich mit einem Schlüsselpaar authentifiziert und von der interaktiven Multi-Faktor-Authentifizierung (MFA) ausgenommen ist.

  4. Weisen Sie dem Migrationsnutzer die benutzerdefinierte Rolle zu:

    GRANT ROLE MIGRATION_ROLE TO USER MIGRATION_USER;
    ALTER USER MIGRATION_USER SET DEFAULT_ROLE = MIGRATION_ROLE;

Schlüsselpaar für die Authentifizierung generieren

Da Snowflake die Anmeldung mit einem Ein-Faktor-Passwort eingestellt hat, empfehlen wir, ein Schlüsselpaar für die Authentifizierung zu verwenden. Konfigurieren Sie ein Schlüsselpaar so:

  1. Generieren Sie einen privaten 2048-Bit-PKCS#8-Schlüssel im PEM-Format. Wählen Sie aus, ob Sie einen unverschlüsselten oder einen verschlüsselten privaten Schlüssel generieren möchten:

    • Führen Sie den folgenden Befehl aus, um einen unverschlüsselten privaten Schlüssel zu generieren:

      openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
    • Führen Sie den folgenden Befehl aus, um einen verschlüsselten privaten Schlüssel zu generieren, und geben Sie eine Passphrase ein, wenn Sie dazu aufgefordert werden:

      openssl genrsa 2048 | openssl pkcs8 -topk8 -v2 des3 -inform PEM -out rsa_key.p8
  2. Generieren Sie den entsprechenden öffentlichen Schlüssel:

    openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub
  3. Weisen Sie den öffentlichen Schlüssel ohne Header, Footer und Zeilenumbrüche Ihrem Snowflake-Migrationsnutzer zu:

    ALTER USER MIGRATION_USER SET RSA_PUBLIC_KEY='PUBLIC_KEY_STRING';

    Ersetzen Sie PUBLIC_KEY_STRING durch den Text des generierten öffentlichen Schlüssels in der Datei rsa_key.pub.

Weitere Informationen finden Sie unter Authentifizierung mit Schlüsselpaaren konfigurieren.

Entladen an Inline-externe Speicherorte zulassen

Der Snowflake-Connector entlädt Daten während der Übertragung an Inline-externe Speicherorte. Wenn Ihr Snowflake-Konto das Entladen an Inline-Speicherorte einschränkt, schlägt die Übertragung fehl.

Führen Sie den folgenden SQL-Befehl in Ihrem Snowflake-Konto aus, um das Entladen an Inline-Speicherorten zuzulassen. Sie müssen die Rolle ACCOUNTADMIN in Snowflake haben, um diesen Befehl auszuführen.

ALTER ACCOUNT SET PREVENT_UNLOAD_TO_INLINE_URL = false;

Alternativ können Sie mit SET das Entladen für den Migrationsnutzer mit dem folgenden Befehl zulassen:

ALTER USER MIGRATION_USER SET PREVENT_UNLOAD_TO_INLINE_URL = false;

Ersetzen Sie MIGRATION_USER durch den Nutzernamen des Migrationsnutzers.

Zusätzliche Voraussetzungen für optionale Konfigurationen

Wenn Sie optionale Features für Ihre Snowflake-Übertragung konfigurieren möchten, z. B. private Konnektivität oder inkrementelle Übertragungen, müssen Sie die in den folgenden Abschnitten beschriebenen Voraussetzungen erfüllen.

Netzwerkrichtlinien hinzufügen

Für die öffentliche Verbindung lässt das Snowflake-Konto standardmäßig eine öffentliche Verbindung mit Datenbankanmeldedaten zu. Möglicherweise haben Sie jedoch Netzwerkregeln oder -richtlinien konfiguriert, die verhindern, dass der Snowflake-Connector eine Verbindung zu Ihrem Konto herstellt. In diesem Fall müssen Sie die erforderlichen IP-Adressen Ihrer Zulassungsliste hinzufügen. Weitere Informationen finden Sie unter Netzwerkrichtlinien für Snowflake-Übertragungen konfigurieren.

Schemaerkennung und -zuordnung

Wenn Sie Daten von Snowflake zu BigQuery übertragen, können Sie mit dem BigQuery Data Transfer Service das Schema und die Datentypzuordnung automatisch erkennen lassen, um Ihr Schema zu definieren. Alternativ können Sie die Übersetzungs-Engine verwenden, um Ihr Schema und Ihre Datentypen manuell zu definieren.

Weitere Informationen finden Sie unter Schemaerkennung und -zuordnung für Snowflake.

Inkrementelle Übertragungen aktivieren

Informationen zum Einrichten einer inkrementellen Snowflake-Datenübertragung finden Sie unter Inkrementelle Übertragungen für Snowflake einrichten.

Private Konnektivität aktivieren

Wenn Sie eine private Snowflake-Datenübertragung erstellen möchten, müssen Sie Ihr Netzwerk für private Konnektivität konfigurieren.

Snowflake-Übertragung einrichten

Bevor Sie eine Snowflake-Übertragung einrichten, benötigen Sie die folgenden Informationen:

So erstellen Sie eine Snowflake-Übertragungskonfiguration:

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Datenübertragungen“ auf.

    Zu „Datenübertragungen”

  2. Klicken Sie auf Übertragung erstellen.

  3. Wählen Sie im Abschnitt Quelltyp die Option Snowflake-Migration aus der Liste Quelle aus.

  4. Geben Sie im Abschnitt Transfer config name (Konfigurationsname für Übertragung) im Feld Display name (Anzeigename) einen Namen für die Übertragung ein, z. B. My migration. Der Anzeigename kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern möchten.

  5. Wählen Sie im Abschnitt Zeitplanoptionen in der Liste Wiederholungshäufigkeit aus, wie oft diese Datenübertragung ausgeführt werden soll. Wenn Sie eine benutzerdefinierte Wiederholungshäufigkeit angeben möchten, wählen Sie Benutzerdefiniert aus. Wenn Sie On-Demand auswählen, wird diese Übertragung ausgeführt, wenn Sie die Übertragung manuell auslösen.

  6. Wählen Sie im Abschnitt Destination settings (Zieleinstellungen) das von Ihnen erstellte Dataset aus der Liste Dataset aus.

  7. Führen Sie im Abschnitt Snowflake-Anmeldedaten folgende Schritte aus:

    1. Geben Sie unter Konto-ID eine eindeutige Kennung für Ihr Snowflake-Konto ein. Diese besteht aus einer Kombination aus dem Namen Ihrer Organisation und dem Kontonamen. Die Kennung ist das Präfix der Snowflake-Konto-URL und nicht die vollständige URL. Beispiel: ACCOUNT_IDENTIFIER.snowflakecomputing.com.
    2. Geben Sie unter Nutzername den Nutzernamen des Snowflake-Nutzers ein, dessen Anmeldedaten und Autorisierung für den Zugriff auf Ihre Datenbank verwendet werden, um die Snowflake-Tabellen zu übertragen. Wir empfehlen, den Nutzer zu verwenden, den Sie für diese Übertragung erstellt haben.
    3. Wählen Sie unter Authentifizierungsmechanismus eine Snowflake-Nutzerauthentifizierungsmethode aus:

      PASSWORT

      • Geben Sie unter Passwort das Passwort des Snowflake-Nutzers ein.

      KEY_PAIR

      • Geben Sie unter Privater Schlüssel den privaten Schlüssel ein, der mit dem öffentlichen Schlüssel des Snowflake-Nutzers verknüpft ist.
      • Wählen Sie das Feld Ist der private Schlüssel verschlüsselt aus, wenn der private Schlüssel mit einer Passphrase verschlüsselt ist.
      • Geben Sie unter Passphrase für privaten Schlüssel die Passphrase für den verschlüsselten privaten Schlüssel ein. Dieses Feld ist erforderlich, wenn Sie Ist der private Schlüssel verschlüsselt ausgewählt haben. Weitere Informationen finden Sie unter Schlüsselpaar für die Authentifizierung generieren.
    • Geben Sie unter Warehouse ein Warehouse ein, das für die Ausführung dieser Datenübertragung verwendet wird.
    • Geben Sie unter Snowflake-Datenbank den Namen der Snowflake-Datenbank ein, die die Tabellen für diese Datenübertragung enthält.
    • Geben Sie unter Snowflake-Schema den Namen des Snowflake-Schemas ein, das die Tabellen für diese Datenübertragung enthält.
  8. Wenn Sie im Abschnitt Netzwerkverbindung eine private Datenübertragung erstellen, wählen Sie Privates Netzwerk verwenden aus und gehen Sie dann so vor:

  9. Führen Sie im Abschnitt Speicherkonfiguration die folgenden Schritte aus:

    1. Geben Sie unter Name des Speicherintegrationsobjekts den Namen des Snowflake-Speicherintegrationsobjekts ein. Dies ist ein Pflichtfeld, es sei denn, Sie geben eine vorkonfigurierte externe Snowflake-Staging-Ressource mit dem Befehl bq mk oder der API an, um die Übertragungskonfiguration zu erstellen.
    2. Optional: Geben Sie unter Maximale Dateigröße die maximale Größe jeder Datei an, die von Snowflake in den Staging-Speicherort entladen wird (in MB).
    3. Wählen Sie für Cloud-Anbieter je nachdem, welcher Cloud-Anbieter Ihr Snowflake-Konto hostet, AWS, AZURE oder GCP aus.

  10. Führen Sie im Abschnitt Dienstkonto folgende Schritte aus:

    1. Geben Sie unter Dienstkonto ein Dienstkonto ein, das für diese Datenübertragung verwendet werden soll. Das Dienstkonto sollte zum selbenGoogle Cloud -Projekt gehören, in dem die Übertragungskonfiguration und das Ziel-Dataset erstellt werden. Das Dienstkonto muss die erforderlichen Berechtigungen storage.objects.list und storage.objects.get haben.
  11. Führen Sie im Abschnitt Schemakonfiguration die folgenden Schritte aus:

    1. Wählen Sie für Aufnahmetyp die Option Vollständig oder Inkrementell aus. Weitere Informationen finden Sie unter Inkrementelle Übertragungen konfigurieren.
    2. Geben Sie unter Tabellennamensmuster die zu übertragenden Tabellen an, indem Sie eine durch Semikolons getrennte Liste von Tabellennamen oder ‑mustern eingeben, z. B. TABLE1_REGEX;TABLE2_REGEX. Muster müssen der Java-Syntax für reguläre Ausdrücke folgen. Dieses Feld ist erforderlich:
      • lineitem;ordertb führt zu Übereinstimmungen mit Tabellen, die lineitem und ordertb heißen.
      • .* führt zu Übereinstimmung mit allen Tabellen im Schema.
    3. Optional: Wenn Sie einen benutzerdefinierten Ausgabepfad für die Übersetzung angeben möchten, wählen Sie Ausgabe der BigQuery Translation Engine verwenden aus.
    4. Optional: Geben Sie unter GCS-Pfad für Übersetzungsausgabe einen Pfad zum Cloud Storage-Ordner an, der die Schemazuordnungsdateien der Übersetzungs-Engine enthält. Sie können dieses Feld leer lassen, damit der Snowflake-Connector Ihr Schema automatisch erkennt.
      • Der Pfad muss das Format translation_target_base_uri/metadata/config/db/schema/ haben und mit / enden.
    5. Optional: Wenn Sie Snowflake-NUMBER(p, 0)-Typen BigQuery-INT64 zuordnen möchten, wählen Sie Snowflake-NUMBER mit Skalierung 0 BigQuery-INT64 zuordnen aus.
  12. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

    1. Klicken Sie auf den Umschalter, um E-Mail-Benachrichtigungen zu aktivieren. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E-Mail-Benachrichtigung, wenn ein Übertragungsvorgang fehlschlägt.
    2. Wählen Sie unter Pub/Sub-Thema auswählen Ihr Thema aus oder klicken Sie auf Thema erstellen. Mit dieser Option werden Pub/Sub-Ausführungsbenachrichtigungen für Ihre Übertragung konfiguriert.
  13. Wenn Sie CMEKs verwenden, wählen Sie im Abschnitt Erweiterte Optionen die Option Vom Kunden verwalteter Schlüssel aus. Es wird eine Liste der verfügbaren CMEKs angezeigt, aus denen Sie wählen können. Informationen zur Funktionsweise von CMEKs mit dem BigQuery Data Transfer Service finden Sie unter Verschlüsselungsschlüssel mit Übertragungen angeben.

  14. Klicken Sie auf Speichern.

  15. Die Google Cloud Console zeigt alle Details zur Übertragungseinrichtung an, einschließlich eines Ressourcennamens für diese Übertragung.

bq

Geben Sie den Befehl bq mk mit dem Flag --transfer_config ein. Die folgende Vorlage enthält sich gegenseitig ausschließende und bedingte Parameter für alle unterstützten Konfigurationen. Geben Sie beim Ausführen des Befehls nur die Parameter an, die für Ihren Authentifizierungsmechanismus, den Netzwerkverbindungsmodus, den Staging-Speicherort und die Schemazuordnungsmethode gelten.

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='DISPLAY_NAME' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "AUTH_MECHANISM",
    "password": "PASSWORD",
    "private_key": "PRIVATE_KEY_STRING",
    "is_private_key_encrypted": PRIVATE_KEY_ENCRYPTED,
    "private_key_passphrase": "PRIVATE_KEY_PASSPHRASE",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "TABLE_NAME_PATTERNS",
    "cloud_provider": "CLOUD_PROVIDER",
    "staging_gcs_uri": "STAGING_BUCKET_URI",
    "staging_s3_uri": "STAGING_S3_URI",
    "aws_access_key_id": "AWS_ACCESS_KEY_ID",
    "aws_secret_access_key": "AWS_SECRET_ACCESS_KEY",
    "azure_storage_account": "AZURE_STORAGE_ACCOUNT",
    "staging_azure_container": "STAGING_AZURE_CONTAINER",
    "azure_sas_token": "AZURE_SAS_TOKEN",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "max_file_size_mb": MAX_FILE_SIZE_MB,
    "use_private_network": USE_PRIVATE_NETWORK,
    "service_attachment": "SERVICE_ATTACHMENT_URI",
    "private_network_service": "SERVICE_DIRECTORY_LINK",
    "ingestion_type": "INGESTION_TYPE",
    "specify_translation_output": SPECIFY_TRANSLATION_OUTPUT,
    "translation_output_gcs_path": "TRANSLATION_OUTPUT_GCS_PATH",
    "custom_schema_file_path": "CUSTOM_SCHEMA_PATH",
    "convert_number_to_int64": CONVERT_NUMBER_TO_INT64
  }'

Ersetzen Sie Folgendes:

  • PROJECT_ID: Projekt-ID in Google Cloud . Wenn das Flag --project_id nicht angegeben ist, wird das Standardprojekt verwendet.
  • DATASET_NAME ist das BigQuery-Ziel-Dataset für die Übertragungskonfiguration.
  • DISPLAY_NAME: Der Anzeigename für die Übertragungskonfiguration. Der Anzeigename kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.

Konfigurieren Sie die entsprechenden --params-Parameter für Ihre Snowflake-Übertragungskonfiguration:

Parameterdetails
ACCOUNT_IDENTIFIER

Geben Sie eine eindeutige Kennung für Ihr Snowflake-Konto an, die sich aus dem Namen Ihrer Organisation und dem Kontonamen zusammensetzt. Die ID ist das Präfix der Snowflake-Konto-URL (ACCOUNT_IDENTIFIER.snowflakecomputing.com) und nicht die vollständige URL.

Beispiel: org-account.

MIGRATION_USER

Geben Sie den Nutzernamen des Snowflake-Nutzers an, dessen Anmeldedaten und Autorisierung für den Zugriff auf Ihre Datenbank verwendet werden, um die Snowflake-Tabellen zu übertragen.

Beispiel: MIGRATION_USER.

AUTH_MECHANISM

Geben Sie die Snowflake-Nutzerauthentifizierungsmethode an. Unterstützte Werte sind PASSWORD und KEY_PAIR. Weitere Informationen finden Sie unter Schlüsselpaar für die Authentifizierung generieren.

PASSWORD

Geben Sie das Passwort des Snowflake-Nutzers an. Geben Sie diesen Parameter nur an, wenn Sie PASSWORD im Parameter auth_mechanism angeben.

PRIVATE_KEY_STRING

Geben Sie den privaten Schlüssel im PKCS#8-PEM-Format an, der dem öffentlichen Schlüssel entspricht, der dem Snowflake-Nutzer zugewiesen ist. Geben Sie diesen Parameter nur an, wenn Sie KEY_PAIR im Parameter auth_mechanism angeben.

Ersetzen Sie im JSON-String --params alle Zeilenumbrüche im PEM-Schlüssel durch \n. Beispiel: -----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY----- für einen unverschlüsselten Schlüssel oder -----BEGIN ENCRYPTED PRIVATE KEY-----\n...\n-----END ENCRYPTED PRIVATE KEY----- für einen verschlüsselten Schlüssel.

PRIVATE_KEY_ENCRYPTED

Optional: Geben Sie true an, wenn der private Schlüssel mit einer Passphrase verschlüsselt ist. Der Standardwert ist false.

PRIVATE_KEY_PASSPHRASE

Geben Sie die Passphrase für den verschlüsselten privaten Schlüssel an. Geben Sie diesen Parameter nur an, wenn Sie KEY_PAIR im Parameter auth_mechanism und true im Parameter is_private_key_encrypted angeben.

SERVICE_ACCOUNT_EMAIL

Geben Sie die E-Mail-Adresse des dedizierten Dienstkontos an, das für diese Datenübertragung verwendet werden soll. Das Format ist SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.. Wir empfehlen, dass das Dienstkonto zum selben Google Cloud -Projekt gehört, in dem die Übertragungskonfiguration und das Ziel-Dataset erstellt werden. Das Dienstkonto muss die erforderlichen Berechtigungen storage.objects.list und storage.objects.get haben.

WAREHOUSE_NAME

Geben Sie ein Warehouse an, das für diese Datenübertragung verwendet werden soll.

Beispiel: COMPUTE_WH.

DATABASE_NAME

Geben Sie den Namen der Snowflake-Datenbank an, die die Tabellen für diese Datenübertragung enthält.

Beispiel: SF_DB.

SCHEMA_NAME

Geben Sie den Namen des Snowflake-Schemas an, das die Tabellen enthält, die in dieser Datenübertragung enthalten sind.

Beispiel: PUBLIC.

TABLE_NAME_PATTERNS

Geben Sie die zu übertragenden Tabellen an, indem Sie eine durch Semikolons getrennte Liste von Tabellennamen oder Mustern eingeben, die mit Tabellennamen im Schema übereinstimmen, z. B. TABLE1_REGEX;TABLE2_REGEX. Muster müssen der Java-Syntax für reguläre Ausdrücke folgen. Das ist ein erforderlicher Parameter. Beispiel:

  • lineitem;ordertb führt zu Übereinstimmungen mit Tabellen, die lineitem und ordertb heißen.
  • .* führt zu Übereinstimmung mit allen Tabellen im Schema.
CLOUD_PROVIDER

Geben Sie den Cloud-Anbieter an, der Ihr Snowflake-Konto hostet. Unterstützte Werte sind AWS, AZURE und GCP.

STAGING_BUCKET_URI

Geben Sie für den Parameter staging_gcs_uri den URI des Cloud Storage-Staging-Buckets an. Geben Sie diesen Parameter an, wenn cloud_provider den Wert GCP hat oder wenn öffentliche Datenübertragungen von Snowflake-Konten erfolgen, die von AWS oder AZURE gehostet werden. Sie können diesen Parameter nach dem Erstellen der Übertragungskonfiguration nicht mehr ändern.

Beispiel: gs://staging-bucket/staging/.

STAGING_S3_URI

Geben Sie für den Parameter staging_s3_uri den URI des Amazon S3-Staging-Buckets an. Geben Sie diesen Parameter für private Datenübertragungen an, wenn cloud_provider den Wert AWS hat und staging_gcs_uri nicht angegeben ist. Sie können diesen Parameter nach dem Erstellen der Übertragungskonfiguration nicht mehr ändern.

Beispiel: s3://staging-bucket/staging/.

AWS_ACCESS_KEY_ID

Geben Sie für den Parameter aws_access_key_id die Zugriffsschlüssel-ID für den Amazon IAM-Nutzer mit Lesezugriff auf den Amazon S3-Staging-Bucket an. Geben Sie diesen Parameter an, wenn staging_s3_uri angegeben ist.

AWS_SECRET_ACCESS_KEY

Geben Sie für den Parameter aws_secret_access_key den geheimen Zugriffsschlüssel an, der mit aws_access_key_id gekoppelt ist. Geben Sie diesen Parameter an, wenn staging_s3_uri angegeben ist.

AZURE_STORAGE_ACCOUNT

Geben Sie für den Parameter azure_storage_account den Azure-Speicherkontonamen an, der zum Staging entladener Daten verwendet wird. Geben Sie diesen Parameter für private Datenübertragungen an, wenn cloud_provider den Wert AZURE hat und staging_gcs_uri nicht angegeben ist. Sie können diesen Parameter nach dem Erstellen der Übertragungskonfiguration nicht mehr ändern.

STAGING_AZURE_CONTAINER

Geben Sie für den Parameter staging_azure_container den Azure Blob Storage-Containernamen im Azure-Speicherkonto an. Geben Sie diesen Parameter an, wenn azure_storage_account angegeben ist. Sie können diesen Parameter nach dem Erstellen der Übertragungskonfiguration nicht mehr ändern.

AZURE_SAS_TOKEN

Geben Sie für den Parameter azure_sas_token das SAS-Token (Shared Access Signature) an, das zur Authentifizierung von Leseanfragen an den Azure Blob Storage-Container verwendet wird. Geben Sie diesen Parameter an, wenn azure_storage_account angegeben ist.

STORAGE_INTEGRATION_NAME

Geben Sie den Namen des Snowflake-Speicherintegrationsobjekts an.

Beispiel: STORAGE_INTEGRATION_NAME.

MAX_FILE_SIZE_MB

Optional: Geben Sie die maximale Größe in MB für jede Datei an, die von Snowflake in den Staging-Speicherort entladen wird. Der Wert muss zwischen 16 und 5120 liegen. Der Standardwert ist 512.

USE_PRIVATE_NETWORK

Optional: Wenn Sie eine private Datenübertragung erstellen, legen Sie true fest. Der Standardwert ist false. Sie können diesen Parameter nach dem Erstellen der Übertragungskonfiguration nicht mehr ändern.

SERVICE_ATTACHMENT_URI

Optional: Wenn Sie eine private Datenübertragung erstellen, geben Sie den URI des Dienstanhangs für die private Konnektivität zu Snowflake an. Weitere Informationen finden Sie unter Private Snowflake-Übertragungskonfiguration erstellen.

Beispiel: projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.

SERVICE_DIRECTORY_LINK

Optional: Wenn Sie eine private Datenübertragung von einem bei AWS oder AZURE gehosteten Snowflake-Konto erstellen, geben Sie den Self-Link des Service Directory-Dienstes für den Netzwerk-Load-Balancer an. Weitere Informationen finden Sie unter Private Snowflake-Übertragungskonfiguration erstellen.

Beispiel: projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.

INGESTION_TYPE

Geben Sie den Aufnahmemodus für die Übertragung an. Unterstützte Werte sind Full und Incremental. Weitere Informationen finden Sie unter Inkrementelle Übertragungen konfigurieren.

SPECIFY_TRANSLATION_OUTPUT

Optional: Geben Sie true an, wenn Sie einen Pfad im Parameter translation_output_gcs_path angeben, damit der Pfad in der Google Cloud Console angezeigt wird. Der Standardwert ist false.

TRANSLATION_OUTPUT_GCS_PATH

Optional: Geben Sie einen Pfad zum Cloud Storage-Ordner an, der die Schemazuordnungsdateien der Übersetzungs-Engine enthält. Lassen Sie diesen Parameter leer, damit der Snowflake-Connector Ihr Schema automatisch erkennt.

  • Der Pfad muss das Format gs://TRANSLATION_BUCKET_BASE_URI/metadata/config/DATABASE_NAME/SCHEMA_NAME/ haben und mit einem Schrägstrich (/) enden.

Beispiel: gs://sf_test_translation/output/metadata/config/database_name/schema_name/.

CUSTOM_SCHEMA_PATH

Optional: Wenn Sie ein benutzerdefiniertes Schema verwenden, geben Sie den Pfad zur benutzerdefinierten Schemadatei in Cloud Storage an.

Beispiel: gs://bucket_name/schemas/custom_schema.json.

CONVERT_NUMBER_TO_INT64

Optional: Geben Sie true an, um Snowflake-NUMBER(p, 0)-Datentypen BigQuery-INT64 zuzuordnen. Andernfalls werden NUMBER-Datentypen von Snowflake je nach Genauigkeit und Dezimalstellen BigQuery-NUMERIC oder -BIGNUMERIC zugeordnet. Der Standardwert ist false.

API

Verwenden Sie die Methode projects.locations.transferConfigs.create und geben Sie eine Instanz der Ressource TransferConfig an.

Snowflake-Übertragung für die Schemazuordnung konfigurieren

BigQuery Data Transfer Service unterstützt drei Schemazuordnungsmethoden für Snowflake-Übertragungen: automatische Schemaerkennung, Ausgabe der Übersetzungs-Engine und manuelle Schemazuordnung. Weitere Informationen finden Sie in der Referenz zur Schemaerkennung und -zuordnung.

Wählen Sie eine der folgenden Optionen aus, um ein Beispiel für eine Übertragungskonfiguration aufzurufen, die jede dieser Schemazuordnungsmethoden unterstützt:

Automatische Erkennung

Die Referenz zur automatischen Schemaerkennung ordnet Snowflake-Datentypen automatisch entsprechenden BigQuery-Datentypen zu, ohne dass externe Metadaten oder Schemadefinitionsdateien erforderlich sind.

Der folgende Befehl zeigt, wie Sie eine Übertragungskonfiguration erstellen, die die automatische Schemaerkennung verwendet:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Auto Detection Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full"
  }'

Übersetzungsausgabe

Verwendet Metadaten und Schemazuordnungen, die vom Batch-SQL-Übersetzer von BigQuery generiert wurden, um komplexe Tabellen- und Datentypzuordnungen zu verarbeiten. Weitere Informationen finden Sie unter Konfiguration des Schemas für die Übersetzungsausgabe.

Der folgende Befehl zeigt, wie Sie eine Übertragungskonfiguration erstellen, die die Ausgabe des Übersetzungsmoduls für die Schemazuordnung verwendet:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Translation Output Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full",
    "specify_translation_output": true,
    "translation_output_gcs_path": "gs://TRANSLATION_BUCKET/output/metadata/config/DATABASE_NAME/SCHEMA_NAME/"
  }'

Benutzerdefiniertes Schema

Stellen Sie eine benutzerdefinierte JSON-Schemadatei in Cloud Storage bereit, um Spalten umzubenennen, Datentypen anzupassen oder Primärschlüssel festzulegen.

Der folgende Befehl zeigt, wie Sie eine Übertragungskonfiguration erstellen, die ein benutzerdefiniertes Schema für die Schemazuordnung verwendet:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Custom Schema Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full",
    "custom_schema_file_path": "gs://CONFIG_BUCKET/schemas/custom_schema.json"
  }'

Verschlüsselungsschlüssel mit Übertragungen angeben

Sie können kundenverwaltete Verschlüsselungsschlüssel (CMEKs) angeben, um Daten für eine Übertragungsausführung zu verschlüsseln. Sie können einen CMEK verwenden, um Übertragungen von Snowflake zu unterstützen.

Wenn Sie einen CMEK mit einer Übertragung angeben, wendet der BigQuery Data Transfer Service den CMEK auf einen zwischengeschalteten Festplatten-Cache von aufgenommenen Daten an, sodass der gesamte Datenübertragungsworkflow CMEK-konform ist.

Sie können eine vorhandene Übertragung nicht aktualisieren, um einen CMEK hinzuzufügen, wenn die Übertragung nicht ursprünglich mit einem CMEK erstellt wurde. Sie können beispielsweise keine Zieltabelle ändern, die ursprünglich standardmäßig verschlüsselt wurde, um jetzt mit CMEK zu verschlüsseln. Umgekehrt können Sie eine CMEK-verschlüsselte Zieltabelle auch nicht auf einen anderen Verschlüsselungstyp ändern.

Sie können einen CMEK für eine Übertragung aktualisieren, wenn die Übertragungskonfiguration ursprünglich mit einer CMEK-Verschlüsselung erstellt wurde. Wenn Sie einen CMEK für eine Übertragungskonfiguration aktualisieren, leitet der BigQuery Data Transfer Service den CMEK bei der nächsten Ausführung der Übertragung an die Zieltabellen weiter, wobei der BigQuery Data Transfer Service während der Übertragungsausführung alle veralteten CMEKs durch den neuen CMEK ersetzt. Weitere Informationen finden Sie unter Übertragung aktualisieren.

Sie können auch Standardschlüssel für Projekte verwenden. Wenn Sie einen Projektstandardschlüssel für eine Übertragung angeben, verwendet der BigQuery Data Transfer Service den Standardschlüssel des Projekts als Standardschlüssel für neue Übertragungskonfigurationen.

Kontingente und Limits

BigQuery hat standardmäßig ein Ladekontingent von 15 TB pro Ladejob und für jede Tabelle. Snowflake komprimiert die Tabellendaten intern. Daher ist das Datenvolumen der exportierten Tabelle größer als bei Snowflake angezeigt wird.

Wenn Sie die Ladezeiten für größere Tabellen verbessern und das BigQuery-Ladelimit von 15 TB aufheben möchten, geben Sie den Jobtyp PIPELINE für Ihre Reservierungszuweisung an.

Aufgrund des Konsistenzmodells von Amazon S3 werden einige Dateien möglicherweise nicht in die Übertragung an BigQuery einbezogen.

Leistung der Datenübertragung optimieren

Sie können die Leistung Ihrer Datenübertragungen überwachen, indem Sie die Logs für die Datenübertragung aufrufen. Wir empfehlen die folgenden Optimierungsschritte, um die Leistung Ihrer Datenübertragungen zu verbessern:

  • Snowflake-Instanz, Staging-Bucket und BigQuery-Dataset in derselben Region speichern
  • So können Sie die Geschwindigkeit beim Entladen von Tabellen verbessern:
    • Erhöhen Sie die Größe Ihres virtuellen Snowflake-Warehouse, insbesondere wenn Sie große Snowflake-Tabellen (1 TiB oder mehr) übertragen.
    • Passen Sie die Option MAX_FILE_SIZE in der Übertragungskonfiguration an.
      • Kleinere Dateien können die Übertragungsgeschwindigkeit verbessern, aber wenn sie zu klein sind, kann das zu zu vielen Dateien führen.
  • Sie können die Ladegeschwindigkeit von Tabellen verbessern, indem Sie die Anzahl der BigQuery-Slot-Reservierungen für die Jobtypen PIPELINE und QUERY erhöhen.
  • Vermeiden Sie bei einer vollständigen Übertragung das Clustering und die Partitionierung der BigQuery-Tabelle.
  • Wenn Sie eine inkrementelle Übertragung im Upsert-Modus durchführen, sollten Sie Clustering und Partitionierung für Primärschlüsselspalten in Betracht ziehen, um die Übertragungsleistung zu verbessern.
    • Vermeiden Sie jedoch das Clustern und Partitionieren von Spalten, die keine Primärschlüssel sind, um langsamere Zusammenführungsvorgänge zu vermeiden.

Preise

Informationen zu den Preisen für BigQuery Data Transfer Service finden Sie auf der Seite Preise.

  • Wenn sich das Snowflake-Warehouse und der Amazon S3-Bucket in verschiedenen Regionen befinden, fallen bei der Ausführung einer Snowflake-Datenübertragung Gebühren für ausgehenden Traffic an. Für Snowflake-Datenübertragungen fallen keine Gebühren für ausgehenden Traffic an, wenn sich sowohl das Snowflake-Warehouse als auch der Amazon S3-Bucket in derselben Region befinden.
  • Wenn Daten von AWS zu Google Cloudübertragen werden, fallen Gebühren für ausgehenden Traffic zwischen Clouds an.

Nächste Schritte