Oracle-Daten in BigQuery laden

Wenn Sie wiederkehrende Datenübertragungen von Ihrer Oracle-Datenbank nach BigQuery planen möchten, erstellen Sie eine Übertragungskonfiguration, um festzulegen, welche Datenobjekte übertragen werden sollen und wie oft die Datenübertragung geplant werden soll. Nachdem Sie die Übertragungskonfiguration eingerichtet haben, überträgt der BigQuery Data Transfer Service die neuesten Daten gemäß dem angegebenen Zeitplan in eine BigQuery-Tabelle.

Informationen zur Funktionsweise einer Oracle-Übertragung finden Sie unter Einführung in Oracle-Datenübertragungen.

Beschränkungen

Oracle-Übertragungen unterliegen den folgenden Einschränkungen:

• Die maximale Anzahl gleichzeitiger Verbindungen zu einer Oracle-Datenbank ist begrenzt. Daher ist die Anzahl der gleichzeitigen Übertragungen zu einer einzelnen Oracle-Datenbank auf diesen Höchstwert begrenzt.
• Sie müssen einen Netzwerkanhang einrichten, wenn für eine Oracle-Datenbankverbindung keine öffentliche IP-Adresse verfügbar ist. Beachten Sie dabei die folgenden Anforderungen:
  • Die Datenquelle muss über das Subnetz zugänglich sein, in dem sich der Netzwerkanhang befindet.
  • Der Netzwerkanhang darf sich nicht im Subnetz im Bereich 240.0.0.0/24 befinden.
  • Netzwerkanhänge können nicht gelöscht werden, wenn aktive Verbindungen zum Anhang bestehen. Wenn Sie einen Netzwerkanhang löschen möchten, wenden Sie sich an Cloud Customer Care.
  • Für die Multi-Region us muss sich der Netzwerkanhang in der Region us-central1 befinden. Für die Multi-Region eu muss sich der Netzwerkanhang in der Region europe-west4 befinden.
• Wenn Ihr Netzwerkanhang in einem Google Cloud -Projekt erstellt wurde, das sich vom Google Cloud -Projekt der Datenübertragung unterscheidet, müssen Sie dem Dienst-Agent, der zum Google Cloud -Projekt gehört, in dem die Datenübertragung erstellt wurde, die Berechtigungen compute.networkAttachments.get und compute.networkAttachments.update gewähren.
• Das Mindestintervall zwischen wiederkehrenden Oracle Übertragungen beträgt 15 Minuten. Das Standardintervall für eine wiederkehrende Übertragung beträgt 24 Stunden.
• Eine einzelne Übertragungskonfiguration kann jeweils nur eine Datenübertragungsausführung unterstützen. Wenn eine zweite Datenübertragung geplant ist, bevor die erste Übertragung abgeschlossen ist, wird nur die erste Datenübertragung abgeschlossen. Alle anderen Datenübertragungen, die sich mit der ersten Übertragung überschneiden, werden übersprungen.
  • Wenn Sie übersprungene Übertragungen innerhalb einer einzelnen Übertragungskonfiguration vermeiden möchten, empfehlen wir, die Zeitspanne zwischen großen Datenübertragungen zu verlängern. Konfigurieren Sie dazu die Wiederholungshäufigkeit.
• Während einer Datenübertragung identifiziert der Oracle-Connector indexierte und partitionierte Schlüsselspalten, um Ihre Daten in parallelen Batches zu übertragen. Daher empfehlen wir, Primärschlüsselspalten anzugeben oder indexierte Spalten in der Tabelle zu verwenden, um die Leistung zu verbessern und die Fehlerrate bei Datenübertragungen zu reduzieren.
  • Wenn Sie Index- oder Primärschlüsseleinschränkungen haben, werden nur die folgenden Spaltentypen für das Erstellen paralleler Batches unterstützt:
    • INTEGER
    • TINYINT
    • SMALLINT
    • FLOAT
    • REAL
    • DOUBLE
    • NUMERIC
    • BIGINT
    • DECIMAL
    • DATE
  • Oracle-Datenübertragungen,die keine Primärschlüssel oder indexierten Spalten verwenden,können nicht mehr als 2.000.000 Einträge pro Tabelle unterstützen.
• Wenn sich der konfigurierte Netzwerkanhang und die VM-Instanz in verschiedenen Regionen befinden, kann es beim Übertragen von Daten aus Oracle zu regionsübergreifenden Datenverschiebungen kommen.

Einschränkungen bei inkrementellen Übertragungen

• Sie können nur TIMESTAMP Spalten als Wasserzeichenspalten auswählen.
• Die inkrementelle Aufnahme wird nur für Assets mit gültigen Wasserzeichenspalten unterstützt.
• Die Werte in einer Wasserzeichenspalte müssen monoton steigend sein.
• Bei inkrementellen Übertragungen können Löschvorgänge in der Quelltabelle nicht synchronisiert werden.
• Eine einzelne Übertragungskonfiguration kann nur entweder die inkrementelle oder die vollständige Aufnahme unterstützen.
• Nach dem ersten inkrementellen Aufnahmevorgang können Sie Objekte in der Liste asset nicht mehr aktualisieren.
• Sie können den Schreibmodus in einer Übertragungskonfiguration nach der ersten inkrementellen Aufnahme nicht mehr ändern.
• Nach der ersten inkrementellen Aufnahme können Sie die Wasserzeichenspalte oder den Primärschlüssel nicht mehr ändern.
• Die BigQuery-Zieltabelle wird mit dem angegebenen Primärschlüssel geclustert und unterliegt den Einschränkungen für geclusterte Tabellen.
• Wenn Sie eine vorhandene Übertragungskonfiguration zum ersten Mal auf den inkrementellen Aufnahmemodus aktualisieren, werden bei der ersten Datenübertragung nach diesem Update alle verfügbaren Daten aus Ihrer Datenquelle übertragen. Bei allen nachfolgenden inkrementellen Datenübertragungen werden nur die neuen und aktualisierten Zeilen aus Ihrer Datenquelle übertragen.

Informationen zur Funktionsweise von inkrementellen Übertragungen finden Sie unter Vollständige oder inkrementelle Übertragungen.

Hinweis

In den folgenden Abschnitten werden die Schritte beschrieben, die Sie vor dem Erstellen einer Oracle-Übertragung ausführen müssen.

Voraussetzungen für Oracle

• Erstellen Sie Nutzeranmeldedaten in der Oracle-Datenbank.
• Weisen Sie dem Nutzer Create Session-Systemberechtigungen zu, um das Erstellen von Sitzungen zu ermöglichen.
• Weisen Sie dem Nutzerkonto einen Tablespace zu.

Beim Erstellen einer Oracle-Übertragung benötigen Sie außerdem die folgenden Oracle-Datenbankinformationen.

Voraussetzungen für BigQuery

• Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.
• Erstellen Sie ein BigQuery-Dataset zum Speichern Ihrer Daten.
• Wenn Sie Benachrichtigungen zur Übertragungsausführung für Pub/Sub einrichten möchten, benötigen Sie die IAM-Berechtigung (Identity and Access Management) pubsub.topics.setIamPolicy. Pub/Sub-Berechtigungen sind nicht erforderlich, wenn Sie nur E-Mail-Benachrichtigungen einrichten. Weitere Informationen finden Sie unter Ausführungsbenachrichtigungen im BigQuery Data Transfer Service.

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen finden Sie unter bigquery.admin-Zugriff gewähren.

Oracle-Daten in BigQuery laden

Fügen Sie Oracle-Daten zu BigQuery hinzu, indem Sie eine Transferkonfiguration mit einer der folgenden Optionen einrichten:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

      "primaryKeys":[['dep_id'], ['report_by','report_title']],
      "assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"],
  

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=oracle
    --display_name='My Transfer'
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":1520,
        "connector.connectionType":"SERVICE",
        "connector.tls.mode": "ENCRYPT_VERIFY_CA_AND_HOST",
        "connector.tls.trustedServerCertificate": "PEM-encoded certificate",
        "connector.networkAttachment":
        "projects/dev-project1/regions/us-central1/networkattachments/na1"
        "ingestionType":"incremental",
        "writeMode":"WRITE_MODE_APPEND",
        "watermarkColumns":["createdAt","createdAt"],
        "primaryKeys":[['dep_id'], ['report_by','report_title']]}'

Wenn Sie eine Datenübertragung außerhalb Ihres regulären Zeitplans manuell ausführen möchten, können Sie einen Backfill-Vorgang starten.

Fehler bei der Übertragungseinrichtung beheben

Unterstützung bei Problemen mit der Einrichtung von Datenübertragungen finden Sie unter Oracle-Übertragungsprobleme.

Nächste Schritte

• Weitere Informationen zum BigQuery Data Transfer Service finden Sie unter Was ist der BigQuery Data Transfer Service?.
• Informationen zum Verwenden von Übertragungen, einschließlich des Abrufs von Informationen zu einer Übertragungskonfiguration, des Auflistens von Übertragungskonfigurationen und des Aufrufs des Ausführungsverlaufs der Übertragung finden Sie unter Übertragungen verwalten.
• Informationen zum Laden von Daten mit BigQuery Omni-Vorgängen finden Sie unter Daten mit BigQuery Omni-Vorgängen laden.