View a markdown version of this page

Abfragen konfigurierter Tabellen mit dem SQL-Code-Editor - AWS Clean Rooms

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Abfragen konfigurierter Tabellen mit dem SQL-Code-Editor

Als Mitglied, das Abfragen durchführen kann, können Sie eine Abfrage manuell erstellen, indem Sie SQL-Code in den SQL-Code-Editor schreiben. Der SQL-Code-Editor befindet sich im Analyse Abschnitt der Analyse Tab in der AWS Clean Rooms Konsole.

Der SQL-Code-Editor wird standardmäßig angezeigt. Wenn Sie den Analysis Builder zum Erstellen von Abfragen verwenden möchten, finden Sie unter Abfrage mit dem Analysis Builder.

Wichtig

Wenn Sie mit dem Schreiben einer SQL-Abfrage im Code-Editor beginnen und dann den Benutzeroberfläche des Analysis Builders, Ihre Abfrage wurde nicht gespeichert.

AWS Clean Rooms unterstützt viele SQL-Befehle, Funktionen und Bedingungen. Weitere Informationen finden Sie in der AWS Clean Rooms SQL-Referenz.

Tipp

Wenn während der Ausführung einer Abfrage eine geplante Wartung stattfindet, wird die Abfrage beendet und ein Rollback durchgeführt. Sie müssen die Abfrage neu starten.

Um konfigurierte Tabellen mit dem SQL-Code-Editor abzufragen
  1. Melden Sie sich bei AWS-Managementkonsole und öffne das AWS Clean Rooms Konsole bei https://console.aws.amazon.com/cleanrooms.

  2. Wählen Sie im linken Navigationsbereich Kollaborationen.

  3. Wählen Sie die Zusammenarbeit, die Die Fähigkeiten Ihrer Mitglieder Status von Abfragen ausführen.

  4. Auf der Analyse Tab, unter Tabellen, zeigen Sie die Liste der Tabellen und den zugehörigen Analyseregeltyp an (Regel für die Aggregationsanalyse, Analyseregel auflisten, oder Benutzerdefinierte Analyseregel).

    Anmerkung

    Wenn Sie die Tabellen, die Sie erwarten, nicht in der Liste sehen, kann das folgende Gründe haben:

  5. (Optional) Um die Steuerelemente für das Schema und die Analyseregeln der Tabelle anzuzeigen, erweitern Sie die Tabelle, indem Sie auf das Pluszeichen klicken (+).

  6. Unter dem Analyse Abschnitt, für Analyse-Modus, wählen Schreiben Sie SQL-Code.

    Anmerkung

    Das Analyse Der Abschnitt wird nur angezeigt, wenn das Mitglied, das Ergebnisse erhalten kann, und das Mitglied, das für die Bezahlung der Abfrageberechnungskosten verantwortlich ist, der Kollaboration als aktives Mitglied beigetreten sind.

  7. Erstellen Sie die Abfrage, indem Sie die Abfrage in den SQL-Code-Editor eingeben.

    Weitere Informationen zu unterstützten SQL-Befehlen und -Funktionen finden Sie in der AWS Clean Rooms SQL-Referenz.

    Sie können auch die folgenden Optionen verwenden, um Ihre Abfrage zu erstellen.

    Use an example query

    Um eine Beispielabfrage zu verwenden

    1. Wählen Sie die drei vertikalen Punkte neben der Tabelle aus.

    2. Unter Im Editor einfügen, wählen Sie Beispiel für eine Abfrage.

      Anmerkung

      Einfügen einer Beispiel für eine Abfrage hängt sie an die Abfrage an, die sich bereits im Editor befindet.

      Das Abfragebeispiel wird angezeigt. Alle Tabellen, die unter aufgeführt sind Tabellen sind in der Abfrage enthalten.

    3. Bearbeiten Sie die Platzhalterwerte in der Abfrage.

    Insert column names or functions

    Um einen Spaltennamen oder eine Funktion einzufügen

    1. Wählen Sie die drei vertikalen Punkte neben einer Spalte aus.

    2. Unter Im Editor einfügen, wählen Sie Name der Spalte.

    3. Um eine Funktion, die für eine Spalte zulässig ist, manuell einzufügen,

      1. Wählen Sie die drei vertikalen Punkte neben einer Spalte aus.

      2. Wählen Sie Im Editor einfügen.

      3. Wählen Sie den Namen der erlaubten Funktion (z. B. INNER JOIN, SUM, SUM DISTINCT, oder COUNT).

    4. Drücken Sie Strg + Weltraum um die Tabellenschemas im Code-Editor anzuzeigen.

      Anmerkung

      Mitglieder, die Abfragen durchführen können, können die Partitionsspalten in jeder konfigurierten Tabellenzuordnung anzeigen und verwenden. Stellen Sie sicher, dass die Partitionsspalte als Partitionsspalte in der AWS Glue Tabelle, die der konfigurierten Tabelle zugrunde liegt.

    5. Bearbeiten Sie die Platzhalterwerte in der Abfrage.

  8. Geben Sie die unterstützten an Typ des Arbeiters und der Anzahl der Arbeiter.

    Sie können den Instanztyp und die Anzahl der Instanzen (Worker) wählen, um Ihre SQL-Abfragen auszuführen.

    Sie können 2 bis 128 Worker auswählen für CR.1X, 2 bis 32 Arbeiter für CR.4X, und 2 bis 16 Arbeiter für CR.8X.

    Ermitteln Sie anhand der folgenden Tabelle den Typ und die Anzahl der Mitarbeiter, die Sie für Ihren Anwendungsfall benötigen.

    Worker type (Worker-Typ) vCPU Speicher (GB) Speicherplatz (GB) Number of workers (Anzahl der Worker) Gesamtzahl der Reinraum-Verarbeitungseinheiten (CRPU)
    CR.1X (Standard) 4 30 500 2 4
    128 256
    CR.4X 16 120 2000 2 16
    32 256
    CR.8X 32 244 2000 2 32
    16 256
    Anmerkung

    Verschiedene Arten von Arbeitskräften und die Anzahl der Arbeitnehmer sind mit Kosten verbunden. Weitere Informationen zu den Preisen finden Sie unter AWS Clean Rooms Preisgestaltung.

  9. Für Ergebnisse senden an, geben Sie an, wer Ergebnisse erhalten kann.

    Anmerkung

    Um Ergebnisse zu erhalten, muss das Kollaborationsmitglied als Ergebnisempfänger konfiguriert sein und aktiv an der Kollaboration teilnehmen (Status: Aktiv)

  10. (Mitglied, das nur Fragen stellen kann) Das Verwenden Sie Ihre Standardergebniseinstellungen Das Kontrollkästchen ist standardmäßig ausgewählt. Lassen Sie dieses Kontrollkästchen aktiviert, wenn Sie Ihre Standardergebniseinstellungen beibehalten möchten.

    Wenn Sie andere Ergebniseinstellungen für diese Abfrage angeben möchten, deaktivieren Sie das Verwenden Sie Ihre Standardergebniseinstellungen Kontrollkästchen, und wählen Sie dann Folgendes aus.

    1. Format des Ergebnisses (CSV oder PARKETT)

    2. Ergebnisdateien (Einzeln oder Mehrfach)

    3. Ziel der Ergebnisse in Amazon S3

    Jedes Mitglied, das Ergebnisse erhalten kann, kann ein anderes angeben Format der Ergebnisse, Ergebnisdateien, und Ziel der Ergebnisse in Amazon S3.

  11. Zu spezifizieren Spark-Eigenschaften:

    1. Erweitern Sie Spark-Eigenschaften.

    2. Wählen Fügen Sie Spark-Eigenschaften hinzu.

    3. Auf der Spark-Eigenschaften Dialogfeld, wählen Sie eine Name der Immobilie aus der Dropdownliste und geben Sie einen ein Wert.

    Die folgenden Tabellen enthalten eine Definition für jede Eigenschaft.

    Weitere Informationen zu Spark-Eigenschaften finden Sie unter Spark-Eigenschaften in der Apache Spark-Dokumentation.

    Anmerkung

    Sie können maximal 50 Spark-Eigenschaften konfigurieren. Jeder Eigenschaftswert kann bis zu 500 Zeichen lang sein.

    Eigenschaftenname Description Standardwert

    spark.task.maxFailures

    Steuert, wie oft eine Aufgabe hintereinander fehlschlagen kann, bevor der Job fehlschlägt. Erfordert einen Wert größer oder gleich 1. Die Anzahl der zulässigen Wiederholungen entspricht diesem Wert minus 1. Die Anzahl der Fehler wird zurückgesetzt, wenn ein Versuch erfolgreich ist. Fehler bei verschiedenen Aufgaben summieren sich nicht bis zu diesem Limit.

    4

    spark.sql.files.maxPartitionBytes

    Legt die maximale Anzahl von Byte fest, die beim Lesen aus dateibasierten Quellen wie Parquet, JSON und ORC in eine einzelne Partition gepackt werden sollen.

    128 MB

    spark.hadoop.fs.s3.max versucht es erneut

    Legt die maximale Anzahl von Wiederholungsversuchen für Amazon S3-Dateioperationen fest.

    (Keine)

    spark.network.timeout

    Legt das Standard-Timeout für alle Netzwerkinteraktionen fest. Überschreibt die folgenden Timeout-Einstellungen, wenn sie nicht konfiguriert sind:

    • spark.storage.blockManagerHeartbeatTimeoutMs

    • Zeitlimit für spark.shuffle.io.Connection

    • spark.rpc.askTimeout

    • spark.rpc.lookupTimeout

    120 Sekunden

    spark.rdd.com drücken

    Gibt an, ob serialisierte RDD-Partitionen mit spark.io.compression.codec komprimiert werden sollen. Gilt für StorageLevel.MEMORY_ONLY_SER in Java und Scala, oder StorageLevel.MEMORY_NUR in Python. Reduziert den Speicherplatz, erfordert jedoch zusätzliche CPU-Verarbeitungszeit.

    false

    spark.shuffle.spill.compress

    Gibt an, ob Shuffle-Spill-Daten mithilfe von spark.io.compression.codec komprimiert werden sollen.

    true

    spark.shuffle.compress

    Gibt an, ob Map-Ausgabedateien komprimiert werden sollen. Bei der Komprimierung wird spark.io.compression.codec verwendet.

    true

    spark.shuffle.service.index.cache.size

    Legt das Limit für die Cachegröße in Byte fest, sofern nicht anders angegeben.

    100 m

    spark.shuffle.io.max versucht es erneut

    Legt die maximale Anzahl von Wiederholungsversuchen für Abrufe fest, die aufgrund von IO-related Ausnahmen.

    3

    spark.shuffle.io.Erneut versuchen, warten

    Legt die Wartezeit zwischen erneuten Abrufversuchen fest. Die maximale Verzögerung, die durch einen erneuten Versuch verursacht wird, beträgt standardmäßig 15 Sekunden. Sie wird als MaxRetries * RetryWait berechnet.

    5 s

    Zeitüberschreitung bei spark.shuffle.io.connection

    Legt fest, dass das Timeout für hergestellte Verbindungen zwischen Shuffle-Servern und Clients als inaktiv markiert und geschlossen wird, wenn immer noch Abrufanfragen ausstehen, aber kein Verkehr auf dem Kanal vorhanden ist.

    (Wert von spark.network.timeout)

    spark.driver.maxResultSize

    Legt die Gesamtgrößenbeschränkung der serialisierten Ergebnisse aller Partitionen für jede Spark-Aktion in Byte fest. Sollte mindestens 1M oder 0 für unbegrenzt sein.

    1 g

    spark.memory.fraction

    Legt den Bruchteil von (Heap-Speicherplatz — 300 MB) fest, der für die Ausführung und Speicherung verwendet wird. Je niedriger dieser Wert ist, desto häufiger kommt es zu Verschüttungen und zum Löschen zwischengespeicherter Daten. Es wird empfohlen, diesen Wert auf dem Standardwert zu belassen.

    0.6

    spark.scheduler.mode

    Legt den Planungsmodus zwischen Aufträgen fest, die an dasselbe gesendet werden SparkContext. Kann auf FAIR gesetzt werden, um fair zu teilen, anstatt Jobs nacheinander in die Warteschlange zu stellen. Unterstützte Werte: FAIR, FIFO.

    FIFO

    spark.sql.adaptive.advisoryPartitionSizeInBytes

    Legt die Zielgröße in Byte für Shuffle-Partitionen während der adaptiven Optimierung fest, wenn spark.sql.adaptive.enabled den Wert true hat. Steuert die Partitionsgröße, wenn kleine Partitionen zusammengeführt oder schiefe Partitionen aufgeteilt werden.

    (Wert von spark.sql.adaptive.shuffle.targetPostShuffleInputSize)

    spark.sql.adaptive.autoBroadcastJoinThreshold

    Legt die maximale Tabellengröße in Byte für die Übertragung an Worker-Knoten bei Joins fest. Gilt nur im adaptiven Framework. Verwendet denselben Standardwert wie spark.sql.autoBroadcastJoinThreshold. Auf -1 setzen, um die Übertragung zu deaktivieren.

    (Keine)

    spark.sql.adaptive.coalescePartitions.enabled

    Gibt an, ob zusammenhängende Shuffle-Partitionen auf der Grundlage von spark.sql.adaptive.advisory zusammengeführt werden sollenPartitionSizeInBytes um die Aufgabengröße zu optimieren. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.

    true

    spark.sql.adaptive.coalescePartitions.initialPartitionNum

    Definiert die anfängliche Anzahl von Shuffle-Partitionen vor der Koaleszenz. Erfordert sowohl spark.sql.adaptive.enabled als auch spark.sql.adaptive.coalescePartitions.enabled um wahr zu sein. Standardmäßig wird der Wert von spark.sql.shuffle.partitions verwendet.

    (Keine)

    spark.sql.adaptive.coalescePartitions.minPartitionSize

    Legt die Mindestgröße für zusammengefügte Shuffle-Partitionen fest, um zu verhindern, dass Partitionen während der adaptiven Optimierung zu klein werden.

    1 MB

    spark.sql.adaptive.coalescePartitions.parallelismFirst

    Gibt an, ob die Partitionsgrößen auf der Grundlage der Cluster-Parallelität statt auf spark.sql.adaptive.advisory berechnet werden sollenPartitionSizeInBytes während der Partitionszusammenführung. Generiert kleinere Partitionsgrößen als die konfigurierte Zielgröße, um die Parallelität zu maximieren. Wir empfehlen, diesen Wert bei stark ausgelasteten Clustern auf falsch zu setzen, um die Ressourcenauslastung zu verbessern, indem übermäßig kleine Aufgaben vermieden werden.

    true

    spark.sql.adaptive.enabled

    Gibt an, ob die adaptive Abfrageausführung aktiviert werden soll, um Abfragepläne während der Abfrageausführung auf der Grundlage genauer Laufzeitstatistiken erneut zu optimieren.

    true

    spark.sql.adaptive.forceOptimizeSkewedJoin

    Gibt an, ob die Aktivierung erzwungen werden soll OptimizeSkewedJoin auch wenn dadurch zusätzliches Shuffle eingeführt wird.

    false

    spark.sql.adaptive.localShuffleReader.enabled

    Gibt an, ob lokale Shuffle-Reader verwendet werden sollen, wenn eine Shuffle-Partitionierung nicht erforderlich ist, z. B. nach der Konvertierung von Sort-Merge-Joins in Broadcast-Hash-Joins. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.

    true

    spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold

    Legt die maximale Partitionsgröße in Byte für die Erstellung lokaler Hash-Maps fest. Priorisiert gemischte Hash-Joins gegenüber Sort-Merge-Joins, wenn:

    • Dieser Wert entspricht oder übersteigt spark.sql.adaptive.advisoryPartitionSizeInBytes

    • Alle Partitionsgrößen liegen innerhalb dieser Grenze

    Überschreibt spark.sql.join.preferSortMergeJoin Einstellung.

    0 Byte

    spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabled

    Gibt an, ob schiefe Shuffle-Partitionen optimiert werden sollen, indem sie auf der Grundlage von spark.sql.adaptive.advisory in kleinere Partitionen aufgeteilt werdenPartitionSizeInBytes. Erfordert, dass spark.sql.adaptive.enabled wahr ist.

    true

    spark.sql.adaptive.rebalancePartitionsSmallPartitionFactor

    Definiert den Größenschwellenfaktor für das Zusammenführen von Partitionen beim Teilen. Partitionen, die kleiner als dieser Faktor sind, multipliziert mit spark.sql.adaptive.advisoryPartitionSizeInBytes werden zusammengeführt.

    0.2

    spark.sql.adaptive.skewJoin.enabled

    Gibt an, ob Datenverzerrungen bei gemischten Verknüpfungen behandelt werden sollen, indem schiefe Partitionen aufgeteilt und optional repliziert werden. Gilt für Sort-Merge- und Shuffled-Hash-Joins. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.

    true

    spark.sql.adaptive.skewJoin.skewedPartitionFactor

    Bestimmt den Größenfaktor, der den Partitionsversatz bestimmt. Eine Partition ist schief, wenn ihre Größe beide überschreitet:

    • Dieser Faktor multipliziert mit der mittleren Partitionsgröße

    • Der Wert von spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes

    5

    spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes

    Legt den Größenschwellenwert in Byte zur Identifizierung schiefer Partitionen fest. Eine Partition ist schief, wenn ihre Größe beide überschreitet:

    • Dieser Schwellenwert

    • Die mittlere Partitionsgröße multipliziert mit spark.sql.adaptive.skewJoin.skewedPartitionFactor

    Wir empfehlen, diesen Wert größer als spark.sql.adaptive.advisory einzustellenPartitionSizeInBytes.

    256 MB

    spark.sql.broadcast-Timeout

    Steuert den Timeout-Zeitraum in Sekunden für die Broadcast-Operationen bei Broadcast-Joins.

    300 Sekunden

    spark.sql.cbo.enabled

    Gibt an, ob die kostenbasierte Optimierung (CBO) für die Schätzung von Planstatistiken aktiviert werden soll.

    false

    spark.sql.cbo.joinReorder.dp.star.filter

    Gibt an, ob bei der kostenbasierten Join-Enumeration eine Star-Join-Filterheuristik angewendet werden soll.

    false

    spark.sql.cbo.joinReorder.dp.threshold

    Legt die maximale Anzahl verbundener Knoten fest, die im dynamischen Programmieralgorithmus zulässig sind.

    12

    spark.sql.cbo.joinReorder.enabled

    Gibt an, ob die Neuanordnung von Verknüpfungen in der kostenbasierten Optimierung (CBO) aktiviert werden soll.

    false

    spark.sql.cbo.planStats.enabled

    Gibt an, ob bei der Generierung des logischen Plans Zeilenanzahl und Spaltenstatistiken aus dem Katalog abgerufen werden sollen.

    false

    spark.sql.cbo.starSchemaDetection

    Gibt an, ob die Neuordnung von Joins auf der Grundlage der Sternschemaerkennung aktiviert werden soll.

    false

    spark.sql.files.maxPartitionNum

    Legt die maximale Zielanzahl geteilter Dateipartitionen für dateibasierte Quellen (Parquet, JSON und ORC) fest. Skaliert Partitionen neu, wenn die anfängliche Anzahl diesen Wert überschreitet. Dies ist ein empfohlenes Ziel, kein garantiertes Limit.

    (Keine)

    spark.sql.files.maxRecordsPerFile

    Legt die maximale Anzahl von Datensätzen fest, die in eine einzelne Datei geschrieben werden sollen. Bei einem Wert von Null oder einem negativen Wert gilt kein Limit.

    0

    spark.sql.files.minPartitionNum

    Legt die Mindestanzahl geteilter Dateipartitionen für dateibasierte Quellen (Parquet, JSON und ORC) fest. Die Standardeinstellung ist spark.sql.leafNodeDefaultParallelism. Dies ist ein empfohlenes Ziel, kein garantiertes Limit.

    (Keine)

    spark.sql.inMemoryColumnarStorage.batchSize

    Steuert die Batchgröße für das spaltenförmige Caching. Eine Erhöhung der Größe verbessert die Speicherauslastung und Komprimierung, erhöht jedoch das Risiko von Fehlern aufgrund unzureichenden Speichers.

    10000

    spark.sql.inMemoryColumnarStorage.compressed

    Gibt an, ob auf der Grundlage von Datenstatistiken automatisch Komprimierungscodecs für Spalten ausgewählt werden sollen.

    true

    spark.sql.inMemoryColumnarStorage.enableVectorizedReader

    Gibt an, ob vektorisiertes Lesen für das spaltenförmige Caching aktiviert werden soll.

    true

    spark.sql.legacy.allowHashOnMapType

    Gibt an, ob Hashoperationen für Datenstrukturen vom Kartentyp zulässig sind. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit der Verarbeitung von Kartentypen älterer Spark-Versionen.

    (Keine)

    spark.sql.legacy.allowNegativeScaleOfDecimal

    Gibt an, ob negative Skalenwerte in Dezimaltypdefinitionen zulässig sind. Diese alte Einstellung gewährleistet die Kompatibilität mit älteren Spark-Versionen, die negative Dezimalskalen unterstützten.

    (Keine)

    spark.sql.legacy.castComplexTypesToString.enabled

    Gibt an, ob veraltetes Verhalten für die Umwandlung komplexer Typen in Zeichenketten aktiviert werden soll. Behält die Kompatibilität mit den Typkonvertierungsregeln älterer Spark-Versionen bei.

    (Keine)

    spark.sql.legacy.charVarcharAsString

    Gibt an, ob CHAR- und VARCHAR-Typen als STRING-Typen behandelt werden sollen. Diese Legacy-Einstellung bietet Kompatibilität mit der Behandlung von String-Typen älterer Spark-Versionen.

    (Keine)

    spark.sql.legacy.createEmptyCollectionUsingStringType

    Gibt an, ob leere Sammlungen mithilfe von Elementen vom Typ Zeichenfolge erstellt werden sollen. Diese ältere Einstellung gewährleistet die Kompatibilität mit dem Sammlungsinitialisierungsverhalten älterer Spark-Versionen.

    (Keine)

    spark.sql.legacy.exponentLiteralAsDecimal.enabled

    Gibt an, ob exponentielle Literale als Dezimaltypen interpretiert werden sollen. Diese ältere Einstellung gewährleistet die Kompatibilität mit der numerischen Literalverarbeitung älterer Spark-Versionen.

    (Keine)

    spark.sql.legacy.json.allowEmptyString.enabled

    Gibt an, ob bei der JSON-Verarbeitung leere Zeichenfolgen zulässig sind. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit dem JSON-Parsing-Verhalten älterer Spark-Versionen.

    (Keine)

    spark.sql.legacy.parquet.int96RebaseModeInRead

    Gibt an, ob beim Lesen von Parquet-Dateien der ältere INT96-Timestamp-Rebase-Modus verwendet werden soll. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit der Zeitstempelverarbeitung älterer Spark-Versionen.

    (Keine)

    spark.sql.legacy.timeParserPolicy

    Steuert das Verhalten bei der Zeitanalyse aus Gründen der Abwärtskompatibilität. Diese Legacy-Einstellung bestimmt, wie Zeitstempel und Datumsangaben anhand von Zeichenketten analysiert werden.

    (Keine)

    spark.sql.legacy.typeCoercion.datetimeToString.enabled

    Gibt an, ob beim Konvertieren von Datetime-Werten in Zeichenfolgen das erzwungene Verhalten älterer Typen aktiviert werden soll. Behält die Kompatibilität mit den Datetime-Konvertierungsregeln älterer Spark-Versionen bei.

    (Keine)

    spark.sql.maxSinglePartitionBytes

    Legt die maximale Partitionsgröße in Byte fest. Der Planer führt Shuffle-Operationen für größere Partitionen ein, um die Parallelität zu verbessern.

    128 m

    spark.sql.metadatacacheTTL Sekunden

    Steuert die Gültigkeitsdauer (TTL) für Metadaten-Caches. Gilt für Partitionsdatei-Metadaten und Sitzungskatalog-Caches. Erfordert:

    • Ein positiver Wert größer als Null

    • spark.sql.CatalogImplementation ist auf hive gesetzt

    • spark.sql.hive.filesourcePartitionFileCacheSize größer als Null

    • spark.sql.hive.manageFilesourcePartitions auf true setzen

    -1000 ms

    spark.sql.optimizer.collapseProjectAlwaysInline

    Gibt an, ob benachbarte Projektionen und Inline-Ausdrücke ausgeblendet werden sollen, auch wenn dies zu Duplikaten führt.

    false

    spark.sql.optimizer.dynamicPartitionPruning.enabled

    Gibt an, ob Prädikate für Partitionsspalten generiert werden sollen, die als Join-Schlüssel verwendet werden.

    true

    spark.sql.optimizer.enableCsvExpressionOptimization

    Gibt an, ob CSV-Ausdrücke im SQL-Optimierer optimiert werden sollen, indem unnötige Spalten aus from_csv-Vorgängen entfernt werden.

    true

    spark.sql.optimizer.enableJsonExpressionOptimization

    Gibt an, ob JSON-Ausdrücke im SQL-Optimierer wie folgt optimiert werden sollen:

    • Überflüssige Spalten aus from_json-Operationen entfernen

    • Vereinfachung der Kombinationen from_json und to_json

    • Optimierung von named_struct-Operationen

    true

    spark.sql.optimizer.excludedRules

    Definiert zu deaktivierende Optimizer-Regeln, die durch kommagetrennte Regelnamen gekennzeichnet sind. Einige Regeln können nicht deaktiviert werden, da sie für die Richtigkeit erforderlich sind. Der Optimierer protokolliert, welche Regeln erfolgreich deaktiviert wurden.

    (Keine)

    spark.sql.optimizer.runtime.bloomFilter.applicationSideScanSizeThreshold

    Legt die minimale aggregierte Scangröße in Byte fest, die erforderlich ist, um einen Bloom-Filter auf der Anwendungsseite einzufügen.

    10 GB

    spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold

    Definiert den maximalen Größenschwellenwert für das Einfügen eines Bloom-Filters auf der Erstellungsseite.

    10 MB

    spark.sql.optimizer.runtime.bloomFilter.enabled

    Gibt an, ob ein Bloom-Filter eingefügt werden soll, um Shuffle-Daten zu reduzieren, wenn eine Seite eines Shuffle-Joins ein selektives Prädikat hat.

    true

    spark.sql.optimizer.runtime.bloomFilter.expectedNumItems

    Definiert die Standardanzahl der erwarteten Elemente im Runtime-Bloom-Filter.

    1000000

    spark.sql.optimizer.runtime.bloomFilter.maxNumBits

    Legt die maximale Anzahl von Bits fest, die im Bloom-Laufzeitfilter zulässig sind.

    67108864

    spark.sql.optimizer.runtime.bloomFilter.maxNumItems

    Legt die maximale Anzahl erwarteter Elemente fest, die im Bloom-Laufzeitfilter zulässig sind.

    4000000

    spark.sql.optimizer.runtime.bloomFilter.numBits

    Definiert die Standardanzahl der Bits, die im Runtime-Bloom-Filter verwendet werden.

    8388608

    spark.sql.optimizer.runtime.rowLevelOperationGroupFilter.enabled

    Gibt an, ob die Runtime-Gruppenfilterung für Operationen auf Zeilenebene aktiviert werden soll. Ermöglicht Datenquellen Folgendes:

    • Bereinigen Sie ganze Datengruppen (wie Dateien oder Partitionen) mithilfe von Datenquellenfiltern

    • Führen Sie Laufzeitabfragen aus, um übereinstimmende Datensätze zu identifizieren

    • Verwerfen Sie unnötige Gruppen, um teure Umschreibungen zu vermeiden

    Einschränkungen:

    • Nicht alle Ausdrücke können in Datenquellenfilter konvertiert werden

    • Für einige Ausdrücke ist eine Spark-Auswertung erforderlich (z. B. Unterabfragen)

    true

    spark.sql.optimizer.runtimeFilter.number.threshold

    Legt die Gesamtzahl der injizierten Laufzeitfilter (nicht DPP) fest. Dies dient dazu, Treiber-OOMs mit zu vielen Bloom-Filtern zu verhindern.

    10

    spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled

    Gibt an, ob ein Semi-Join eingefügt werden soll, um Shuffle-Daten zu reduzieren, wenn eine Seite eines Shuffle-Joins ein selektives Prädikat hat.

    false

    spark.sql.parquet.aggregatePushdown

    Gibt an, ob Aggregate zur Optimierung nach Parquet übertragen werden sollen. Unterstützt:

    • MIN und MAX für die Typen Boolean, Integer, Float und Datum

    • COUNT für alle Datentypen

    Löst eine Ausnahme aus, wenn Statistiken in einer Fußzeile einer Parquet-Datei fehlen.

    false

    spark.sql.parquet.columnarReaderBatchSize

    Steuert die Anzahl der Zeilen in jedem vektorisierten Parquet-Reader-Batch. Wählen Sie einen Wert, der den Leistungsaufwand und die Speicherauslastung ausbalanciert, um Fehler aufgrund unzureichenden Speichers zu vermeiden.

    4096

    spark.sql.parquet.enableVectorizedReader

    Gibt an, ob die vektorisierte Parquet-Decodierung aktiviert werden soll.

    true

    spark.sql.shuffle.partitions

    Legt die Standardanzahl von Partitionen für das Mischen von Daten bei Verknüpfungen oder Aggregationen fest. Kann nicht zwischen Neustarts strukturierter Streaming-Abfragen von derselben Checkpoint-Position aus geändert werden.

    200

    spark.sql.shuffledHashJoinFactor

    Definiert den Multiplikationsfaktor, der zur Bestimmung der Eignung für Shuffle-Hash-Joins verwendet wird. Ein Shuffle-Hash-Join wird ausgewählt, wenn die Größe der Small-Side-Daten multipliziert mit diesem Faktor kleiner ist als die Large-Side-Datengröße.

    3

    spark.sql.sources.parallelPartitionDiscovery.threshold

    Legt die maximale Anzahl von Pfaden für die treiberseitige Dateiliste mit dateibasierten Quellen (Parquet, JSON und ORC) fest. Wenn diese Grenze bei der Partitionserkennung überschritten wird, werden die Dateien in einem separaten verteilten Spark-Job aufgelistet.

    32

    spark.sql.statistics.histogram.enabled

    Gibt an, ob bei der Berechnung der Spaltenstatistiken Histogramme gleicher Höhe generiert werden sollen, um die Schätzgenauigkeit zu verbessern. Erfordert einen zusätzlichen Tabellenscan, der über den Scan hinausgeht, der für grundlegende Spaltenstatistiken erforderlich ist.

    false

    spark.dynamicAllocation.executorIdleTimeout

    Legt die Dauer fest, für die ein Executor inaktiv sein muss, bevor er entfernt wird, wenn die dynamische Zuordnung aktiviert ist.

    60 Sekunden

    spark.dynamicAllocation.schedulerBacklogTimeout

    Legt die Dauer fest, für die ausstehende Aufgaben im Rückstand sein müssen, bevor neue Executoren angefordert werden, wenn die dynamische Zuweisung aktiviert ist.

    1s

    spark.dynamicAllocation.sustainedSchedulerBacklogTimeout

    Wie spark.dynamicAllocation.schedulerBacklogTimeout, wird aber nur für nachfolgende Executor-Anfragen verwendet.

    (Wert von spark.dynamic)Allocation.schedulerBacklogTimeout)

    spark.scheduler.minRegisteredResourcesRatio

    Legt das Mindestverhältnis registrierter Ressourcen (registrierte Ressourcen/Gesamtzahl der erwarteten Ressourcen) fest, auf das gewartet werden muss, bevor die Planung beginnt. Wird als Double-Wert zwischen 0,0 und 1,0 angegeben. Unabhängig davon, ob das Mindestverhältnis an Ressourcen erreicht wurde, wird die maximale Wartezeit vor Beginn der Planung von spark.scheduler.max gesteuertRegisteredResourcesWaitingTime.

    0.8

    spark.scheduler.maxRegisteredResourcesWaitingTime

    Legt die maximale Wartezeit fest, bis Ressourcen registriert sind, bevor die Planung beginnt.

    30 Sekunden

    spark.sql.hive.metastorePartitionPruningFallbackOnException

    Gibt an, ob auf das Abrufen aller Partitionen aus dem Hive-Metastore zurückgegriffen werden soll und ob auf der Spark-Client-Seite eine Partitionsbereinigung durchgeführt werden soll, wenn MetaException aus dem Metastore.

    false

    spark.sql.crossJoin.enabled

    Gibt an, ob Abfragen zulässig sind, die ein kartesisches Produkt ohne explizite CROSS JOIN-Syntax enthalten.

    true

    spark.sql.analyzer.maxIterations

    Legt die maximale Anzahl von Iterationen fest, die der Abfrageanalysator ausführt, bevor er aufgibt. Höhere Werte ermöglichen es dem Analyzer, sehr große oder tief verschachtelte Abfragen zu verarbeiten.

    100

    spark.sql.dataprefetch.filescan.maxParallelismPerTask

    Legt die maximale Anzahl von Dateisplits fest, die beim Scannen von Dateien gleichzeitig für jede Aufgabe vorab abgerufen werden sollen.

    4

    spark.sql.iceberg.data-prefetch.enabled

    Gibt an, ob beim Lesen die Optimierung von Daten vor dem Abrufen aktiviert werden soll Iceberg Tabellen.

    true

    spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv

    Gibt an, ob das alte Verhalten beim Schreiben von Nullen als leere Zeichenfolgen in Anführungszeichen in der CSV-Ausgabe wiederhergestellt werden soll. Wenn der Wert falsch ist, schreibt Spark Nullen als leere Zeichenfolgen ohne Anführungszeichen.

    false

    spark.maxRemoteBlockSizeFetchToMem

    Legt den Größenschwellenwert fest, ab dem Spark entfernte Blöcke auf die Festplatte statt in den Speicher abruft. Dadurch wird vermieden, dass eine einzelne große Anfrage zu viel Speicher verbraucht.

    200m

    spark.emr-serverless.allocation.batch.size

    Legt die Anzahl der Executoren fest, die in jeder Runde der Executor-Zuweisung gleichzeitig angefordert werden sollen.

    20

    Eigenschaftenname Description Standardwert

    spark.sql.autoBroadcastJoinThreshold

    Legt die maximale Tabellengröße in Byte für die Übertragung an Worker-Knoten bei Joins fest. Auf -1 setzen, um das Senden zu deaktivieren.

    10 MB (-1 für CR.4X mit 32 Arbeitern)

    spark.dynamicAllocation.enabled

    Gibt an, ob die dynamische Ressourcenzuweisung verwendet werden soll, bei der die Anzahl der bei dieser Anwendung registrierten Executoren je nach Arbeitslast hoch- und herunterskaliert wird.

    true

    spark.files.fetchFailure.unRegisterOutputOnHost

    Gibt an, ob die Registrierung aller Kartenausgaben auf einem Host aufgehoben werden soll, wenn ein Abruffehler auftritt. Wenn der Wert falsch ist, hebt Spark nur die Registrierung der Ausgaben des jeweiligen Executors auf, der ausgefallen ist, wodurch unnötige Neuberechnungen der Stufen vermieden werden.

    false

    spark.sql.iceberg.vectorization.enabled

    Gibt an, ob vektorisierte Lesevorgänge für Parquet-Datendateien in verwendet werden sollen Iceberg Tabellen. Wird auf „False“ gesetzt, wenn eine Abfrage mit einem Fehler fehlschlägt, der besagt, dass vektorisierte Lesevorgänge für eine Spaltenkodierung wie DELTA_LENGTH_BYTE_ARRAY oder DELTA_BINARY_PACKED nicht unterstützt werden. Wenn der Wert falsch ist, lautet die Abfrage Iceberg Tabellen Zeile für Zeile, was länger dauern kann.

    true

    spark.io.compression.codec

    Legt den Codec fest, der zum Komprimieren interner Daten wie RDD-Partitionen, Ereignisprotokolle, Broadcast-Variablen und Shuffle-Ausgaben verwendet wird. Unterstützte Werte: lz4, snappy, zstd, gzip.

    snappy

    spark.sql.session.timezone

    Definiert die Sitzungszeitzone für die Behandlung von Zeitstempeln in Zeichenfolgenliteralen und die Konvertierung von Java-Objekten. Akzeptiert:

    • Region-based IDs in area/city Format (wie America/Los_Angeles)

    • Zonenversätze in (+/-) HH, (+/-)HH:mm, oder (+/-)HH:mm:ss Format (z. B. -08 oder + 01:00)

    • UTC oder Z als Aliase für + 00:00

    UTC

  12. (Optional) Für Computerspieler, wählen Sie das Kollaborationsmitglied aus, das die Kosten für die Abfrageberechnung bezahlt.

    Anmerkung

    Wenn es in der Zusammenarbeit nur einen Zahler gibt, der für die Berechnung von Abfragen in Frage kommt, wird standardmäßig dieser Zahler verwendet.

  13. Klicken Sie auf Ausführen.

    Anmerkung

    Sie können die Abfrage nicht ausführen, wenn das Mitglied, das Ergebnisse erhalten kann, die Einstellungen für die Abfrageergebnisse nicht konfiguriert hat.

  14. Sehen Sie sich das an Ergebnisse.

    Weitere Informationen finden Sie unter Empfangen und Verwenden von Analyseergebnissen.

  15. Passen Sie die Parameter weiter an und führen Sie Ihre Abfrage erneut aus, oder wählen Sie + Schaltfläche, um eine neue Abfrage in einem neuen Tab zu starten.

Anmerkung

AWS Clean Rooms zielt darauf ab, klare Fehlermeldungen bereitzustellen. Wenn eine Fehlermeldung nicht genügend Details enthält, um Ihnen bei der Fehlerbehebung zu helfen, wenden Sie sich an das Account-Team. Beschreiben Sie, wie der Fehler aufgetreten ist, und geben Sie ihm die Fehlermeldung (einschließlich aller Identifikatoren). Weitere Informationen finden Sie unter Fehlerbehebung AWS Clean Rooms.