Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Abfragen konfigurierter Tabellen mit dem SQL-Code-Editor
Als Mitglied, das Abfragen durchführen kann, können Sie eine Abfrage manuell erstellen, indem Sie SQL-Code in den SQL-Code-Editor schreiben. Der SQL-Code-Editor befindet sich im Analyse Abschnitt der Analyse Tab in der AWS Clean Rooms Konsole.
Der SQL-Code-Editor wird standardmäßig angezeigt. Wenn Sie den Analysis Builder zum Erstellen von Abfragen verwenden möchten, finden Sie unter Abfrage mit dem Analysis Builder.
Wenn Sie mit dem Schreiben einer SQL-Abfrage im Code-Editor beginnen und dann den Benutzeroberfläche des Analysis Builders, Ihre Abfrage wurde nicht gespeichert.
AWS Clean Rooms unterstützt viele SQL-Befehle, Funktionen und Bedingungen. Weitere Informationen finden Sie in der AWS Clean Rooms SQL-Referenz.
Wenn während der Ausführung einer Abfrage eine geplante Wartung stattfindet, wird die Abfrage beendet und ein Rollback durchgeführt. Sie müssen die Abfrage neu starten.
Um konfigurierte Tabellen mit dem SQL-Code-Editor abzufragen
-
Melden Sie sich bei AWS-Managementkonsole und öffne das AWS Clean Rooms Konsole bei https://console.aws.amazon.com/cleanrooms
. -
Wählen Sie im linken Navigationsbereich Kollaborationen.
-
Wählen Sie die Zusammenarbeit, die Die Fähigkeiten Ihrer Mitglieder Status von Abfragen ausführen.
-
Auf der Analyse Tab, unter Tabellen, zeigen Sie die Liste der Tabellen und den zugehörigen Analyseregeltyp an (Regel für die Aggregationsanalyse, Analyseregel auflisten, oder Benutzerdefinierte Analyseregel).
AnmerkungWenn Sie die Tabellen, die Sie erwarten, nicht in der Liste sehen, kann das folgende Gründe haben:
-
Die Tabellen wurden nicht assoziiert.
-
Die Tische haben keinen Analyseregel konfiguriert.
-
-
(Optional) Um die Steuerelemente für das Schema und die Analyseregeln der Tabelle anzuzeigen, erweitern Sie die Tabelle, indem Sie auf das Pluszeichen klicken (+).
-
Unter dem Analyse Abschnitt, für Analyse-Modus, wählen Schreiben Sie SQL-Code.
AnmerkungDas Analyse Der Abschnitt wird nur angezeigt, wenn das Mitglied, das Ergebnisse erhalten kann, und das Mitglied, das für die Bezahlung der Abfrageberechnungskosten verantwortlich ist, der Kollaboration als aktives Mitglied beigetreten sind.
-
Erstellen Sie die Abfrage, indem Sie die Abfrage in den SQL-Code-Editor eingeben.
Weitere Informationen zu unterstützten SQL-Befehlen und -Funktionen finden Sie in der AWS Clean Rooms SQL-Referenz.
Sie können auch die folgenden Optionen verwenden, um Ihre Abfrage zu erstellen.
-
Geben Sie die unterstützten an Typ des Arbeiters und der Anzahl der Arbeiter.
Sie können den Instanztyp und die Anzahl der Instanzen (Worker) wählen, um Ihre SQL-Abfragen auszuführen.
Sie können 2 bis 128 Worker auswählen für CR.1X, 2 bis 32 Arbeiter für CR.4X, und 2 bis 16 Arbeiter für CR.8X.
Ermitteln Sie anhand der folgenden Tabelle den Typ und die Anzahl der Mitarbeiter, die Sie für Ihren Anwendungsfall benötigen.
Worker type (Worker-Typ) vCPU Speicher (GB) Speicherplatz (GB) Number of workers (Anzahl der Worker) Gesamtzahl der Reinraum-Verarbeitungseinheiten (CRPU) CR.1X (Standard) 4 30 500 2 4 128 256 CR.4X 16 120 2000 2 16 32 256 CR.8X 32 244 2000 2 32 16 256 AnmerkungVerschiedene Arten von Arbeitskräften und die Anzahl der Arbeitnehmer sind mit Kosten verbunden. Weitere Informationen zu den Preisen finden Sie unter AWS Clean Rooms Preisgestaltung
. -
Für Ergebnisse senden an, geben Sie an, wer Ergebnisse erhalten kann.
AnmerkungUm Ergebnisse zu erhalten, muss das Kollaborationsmitglied als Ergebnisempfänger konfiguriert sein und aktiv an der Kollaboration teilnehmen (Status: Aktiv)
-
(Mitglied, das nur Fragen stellen kann) Das Verwenden Sie Ihre Standardergebniseinstellungen Das Kontrollkästchen ist standardmäßig ausgewählt. Lassen Sie dieses Kontrollkästchen aktiviert, wenn Sie Ihre Standardergebniseinstellungen beibehalten möchten.
Wenn Sie andere Ergebniseinstellungen für diese Abfrage angeben möchten, deaktivieren Sie das Verwenden Sie Ihre Standardergebniseinstellungen Kontrollkästchen, und wählen Sie dann Folgendes aus.
-
Format des Ergebnisses (CSV oder PARKETT)
-
Ergebnisdateien (Einzeln oder Mehrfach)
-
Ziel der Ergebnisse in Amazon S3
Jedes Mitglied, das Ergebnisse erhalten kann, kann ein anderes angeben Format der Ergebnisse, Ergebnisdateien, und Ziel der Ergebnisse in Amazon S3.
-
-
Zu spezifizieren Spark-Eigenschaften:
-
Erweitern Sie Spark-Eigenschaften.
-
Wählen Fügen Sie Spark-Eigenschaften hinzu.
-
Auf der Spark-Eigenschaften Dialogfeld, wählen Sie eine Name der Immobilie aus der Dropdownliste und geben Sie einen ein Wert.
Die folgenden Tabellen enthalten eine Definition für jede Eigenschaft.
Weitere Informationen zu Spark-Eigenschaften finden Sie unter Spark-Eigenschaften
in der Apache Spark-Dokumentation. AnmerkungSie können maximal 50 Spark-Eigenschaften konfigurieren. Jeder Eigenschaftswert kann bis zu 500 Zeichen lang sein.
Eigenschaftenname Description Standardwert spark.task.maxFailures
Steuert, wie oft eine Aufgabe hintereinander fehlschlagen kann, bevor der Job fehlschlägt. Erfordert einen Wert größer oder gleich 1. Die Anzahl der zulässigen Wiederholungen entspricht diesem Wert minus 1. Die Anzahl der Fehler wird zurückgesetzt, wenn ein Versuch erfolgreich ist. Fehler bei verschiedenen Aufgaben summieren sich nicht bis zu diesem Limit.
4
spark.sql.files.maxPartitionBytes
Legt die maximale Anzahl von Byte fest, die beim Lesen aus dateibasierten Quellen wie Parquet, JSON und ORC in eine einzelne Partition gepackt werden sollen.
128 MB
spark.hadoop.fs.s3.max versucht es erneut
Legt die maximale Anzahl von Wiederholungsversuchen für Amazon S3-Dateioperationen fest.
(Keine)
spark.network.timeout
Legt das Standard-Timeout für alle Netzwerkinteraktionen fest. Überschreibt die folgenden Timeout-Einstellungen, wenn sie nicht konfiguriert sind:
-
spark.storage.blockManagerHeartbeatTimeoutMs
-
Zeitlimit für spark.shuffle.io.Connection
-
spark.rpc.askTimeout
-
spark.rpc.lookupTimeout
120 Sekunden
spark.rdd.com drücken
Gibt an, ob serialisierte RDD-Partitionen mit spark.io.compression.codec komprimiert werden sollen. Gilt für StorageLevel.MEMORY_ONLY_SER in Java und Scala, oder StorageLevel.MEMORY_NUR in Python. Reduziert den Speicherplatz, erfordert jedoch zusätzliche CPU-Verarbeitungszeit.
false
spark.shuffle.spill.compress
Gibt an, ob Shuffle-Spill-Daten mithilfe von spark.io.compression.codec komprimiert werden sollen.
true
spark.shuffle.compress
Gibt an, ob Map-Ausgabedateien komprimiert werden sollen. Bei der Komprimierung wird spark.io.compression.codec verwendet.
true
spark.shuffle.service.index.cache.size
Legt das Limit für die Cachegröße in Byte fest, sofern nicht anders angegeben.
100 m
spark.shuffle.io.max versucht es erneut
Legt die maximale Anzahl von Wiederholungsversuchen für Abrufe fest, die aufgrund von IO-related Ausnahmen.
3
spark.shuffle.io.Erneut versuchen, warten
Legt die Wartezeit zwischen erneuten Abrufversuchen fest. Die maximale Verzögerung, die durch einen erneuten Versuch verursacht wird, beträgt standardmäßig 15 Sekunden. Sie wird als MaxRetries * RetryWait berechnet.
5 s
Zeitüberschreitung bei spark.shuffle.io.connection
Legt fest, dass das Timeout für hergestellte Verbindungen zwischen Shuffle-Servern und Clients als inaktiv markiert und geschlossen wird, wenn immer noch Abrufanfragen ausstehen, aber kein Verkehr auf dem Kanal vorhanden ist.
(Wert von spark.network.timeout)
spark.driver.maxResultSize
Legt die Gesamtgrößenbeschränkung der serialisierten Ergebnisse aller Partitionen für jede Spark-Aktion in Byte fest. Sollte mindestens 1M oder 0 für unbegrenzt sein.
1 g
spark.memory.fraction
Legt den Bruchteil von (Heap-Speicherplatz — 300 MB) fest, der für die Ausführung und Speicherung verwendet wird. Je niedriger dieser Wert ist, desto häufiger kommt es zu Verschüttungen und zum Löschen zwischengespeicherter Daten. Es wird empfohlen, diesen Wert auf dem Standardwert zu belassen.
0.6
spark.scheduler.mode
Legt den Planungsmodus zwischen Aufträgen fest, die an dasselbe gesendet werden SparkContext. Kann auf FAIR gesetzt werden, um fair zu teilen, anstatt Jobs nacheinander in die Warteschlange zu stellen. Unterstützte Werte: FAIR, FIFO.
FIFO
spark.sql.adaptive.advisoryPartitionSizeInBytes
Legt die Zielgröße in Byte für Shuffle-Partitionen während der adaptiven Optimierung fest, wenn spark.sql.adaptive.enabled den Wert true hat. Steuert die Partitionsgröße, wenn kleine Partitionen zusammengeführt oder schiefe Partitionen aufgeteilt werden.
(Wert von spark.sql.adaptive.shuffle.targetPostShuffleInputSize)
spark.sql.adaptive.autoBroadcastJoinThreshold
Legt die maximale Tabellengröße in Byte für die Übertragung an Worker-Knoten bei Joins fest. Gilt nur im adaptiven Framework. Verwendet denselben Standardwert wie spark.sql.autoBroadcastJoinThreshold. Auf -1 setzen, um die Übertragung zu deaktivieren.
(Keine)
spark.sql.adaptive.coalescePartitions.enabled
Gibt an, ob zusammenhängende Shuffle-Partitionen auf der Grundlage von spark.sql.adaptive.advisory zusammengeführt werden sollenPartitionSizeInBytes um die Aufgabengröße zu optimieren. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.
true
spark.sql.adaptive.coalescePartitions.initialPartitionNum
Definiert die anfängliche Anzahl von Shuffle-Partitionen vor der Koaleszenz. Erfordert sowohl spark.sql.adaptive.enabled als auch spark.sql.adaptive.coalescePartitions.enabled um wahr zu sein. Standardmäßig wird der Wert von spark.sql.shuffle.partitions verwendet.
(Keine)
spark.sql.adaptive.coalescePartitions.minPartitionSize
Legt die Mindestgröße für zusammengefügte Shuffle-Partitionen fest, um zu verhindern, dass Partitionen während der adaptiven Optimierung zu klein werden.
1 MB
spark.sql.adaptive.coalescePartitions.parallelismFirst
Gibt an, ob die Partitionsgrößen auf der Grundlage der Cluster-Parallelität statt auf spark.sql.adaptive.advisory berechnet werden sollenPartitionSizeInBytes während der Partitionszusammenführung. Generiert kleinere Partitionsgrößen als die konfigurierte Zielgröße, um die Parallelität zu maximieren. Wir empfehlen, diesen Wert bei stark ausgelasteten Clustern auf falsch zu setzen, um die Ressourcenauslastung zu verbessern, indem übermäßig kleine Aufgaben vermieden werden.
true
spark.sql.adaptive.enabled
Gibt an, ob die adaptive Abfrageausführung aktiviert werden soll, um Abfragepläne während der Abfrageausführung auf der Grundlage genauer Laufzeitstatistiken erneut zu optimieren.
true
spark.sql.adaptive.forceOptimizeSkewedJoin
Gibt an, ob die Aktivierung erzwungen werden soll OptimizeSkewedJoin auch wenn dadurch zusätzliches Shuffle eingeführt wird.
false
spark.sql.adaptive.localShuffleReader.enabled
Gibt an, ob lokale Shuffle-Reader verwendet werden sollen, wenn eine Shuffle-Partitionierung nicht erforderlich ist, z. B. nach der Konvertierung von Sort-Merge-Joins in Broadcast-Hash-Joins. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.
true
spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold
Legt die maximale Partitionsgröße in Byte für die Erstellung lokaler Hash-Maps fest. Priorisiert gemischte Hash-Joins gegenüber Sort-Merge-Joins, wenn:
-
Dieser Wert entspricht oder übersteigt spark.sql.adaptive.advisoryPartitionSizeInBytes
-
Alle Partitionsgrößen liegen innerhalb dieser Grenze
Überschreibt spark.sql.join.preferSortMergeJoin Einstellung.
0 Byte
spark.sql.adaptive.optimizeSkewsInRebalancePartitions.enabled
Gibt an, ob schiefe Shuffle-Partitionen optimiert werden sollen, indem sie auf der Grundlage von spark.sql.adaptive.advisory in kleinere Partitionen aufgeteilt werdenPartitionSizeInBytes. Erfordert, dass spark.sql.adaptive.enabled wahr ist.
true
spark.sql.adaptive.rebalancePartitionsSmallPartitionFactor
Definiert den Größenschwellenfaktor für das Zusammenführen von Partitionen beim Teilen. Partitionen, die kleiner als dieser Faktor sind, multipliziert mit spark.sql.adaptive.advisoryPartitionSizeInBytes werden zusammengeführt.
0.2
spark.sql.adaptive.skewJoin.enabled
Gibt an, ob Datenverzerrungen bei gemischten Verknüpfungen behandelt werden sollen, indem schiefe Partitionen aufgeteilt und optional repliziert werden. Gilt für Sort-Merge- und Shuffled-Hash-Joins. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.
true
spark.sql.adaptive.skewJoin.skewedPartitionFactor
Bestimmt den Größenfaktor, der den Partitionsversatz bestimmt. Eine Partition ist schief, wenn ihre Größe beide überschreitet:
-
Dieser Faktor multipliziert mit der mittleren Partitionsgröße
-
Der Wert von spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes
5
spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes
Legt den Größenschwellenwert in Byte zur Identifizierung schiefer Partitionen fest. Eine Partition ist schief, wenn ihre Größe beide überschreitet:
-
Dieser Schwellenwert
-
Die mittlere Partitionsgröße multipliziert mit spark.sql.adaptive.skewJoin.skewedPartitionFactor
Wir empfehlen, diesen Wert größer als spark.sql.adaptive.advisory einzustellenPartitionSizeInBytes.
256 MB
spark.sql.broadcast-Timeout
Steuert den Timeout-Zeitraum in Sekunden für die Broadcast-Operationen bei Broadcast-Joins.
300 Sekunden
spark.sql.cbo.enabled
Gibt an, ob die kostenbasierte Optimierung (CBO) für die Schätzung von Planstatistiken aktiviert werden soll.
false
spark.sql.cbo.joinReorder.dp.star.filter
Gibt an, ob bei der kostenbasierten Join-Enumeration eine Star-Join-Filterheuristik angewendet werden soll.
false
spark.sql.cbo.joinReorder.dp.threshold
Legt die maximale Anzahl verbundener Knoten fest, die im dynamischen Programmieralgorithmus zulässig sind.
12
spark.sql.cbo.joinReorder.enabled
Gibt an, ob die Neuanordnung von Verknüpfungen in der kostenbasierten Optimierung (CBO) aktiviert werden soll.
false
spark.sql.cbo.planStats.enabled
Gibt an, ob bei der Generierung des logischen Plans Zeilenanzahl und Spaltenstatistiken aus dem Katalog abgerufen werden sollen.
false
spark.sql.cbo.starSchemaDetection
Gibt an, ob die Neuordnung von Joins auf der Grundlage der Sternschemaerkennung aktiviert werden soll.
false
spark.sql.files.maxPartitionNum
Legt die maximale Zielanzahl geteilter Dateipartitionen für dateibasierte Quellen (Parquet, JSON und ORC) fest. Skaliert Partitionen neu, wenn die anfängliche Anzahl diesen Wert überschreitet. Dies ist ein empfohlenes Ziel, kein garantiertes Limit.
(Keine)
spark.sql.files.maxRecordsPerFile
Legt die maximale Anzahl von Datensätzen fest, die in eine einzelne Datei geschrieben werden sollen. Bei einem Wert von Null oder einem negativen Wert gilt kein Limit.
0
spark.sql.files.minPartitionNum
Legt die Mindestanzahl geteilter Dateipartitionen für dateibasierte Quellen (Parquet, JSON und ORC) fest. Die Standardeinstellung ist spark.sql.leafNodeDefaultParallelism. Dies ist ein empfohlenes Ziel, kein garantiertes Limit.
(Keine)
spark.sql.inMemoryColumnarStorage.batchSize
Steuert die Batchgröße für das spaltenförmige Caching. Eine Erhöhung der Größe verbessert die Speicherauslastung und Komprimierung, erhöht jedoch das Risiko von Fehlern aufgrund unzureichenden Speichers.
10000
spark.sql.inMemoryColumnarStorage.compressed
Gibt an, ob auf der Grundlage von Datenstatistiken automatisch Komprimierungscodecs für Spalten ausgewählt werden sollen.
true
spark.sql.inMemoryColumnarStorage.enableVectorizedReader
Gibt an, ob vektorisiertes Lesen für das spaltenförmige Caching aktiviert werden soll.
true
spark.sql.legacy.allowHashOnMapType
Gibt an, ob Hashoperationen für Datenstrukturen vom Kartentyp zulässig sind. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit der Verarbeitung von Kartentypen älterer Spark-Versionen.
(Keine)
spark.sql.legacy.allowNegativeScaleOfDecimal
Gibt an, ob negative Skalenwerte in Dezimaltypdefinitionen zulässig sind. Diese alte Einstellung gewährleistet die Kompatibilität mit älteren Spark-Versionen, die negative Dezimalskalen unterstützten.
(Keine)
spark.sql.legacy.castComplexTypesToString.enabled
Gibt an, ob veraltetes Verhalten für die Umwandlung komplexer Typen in Zeichenketten aktiviert werden soll. Behält die Kompatibilität mit den Typkonvertierungsregeln älterer Spark-Versionen bei.
(Keine)
spark.sql.legacy.charVarcharAsString
Gibt an, ob CHAR- und VARCHAR-Typen als STRING-Typen behandelt werden sollen. Diese Legacy-Einstellung bietet Kompatibilität mit der Behandlung von String-Typen älterer Spark-Versionen.
(Keine)
spark.sql.legacy.createEmptyCollectionUsingStringType
Gibt an, ob leere Sammlungen mithilfe von Elementen vom Typ Zeichenfolge erstellt werden sollen. Diese ältere Einstellung gewährleistet die Kompatibilität mit dem Sammlungsinitialisierungsverhalten älterer Spark-Versionen.
(Keine)
spark.sql.legacy.exponentLiteralAsDecimal.enabled
Gibt an, ob exponentielle Literale als Dezimaltypen interpretiert werden sollen. Diese ältere Einstellung gewährleistet die Kompatibilität mit der numerischen Literalverarbeitung älterer Spark-Versionen.
(Keine)
spark.sql.legacy.json.allowEmptyString.enabled
Gibt an, ob bei der JSON-Verarbeitung leere Zeichenfolgen zulässig sind. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit dem JSON-Parsing-Verhalten älterer Spark-Versionen.
(Keine)
spark.sql.legacy.parquet.int96RebaseModeInRead
Gibt an, ob beim Lesen von Parquet-Dateien der ältere INT96-Timestamp-Rebase-Modus verwendet werden soll. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit der Zeitstempelverarbeitung älterer Spark-Versionen.
(Keine)
spark.sql.legacy.timeParserPolicy
Steuert das Verhalten bei der Zeitanalyse aus Gründen der Abwärtskompatibilität. Diese Legacy-Einstellung bestimmt, wie Zeitstempel und Datumsangaben anhand von Zeichenketten analysiert werden.
(Keine)
spark.sql.legacy.typeCoercion.datetimeToString.enabled
Gibt an, ob beim Konvertieren von Datetime-Werten in Zeichenfolgen das erzwungene Verhalten älterer Typen aktiviert werden soll. Behält die Kompatibilität mit den Datetime-Konvertierungsregeln älterer Spark-Versionen bei.
(Keine)
spark.sql.maxSinglePartitionBytes
Legt die maximale Partitionsgröße in Byte fest. Der Planer führt Shuffle-Operationen für größere Partitionen ein, um die Parallelität zu verbessern.
128 m
spark.sql.metadatacacheTTL Sekunden
Steuert die Gültigkeitsdauer (TTL) für Metadaten-Caches. Gilt für Partitionsdatei-Metadaten und Sitzungskatalog-Caches. Erfordert:
-
Ein positiver Wert größer als Null
-
spark.sql.CatalogImplementation ist auf hive gesetzt
-
spark.sql.hive.filesourcePartitionFileCacheSize größer als Null
-
spark.sql.hive.manageFilesourcePartitions auf true setzen
-1000 ms
spark.sql.optimizer.collapseProjectAlwaysInline
Gibt an, ob benachbarte Projektionen und Inline-Ausdrücke ausgeblendet werden sollen, auch wenn dies zu Duplikaten führt.
false
spark.sql.optimizer.dynamicPartitionPruning.enabled
Gibt an, ob Prädikate für Partitionsspalten generiert werden sollen, die als Join-Schlüssel verwendet werden.
true
spark.sql.optimizer.enableCsvExpressionOptimization
Gibt an, ob CSV-Ausdrücke im SQL-Optimierer optimiert werden sollen, indem unnötige Spalten aus from_csv-Vorgängen entfernt werden.
true
spark.sql.optimizer.enableJsonExpressionOptimization
Gibt an, ob JSON-Ausdrücke im SQL-Optimierer wie folgt optimiert werden sollen:
-
Überflüssige Spalten aus from_json-Operationen entfernen
-
Vereinfachung der Kombinationen from_json und to_json
-
Optimierung von named_struct-Operationen
true
spark.sql.optimizer.excludedRules
Definiert zu deaktivierende Optimizer-Regeln, die durch kommagetrennte Regelnamen gekennzeichnet sind. Einige Regeln können nicht deaktiviert werden, da sie für die Richtigkeit erforderlich sind. Der Optimierer protokolliert, welche Regeln erfolgreich deaktiviert wurden.
(Keine)
spark.sql.optimizer.runtime.bloomFilter.applicationSideScanSizeThreshold
Legt die minimale aggregierte Scangröße in Byte fest, die erforderlich ist, um einen Bloom-Filter auf der Anwendungsseite einzufügen.
10 GB
spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold
Definiert den maximalen Größenschwellenwert für das Einfügen eines Bloom-Filters auf der Erstellungsseite.
10 MB
spark.sql.optimizer.runtime.bloomFilter.enabled
Gibt an, ob ein Bloom-Filter eingefügt werden soll, um Shuffle-Daten zu reduzieren, wenn eine Seite eines Shuffle-Joins ein selektives Prädikat hat.
true
spark.sql.optimizer.runtime.bloomFilter.expectedNumItems
Definiert die Standardanzahl der erwarteten Elemente im Runtime-Bloom-Filter.
1000000
spark.sql.optimizer.runtime.bloomFilter.maxNumBits
Legt die maximale Anzahl von Bits fest, die im Bloom-Laufzeitfilter zulässig sind.
67108864
spark.sql.optimizer.runtime.bloomFilter.maxNumItems
Legt die maximale Anzahl erwarteter Elemente fest, die im Bloom-Laufzeitfilter zulässig sind.
4000000
spark.sql.optimizer.runtime.bloomFilter.numBits
Definiert die Standardanzahl der Bits, die im Runtime-Bloom-Filter verwendet werden.
8388608
spark.sql.optimizer.runtime.rowLevelOperationGroupFilter.enabled
Gibt an, ob die Runtime-Gruppenfilterung für Operationen auf Zeilenebene aktiviert werden soll. Ermöglicht Datenquellen Folgendes:
-
Bereinigen Sie ganze Datengruppen (wie Dateien oder Partitionen) mithilfe von Datenquellenfiltern
-
Führen Sie Laufzeitabfragen aus, um übereinstimmende Datensätze zu identifizieren
-
Verwerfen Sie unnötige Gruppen, um teure Umschreibungen zu vermeiden
Einschränkungen:
-
Nicht alle Ausdrücke können in Datenquellenfilter konvertiert werden
-
Für einige Ausdrücke ist eine Spark-Auswertung erforderlich (z. B. Unterabfragen)
true
spark.sql.optimizer.runtimeFilter.number.threshold
Legt die Gesamtzahl der injizierten Laufzeitfilter (nicht DPP) fest. Dies dient dazu, Treiber-OOMs mit zu vielen Bloom-Filtern zu verhindern.
10
spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled
Gibt an, ob ein Semi-Join eingefügt werden soll, um Shuffle-Daten zu reduzieren, wenn eine Seite eines Shuffle-Joins ein selektives Prädikat hat.
false
spark.sql.parquet.aggregatePushdown
Gibt an, ob Aggregate zur Optimierung nach Parquet übertragen werden sollen. Unterstützt:
-
MIN und MAX für die Typen Boolean, Integer, Float und Datum
-
COUNT für alle Datentypen
Löst eine Ausnahme aus, wenn Statistiken in einer Fußzeile einer Parquet-Datei fehlen.
false
spark.sql.parquet.columnarReaderBatchSize
Steuert die Anzahl der Zeilen in jedem vektorisierten Parquet-Reader-Batch. Wählen Sie einen Wert, der den Leistungsaufwand und die Speicherauslastung ausbalanciert, um Fehler aufgrund unzureichenden Speichers zu vermeiden.
4096
spark.sql.parquet.enableVectorizedReader
Gibt an, ob die vektorisierte Parquet-Decodierung aktiviert werden soll.
true
spark.sql.shuffle.partitions
Legt die Standardanzahl von Partitionen für das Mischen von Daten bei Verknüpfungen oder Aggregationen fest. Kann nicht zwischen Neustarts strukturierter Streaming-Abfragen von derselben Checkpoint-Position aus geändert werden.
200
spark.sql.shuffledHashJoinFactor
Definiert den Multiplikationsfaktor, der zur Bestimmung der Eignung für Shuffle-Hash-Joins verwendet wird. Ein Shuffle-Hash-Join wird ausgewählt, wenn die Größe der Small-Side-Daten multipliziert mit diesem Faktor kleiner ist als die Large-Side-Datengröße.
3
spark.sql.sources.parallelPartitionDiscovery.threshold
Legt die maximale Anzahl von Pfaden für die treiberseitige Dateiliste mit dateibasierten Quellen (Parquet, JSON und ORC) fest. Wenn diese Grenze bei der Partitionserkennung überschritten wird, werden die Dateien in einem separaten verteilten Spark-Job aufgelistet.
32
spark.sql.statistics.histogram.enabled
Gibt an, ob bei der Berechnung der Spaltenstatistiken Histogramme gleicher Höhe generiert werden sollen, um die Schätzgenauigkeit zu verbessern. Erfordert einen zusätzlichen Tabellenscan, der über den Scan hinausgeht, der für grundlegende Spaltenstatistiken erforderlich ist.
false
spark.dynamicAllocation.executorIdleTimeout
Legt die Dauer fest, für die ein Executor inaktiv sein muss, bevor er entfernt wird, wenn die dynamische Zuordnung aktiviert ist.
60 Sekunden
spark.dynamicAllocation.schedulerBacklogTimeout
Legt die Dauer fest, für die ausstehende Aufgaben im Rückstand sein müssen, bevor neue Executoren angefordert werden, wenn die dynamische Zuweisung aktiviert ist.
1s
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout
Wie spark.dynamicAllocation.schedulerBacklogTimeout, wird aber nur für nachfolgende Executor-Anfragen verwendet.
(Wert von spark.dynamic)Allocation.schedulerBacklogTimeout)
spark.scheduler.minRegisteredResourcesRatio
Legt das Mindestverhältnis registrierter Ressourcen (registrierte Ressourcen/Gesamtzahl der erwarteten Ressourcen) fest, auf das gewartet werden muss, bevor die Planung beginnt. Wird als Double-Wert zwischen 0,0 und 1,0 angegeben. Unabhängig davon, ob das Mindestverhältnis an Ressourcen erreicht wurde, wird die maximale Wartezeit vor Beginn der Planung von spark.scheduler.max gesteuertRegisteredResourcesWaitingTime.
0.8
spark.scheduler.maxRegisteredResourcesWaitingTime
Legt die maximale Wartezeit fest, bis Ressourcen registriert sind, bevor die Planung beginnt.
30 Sekunden
spark.sql.hive.metastorePartitionPruningFallbackOnException
Gibt an, ob auf das Abrufen aller Partitionen aus dem Hive-Metastore zurückgegriffen werden soll und ob auf der Spark-Client-Seite eine Partitionsbereinigung durchgeführt werden soll, wenn MetaException aus dem Metastore.
false
spark.sql.crossJoin.enabled
Gibt an, ob Abfragen zulässig sind, die ein kartesisches Produkt ohne explizite CROSS JOIN-Syntax enthalten.
true
spark.sql.analyzer.maxIterations
Legt die maximale Anzahl von Iterationen fest, die der Abfrageanalysator ausführt, bevor er aufgibt. Höhere Werte ermöglichen es dem Analyzer, sehr große oder tief verschachtelte Abfragen zu verarbeiten.
100
spark.sql.dataprefetch.filescan.maxParallelismPerTask
Legt die maximale Anzahl von Dateisplits fest, die beim Scannen von Dateien gleichzeitig für jede Aufgabe vorab abgerufen werden sollen.
4
spark.sql.iceberg.data-prefetch.enabled
Gibt an, ob beim Lesen die Optimierung von Daten vor dem Abrufen aktiviert werden soll Iceberg Tabellen.
true
spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv
Gibt an, ob das alte Verhalten beim Schreiben von Nullen als leere Zeichenfolgen in Anführungszeichen in der CSV-Ausgabe wiederhergestellt werden soll. Wenn der Wert falsch ist, schreibt Spark Nullen als leere Zeichenfolgen ohne Anführungszeichen.
false
spark.maxRemoteBlockSizeFetchToMem
Legt den Größenschwellenwert fest, ab dem Spark entfernte Blöcke auf die Festplatte statt in den Speicher abruft. Dadurch wird vermieden, dass eine einzelne große Anfrage zu viel Speicher verbraucht.
200m
spark.emr-serverless.allocation.batch.size
Legt die Anzahl der Executoren fest, die in jeder Runde der Executor-Zuweisung gleichzeitig angefordert werden sollen.
20
Eigenschaftenname Description Standardwert spark.sql.autoBroadcastJoinThreshold
Legt die maximale Tabellengröße in Byte für die Übertragung an Worker-Knoten bei Joins fest. Auf -1 setzen, um das Senden zu deaktivieren.
10 MB (-1 für CR.4X mit 32 Arbeitern)
spark.dynamicAllocation.enabled
Gibt an, ob die dynamische Ressourcenzuweisung verwendet werden soll, bei der die Anzahl der bei dieser Anwendung registrierten Executoren je nach Arbeitslast hoch- und herunterskaliert wird.
true
spark.files.fetchFailure.unRegisterOutputOnHost
Gibt an, ob die Registrierung aller Kartenausgaben auf einem Host aufgehoben werden soll, wenn ein Abruffehler auftritt. Wenn der Wert falsch ist, hebt Spark nur die Registrierung der Ausgaben des jeweiligen Executors auf, der ausgefallen ist, wodurch unnötige Neuberechnungen der Stufen vermieden werden.
false
spark.sql.iceberg.vectorization.enabled
Gibt an, ob vektorisierte Lesevorgänge für Parquet-Datendateien in verwendet werden sollen Iceberg Tabellen. Wird auf „False“ gesetzt, wenn eine Abfrage mit einem Fehler fehlschlägt, der besagt, dass vektorisierte Lesevorgänge für eine Spaltenkodierung wie DELTA_LENGTH_BYTE_ARRAY oder DELTA_BINARY_PACKED nicht unterstützt werden. Wenn der Wert falsch ist, lautet die Abfrage Iceberg Tabellen Zeile für Zeile, was länger dauern kann.
true
spark.io.compression.codec
Legt den Codec fest, der zum Komprimieren interner Daten wie RDD-Partitionen, Ereignisprotokolle, Broadcast-Variablen und Shuffle-Ausgaben verwendet wird. Unterstützte Werte: lz4, snappy, zstd, gzip.
snappy
spark.sql.session.timezone
Definiert die Sitzungszeitzone für die Behandlung von Zeitstempeln in Zeichenfolgenliteralen und die Konvertierung von Java-Objekten. Akzeptiert:
-
Region-based IDs in area/city Format (wie America/Los_Angeles)
-
Zonenversätze in (+/-) HH, (+/-)HH:mm, oder (+/-)HH:mm:ss Format (z. B. -08 oder + 01:00)
-
UTC oder Z als Aliase für + 00:00
UTC
-
-
(Optional) Für Computerspieler, wählen Sie das Kollaborationsmitglied aus, das die Kosten für die Abfrageberechnung bezahlt.
AnmerkungWenn es in der Zusammenarbeit nur einen Zahler gibt, der für die Berechnung von Abfragen in Frage kommt, wird standardmäßig dieser Zahler verwendet.
-
Klicken Sie auf Ausführen.
AnmerkungSie können die Abfrage nicht ausführen, wenn das Mitglied, das Ergebnisse erhalten kann, die Einstellungen für die Abfrageergebnisse nicht konfiguriert hat.
-
Sehen Sie sich das an Ergebnisse.
Weitere Informationen finden Sie unter Empfangen und Verwenden von Analyseergebnissen.
-
Passen Sie die Parameter weiter an und führen Sie Ihre Abfrage erneut aus, oder wählen Sie + Schaltfläche, um eine neue Abfrage in einem neuen Tab zu starten.
AWS Clean Rooms zielt darauf ab, klare Fehlermeldungen bereitzustellen. Wenn eine Fehlermeldung nicht genügend Details enthält, um Ihnen bei der Fehlerbehebung zu helfen, wenden Sie sich an das Account-Team. Beschreiben Sie, wie der Fehler aufgetreten ist, und geben Sie ihm die Fehlermeldung (einschließlich aller Identifikatoren). Weitere Informationen finden Sie unter Fehlerbehebung AWS Clean Rooms.