Versioni immagine release 3.0.x

Componente 3.0.4-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/02
3.0.3-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/09/30
3.0.2-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/09/04
3.0.1-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/08/19
3.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/07/15
Componente facoltativo
Apache Flink
2.2.0 2.2.0 2.2.0 2.2.0
Apache Hadoop
installato
3.5.0 3.5.0 3.5.0 3.5.0 3.5.0
Apache Hive
installato
4.2.0 4.2.0 4.2.0 4.2.0 4.2.0
Componente facoltativo
Apache Hive WebHCat
4.2.0 4.2.0 4.2.0 4.2.0
Componente facoltativo
Apache Iceberg
1.11.0 1.11.0 1.11.0 1.11.0
Componente facoltativo
Apache Hudi
1.2.0 1.2.0
Azione di inizializzazione
Apache Kafka
3.9.2 3.9.2 3.9.2 3.9.2
Componente facoltativo
Apache Pig
0.18.0 0.18.0 0.18.0 0.18.0 0.18.0-SNAPSHOT
Componente facoltativo
Apache Ranger
2.8.0 2.8.0 2.8.0
Apache Spark
installato
4.1.2 4.1.2 4.1.2 4.1.2 4.1.1
Componente facoltativo
Apache Solr
9.10.1 9.10.1 9.10.1 9.10.1 9.7.0
Apache Tez
installato
0.10.5 0.10.5 0.10.5 0.10.5 0.10.5
Componente facoltativo
Notebook Apache Zeppelin
0.12.0 0.12.0 0.12.0 0.12.0
Componente facoltativo
Apache Zookeeper
3.9.5 3.9.5 3.9.5 3.9.5 3.9.3
Connettore BigQuery
installato
0.44.1-Preview 0.44.1-Preview 0.44.1-Preview 0.44.1-Preview 0.44.1-Preview
Connettore Cloud Storage
installato
4.0.4 4.0.4 3.1.13 3.1.13 3.1.13
Conscrypt
installato
2,6 2,6 2,6 2,6 2,6
Delta Lake
componente facoltativo
4.2.0 4.2.0 4.2.0
Docker
componente facoltativo
28,1 28,1 28,1 28,1
Java
installato
21 21 21 21 21
Blocco note JupyterLab
componente facoltativo
4.5.7 4.5.7 4.5.7 4.5.7
Python
installato
Pixi 0.76.0 con Python 3.12 Pixi 0.76.0 con Python 3.12 Pixi 0.67.1 con Python 3.12 Pixi 0.67.1 con Python 3.12 Pixi 0.67.1 con Python 3.11
R
installato
R 4.5 R 4.5 R 4.5 R 4.5 R 4.5
Scala
installato
2.13.17 2.13.17 2.13.17 2.13.17 2.13.17
Trino
Trino
480 480 480 480

Limitazioni

  • Metastore con Hive 4.2: la versione immagine 3.0 non supporta BigQuery Metastore, BigLake Metastore o Dataproc Metastore con Hive 4.2 (le query Hive dirette che utilizzano questi metastore non sono supportate).

  • Delta Lake con Hive: Delta Lake 4.x, incluso nella versione immagine di Managed Service for Apache Spark 3.0, non supporta Hive (le query sulle tabelle Delta Lake 4.2 non possono essere eseguite su Hive).

  • Iceberg con Hive: la versione immagine 3.0 di Managed Service for Apache Spark include Hive 4.2, che supporta Iceberg tramite il catalogo REST Iceberg.

  • Cluster GPU: tutte le versioni immagine 3.0, ad eccezione di 3.0-ml-ubuntu, abilitano cgroups V2. Poiché YARN non supporta il rilevamento delle GPU quando cgroups V2 è abilitato, devi utilizzare l'immagine 3.0-ml-ubuntu quando crei cluster con GPU.

Note:

  • La versione 3.0 è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione a vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità della sicurezza più elevati, utilizza la versione immagine 2.3 o successiva quando crei un cluster Managed Service for Apache Spark.

  • Se scegli di installare componenti facoltativi durante la creazione di un cluster Managed Service for Apache Spark con l'immagine 3.0, questi verranno scaricati e installati durante la creazione del cluster. Ciò potrebbe aumentare il tempo di avvio del cluster. Per evitare questo ritardo, puoi creare un'immagine personalizzata con i componenti facoltativi preinstallati. Per farlo, esegui generate_custom_image.py con il flag --optional-components.

  • Nelle immagini 3.0 sono supportati i seguenti componenti facoltativi:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Iceberg
    • Apache Pig
    • Apache Ranger
    • Apache Solr
    • Notebook Apache Zeppelin
    • Apache Zookeeper
    • Delta Lake
    • Docker
    • Notebook JupyterLab
    • Trino
  • yarn.nodemanager.recovery.enabled e l'audit logging HDFS sono abilitati per impostazione predefinita nelle immagini 3.0.

  • Pixi viene installato nell'ambito dell'installazione di Python e viene utilizzato per installare i pacchetti Python anziché Conda.

  • Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, ad esempio l'allocazione di memoria e CPU. Questa modifica influisce sul gestore della scalabilità automatica, che scala in base all'utilizzo delle risorse dominanti del cluster.

  • A partire dalla versione immagine 3.0, quando crei un cluster senza specificare un tipo di macchina per un nodo del cluster, Managed Service for Apache Spark specifica il nodo con un elenco classificato di tipi di macchine VM flessibili, ad esempio un elenco classificato di tipi di macchine delle serie N4, N2 ed E2, con l'elenco ottimizzato per la disponibilità delle risorse.