Questo documento riassume come creare un cluster per i workload di AI su AI Hypercomputer. In particolare, questo documento ti guida attraverso il processo e le scelte da fare quando avvii un cluster. In alternativa alla valutazione manuale, puoi chiedere a Gemini nella console Google Cloud di confrontare le opzioni di consumo per il tuo workload e il tuo budget. Per saperne di più, consulta Progetta l'infrastruttura AI con Compute Advisor.
Questo documento presuppone che tu abbia familiarità con la terminologia di uso comune per i workload di AI e ML, come l'addestramento e l'inferenza dei modelli. Si presume inoltre che tu abbia identificato il workload AI specifico per il quale devi determinare il tipo di macchina e le esigenze di capacità ottimali per il tuo deployment, ad esempio pre-addestramento, ottimizzazione o inferenza del foundation model.
Avvia un cluster
L'avvio di un cluster prevede i seguenti passaggi:
- Determina il tuo workload e scegli un tipo di macchina
- Scegli un'opzione di consumo e ottieni la capacità
- Scegli un'opzione di deployment
- Scegli un agente di orchestrazione
- Scegli il sistema operativo e l'immagine del cluster
- Crea il tuo cluster
- Esegui il provisioning dello spazio di archiviazione per il workload
Determina il workload e scegli un tipo di macchina
Seleziona un tipo di macchina per il tuo workload AI. AI Hypercomputer supporta la creazione di cluster sia per GPU cluster che per GPU generiche.
Per aiutarti a scegliere, determina i requisiti del tuo workload e abbinali al tipo di macchina e al tipo di GPU consigliati:
- GPU clusterizzate: ideali per workload su larga scala e ad alte prestazioni, come il pre-addestramento di foundation model, l'ottimizzazione di modelli di grandi dimensioni e l'inferenza su più host.
- GPU per uso generico: ideali per l'inferenza e l'erogazione mainstream, la Retrieval Augmented Generation (RAG) e l'addestramento e l'ottimizzazione di modelli di piccole e medie dimensioni a costi contenuti.
Per abbinare il tuo workload al tipo di macchina consigliato, utilizza questa tabella:
| Tipo di GPU | Workload o caso d'uso | Tipi di macchine consigliati |
|---|---|---|
| GPU cluster | Pre-addestramento dei foundation model e inferenza su più host | A5X (NVIDIA Vera Rubin)*, A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)* |
| Addestramento, ottimizzazione e inferenza di modelli di grandi dimensioni | A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB) | |
| Inferenza e ottimizzazione dei modelli mainstream | A3 Mega (NVIDIA H100 80GB), A3 High (NVIDIA H100 80GB) | |
| GPU generica | Inferenza e distribuzione edge ad alto throughput | A3 Edge (NVIDIA H100 80GB) |
| Pubblicazione su un singolo nodo ad alte prestazioni e ottimizzazione su piccola scala | A2 (NVIDIA A100) | |
| Inferenza entry-level ottimizzata per i costi | G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 o V100) | |
| Inferenza mainstream, RAG e addestramento di modelli di piccole e medie dimensioni | G2 (NVIDIA L4) |
Per informazioni dettagliate su ogni serie di macchine, consulta Informazioni sugli acceleratori GPU.
Scegli un'opzione di consumo e ottieni la capacità
Seleziona un'opzione di consumo per le tue risorse GPU in base al tipo di macchina scelto e all'utilizzo di GPU generiche o GPU cluster.
Opzioni di consumo per le GPU generiche
| Opzione di consumo | Disponibile per | Ideale per | Come fare richiesta |
|---|---|---|---|
| On demand | Tutte le GPU generiche. | Workload che non richiedono capacità garantita. | Crea un'istanza o un cluster di computing e specifica il modello di provisioning standard. Per istruzioni, consulta Crea istanze VM. Suggerimento: per aumentare le probabilità di ottenere capacità GPU generica, utilizza l'avvio flessibile o Spot. |
| Prenotazioni standard e prenotazioni future standard | Tutte le GPU generiche. | Workload che richiedono una capacità garantita immediatamente (prenotazioni standard) o per una data futura specifica (prenotazioni future standard). | Crea una prenotazione on demand o una richiesta di prenotazione futura. Per istruzioni, vedi Prenota capacità. |
| Avvio flessibile | Tutti i tipi di macchine GPU, ad eccezione di A5X, A4X Max e A4X. | Workload che richiedono cluster densi e di breve durata, fino a sette giorni. Offre un'allocazione densa delle risorse e uno sconto fino al 53% sui tipi di macchine supportati; in caso contrario, si applicano le tariffe on demand standard. | Crea una richiesta utilizzando Compute Engine, Cluster Director, Cluster Toolkit o GKE. Il provisioning delle risorse viene eseguito non appena diventano disponibili (l'ora di inizio non è immediata). Per istruzioni, vedi Ottieni capacità. |
| Spot | Tutti i tipi di macchine GPU, ad eccezione di A5X, A4X Max e A4X. | Workload a tolleranza di errore, batch o di breve durata. Offre lo sconto più elevato (tra il 61% e il 90%), ma le risorse di computing possono essere prerilasciate in qualsiasi momento. | Crea istanze o pool di nodi immediatamente utilizzando il modello di provisioning Spot. Per istruzioni, vedi Ottieni capacità. |
Opzioni di consumo per le GPU cluster
| Opzione di consumo | Disponibile per | Ideale per | Come fare richiesta |
|---|---|---|---|
| Prenotazioni future per i blocchi di capacità | Tutte le GPU cluster e i tipi di macchine A3 Edge. | Workload che richiedono stabilità per un periodo di tempo prolungato, come il pre-addestramento dei foundation model o l'inferenza dei foundation model su più host. Questo metodo di prenotazione offre un'allocazione densa delle risorse e un pool Hyperdisk facoltativo, nonché sconti per vCPU, memoria, GPU, dischi SSD locali e pool Hyperdisk se prenoti le risorse per 365 giorni o più. | Richiedi risorse tramite il team degli Account Google per una data e un'ora future e per una durata di almeno 90 giorni. |
| Prenotazioni future in modalità calendario | Tutte le GPU cluster, ad eccezione di A5X, A4X Max e A4X. | Workload che vengono eseguiti per un massimo di 90 giorni e richiedono stabilità, ad esempio modelli di pre-addestramento o ottimizzazione. Offre un'allocazione densa delle risorse e uno sconto fino al 53%. | Crea una richiesta di prenotazione self-service per una data e un'ora future; Google Cloud deve approvare la richiesta. Per istruzioni, consulta Prenota capacità. |
| Avvio flessibile | Tutti i tipi di macchine GPU, ad eccezione di A5X, A4X Max e A4X. | Workload che richiedono cluster densi e di breve durata, fino a sette giorni. Offre un'allocazione densa delle risorse e uno sconto fino al 53% sui tipi di macchine supportati; in caso contrario, si applicano le tariffe on demand standard. | Crea una richiesta utilizzando Compute Engine, Cluster Director, Cluster Toolkit o GKE. Il provisioning delle risorse viene eseguito non appena diventano disponibili (l'ora di inizio non è immediata). Per istruzioni, consulta Ottieni capacità. |
| Spot | Tutti i tipi di macchine GPU, ad eccezione di A5X, A4X Max e A4X. | Workload a tolleranza di errore, batch o di breve durata. Offre lo sconto più elevato (tra il 61% e il 90%), ma le risorse di computing possono essere prerilasciate in qualsiasi momento. | Crea immediatamente istanze o pool di nodi utilizzando il modello di provisioning Spot. Per istruzioni, vedi Ottieni capacità. |
Scegli un'opzione di deployment
A seconda del livello di controllo di cui hai bisogno sul deployment del cluster, scegli tra le seguenti opzioni:
- Deployment altamente gestito: i servizi gestiti automatizzano la configurazione, l'orchestrazione e la configurazione delle risorse di computing, networking e archiviazione.
- Deployment meno gestito, maggiore controllo: crei e gestisci manualmente le VM, gli ambienti personalizzati e i livelli di orchestrazione.
Gestione elevata
Le opzioni di deployment altamente gestite automatizzano la configurazione e l'orchestrazione delle risorse di computing, networking e archiviazione, riducendo l'overhead operativo della gestione dei cluster. Per eseguire il deployment e configurare l'infrastruttura, utilizza Cluster Director, Cluster Toolkit o GKE.
Cluster Director: un prodottoGoogle Cloud che automatizza la configurazione complessa dei cluster, aiutandoti a configurare le risorse di computing, networking e archiviazione per i tuoi cluster in modo da massimizzare le prestazioni e ridurre al minimo i tempi di inattività. Cluster Director è progettato per gli amministratori IT e i ricercatori di AI che vogliono evitare l'overhead della gestione di un cluster e concentrarsi invece sull'esecuzione dei workload.
Cluster Toolkit: uno strumento open source offerto da Google che semplifica la configurazione e il deployment dei cluster per GKE o Compute Engine. Utilizza i blueprint predefiniti per eseguire il deployment di configurazioni comuni, come i tipi di macchine A4 con Slurm. Puoi modificare i progetti per personalizzare i deployment e lo stack software.
GKE: un servizio Kubernetes gestito e una piattaforma di orchestrazione dei container open source. GKE offre funzionalità come la scalabilità automatica e l'alta affidabilità. È anche in grado di orchestrare applicazioni containerizzate, supportare hardware specializzato ed è compatibile con l'ecosistema Google Cloud, il che lo rende adatto al deployment e alla gestione di workload di AI o ML. Puoi eseguire il deployment dei cluster GKE utilizzando GKE direttamente o utilizzando Cluster Toolkit.
Meno gestione, più controllo
Per un controllo più granulare sui cluster e sul software installato, crea un cluster Compute Engine utilizzando i gruppi di istanze gestite (MIG) di Compute Engine o creando istanze in blocco. Poi, installa manualmente il software chiave di cui hai bisogno sulle istanze.
Scegli un agente di orchestrazione
Un agente di orchestrazione automatizza la gestione dei cluster. Con un orchestratore, non devi gestire ogni istanza di computing nel cluster. Un orchestratore, come Slurm o GKE, gestisce attività come la coda dei job, l'allocazione delle risorse, la scalabilità automatica (nel caso di GKE) e altre attività di gestione quotidiana dei cluster.
Slurm: Slurm è un orchestratore open source di uso comune per workload HPC, AI o ML. Per un'esperienza Slurm gestita, puoi utilizzare Cluster Director. Per utilizzare Slurm in modo nativo, puoi utilizzare Cluster Toolkit (che offre blueprint del cluster che installano automaticamente Slurm sui tuoi cluster) o installare manualmente Slurm su un cluster Compute Engine.
GKE: GKE è un servizio gestito basato su Kubernetes, una piattaforma di orchestrazione dei container open source. GKE è ideale per il deployment e la gestione dei workload di AI o ML, grazie alla sua capacità di orchestrare applicazioni containerizzate, al suo supporto di hardware specializzato e alla sua posizione nell'ecosistema Google Cloud. Puoi eseguire il deployment dei cluster GKE utilizzando GKE direttamente o utilizzando Cluster Toolkit.
Utilizza il tuo agente di orchestrazione: per utilizzare altri agenti di orchestrazione, utilizza i cluster Compute Engine. La creazione di un cluster Compute Engine è l'opzione meno gestita offerta su Google Cloud. Questa scelta significa che sei responsabile della configurazione, della manutenzione e dell'aggiornamento delle tue istanze.
Scegli l'immagine del sistema operativo
L'immagine da utilizzare dipende dall'infrastruttura GPU che utilizzi (GPU cluster o GPU generiche) e dal modo in cui prevedi di eseguire il deployment dei cluster (GKE, Slurm o Compute Engine). Per i cluster GKE, utilizza Container-Optimized OS. Per i cluster Compute Engine e Slurm, seleziona un'immagine del sistema operativo ottimizzata per gli acceleratori, ad esempio le GPU. Inoltre, puoi selezionare un'immagine container Deep Learning Software Layer (DLSL) per il tuo workload.
Per informazioni dettagliate, consulta Immagini di AI Hypercomputer.
Immagini per i cluster GKE
Per creare cluster GKE, utilizza le immagini sistema operativo container predefinite per le modalità Standard e Autopilot. Tuttavia, in modalità Standard, puoi anche scegliere di utilizzare altre immagini disponibili, come Ubuntu.
Se utilizzi Cluster Toolkit per eseguire il deployment del cluster, puoi utilizzare solo immagini sistema operativo container, poiché si tratta delle immagini integrate nei blueprint del cluster. Per ulteriori informazioni su ogni immagine nodo, consulta Immagini nodo nella documentazione di GKE.
GKE offre anche immagini container Deep Learning Software Layer (DLSL) che installano pacchetti come NVIDIA CUDA e NCCL, nonché framework ML come PyTorch, fornendo un ambiente pronto all'uso per i workload di deep learning. Queste immagini container DLSL predefinite sono testate e verificate per funzionare senza problemi sui cluster GKE.
Immagini sistema operativo per i cluster Compute Engine
AI Hypercomputer offre immagini ottimizzate per l'esecuzione di workload di AI e ML utilizzando Compute Engine. Scegli il sistema operativo che conosci meglio:
- Acceleratore Rocky Linux 9
- Acceleratore Rocky Linux 8
- Ubuntu 24.04 LTS Accelerator
- Ubuntu 22.04 LTS accelerator
Se utilizzi Cluster Toolkit, queste immagini acceleratore sono già incluse nei blueprint di Cluster Toolkit, perché Cluster Toolkit crea immagini personalizzate che estendono le immagini sistema operativo Ubuntu LTS Accelerator.
Per saperne di più su ogni immagine sistema operativo, consulta Dettagli del sistema operativo nella documentazione di Compute Engine.
Crea il cluster
Dopo aver esaminato il processo di creazione del cluster e preso decisioni preliminari per il tuo workload, crea il cluster utilizzando una di queste opzioni:
- Crea un cluster GKE:
- Crea un cluster Slurm:
- Crea istanze VM (singole, in blocco o MIG)
Esegui il provisioning dello spazio di archiviazione per il tuo workload
Scegli un servizio di archiviazione di cui eseguire il provisioning in base ai requisiti di prestazioni, costi e architettura di archiviazione.