KI-Infrastruktur planen und erstellen

In diesem Dokument wird zusammengefasst, wie Sie einen Cluster für Ihre KI-Arbeitslasten auf AI Hypercomputer erstellen. In diesem Dokument werden insbesondere die Schritte und Optionen beschrieben, die Sie beim Starten eines Clusters ausführen müssen. Als Alternative zur manuellen Bewertung können Sie Gemini in der Google Cloud Console auffordern, Verbrauchsoptionen für Ihre Arbeitslast und Ihr Budget zu vergleichen. Weitere Informationen finden Sie unter KI-Infrastruktur mit Compute Advisor entwerfen.

In diesem Dokument wird davon ausgegangen, dass Sie mit der gängigen Terminologie für KI- und ML-Arbeitslasten wie Modelltraining und Inferenz vertraut sind. Außerdem wird davon ausgegangen, dass Sie die spezifische KI-Arbeitslast identifiziert haben, für die Sie den optimalen Maschinentyp und die Kapazitätsanforderungen für Ihre Bereitstellung ermitteln müssen, z. B. Vortraining, Feinabstimmung oder Inferenz von Foundation Models.

Cluster starten

Das Starten eines Clusters umfasst die folgenden Schritte:

  1. Arbeitslast bestimmen und Maschinentyp auswählen
  2. Nutzungsoption auswählen und Kapazität erhalten
  3. Bereitstellungsoption auswählen
  4. Orchestrator auswählen
  5. Betriebssystem und Cluster-Image auswählen
  6. Cluster erstellen
  7. Speicher für Ihre Arbeitslast bereitstellen

Arbeitslast bestimmen und Maschinentyp auswählen

Wählen Sie einen Maschinentyp für Ihre KI-Arbeitslast aus. AI Hypercomputer unterstützt die Clustererstellung sowohl für geclusterte GPUs als auch für allgemeine GPUs.

Ermitteln Sie die Anforderungen Ihrer Arbeitslast und vergleichen Sie sie mit dem empfohlenen Maschinentyp und GPU-Typ, um eine Auswahl zu treffen:

  • Geclusterte GPUs: Am besten für umfangreiche, leistungsstarke Arbeitslasten wie das Vortraining von Foundation Models, die Feinabstimmung großer Modelle und die Inferenz über mehrere Hosts hinweg.
  • Allgemeine GPUs: am besten für gängige Inferenz und Bereitstellung, Retrieval-Augmented Generation (RAG) sowie kostengünstiges Training und Feinabstimmung kleiner bis mittlerer Modelle.

In dieser Tabelle können Sie die passende Arbeitslast für den empfohlenen Maschinentyp finden:

GPU-Typ Arbeitslast oder Anwendungsfall Empfohlene Maschinentypen
Geclusterte GPU Vortraining von Foundation Models und Inferenz über mehrere Hosts hinweg A5X (NVIDIA Vera Rubin)*, A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)*
Training, Feinabstimmung und Inferenz großer Modelle A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB)
Inferenz und Feinabstimmung von Mainstream-Modellen A3 Mega (NVIDIA H100 80 GB), A3 High (NVIDIA H100 80 GB)
Allgemeine GPU Edge-Bereitstellung und Inferenz mit hohem Durchsatz A3 Edge (NVIDIA H100 80 GB)
Leistungsstarke Bereitstellung auf einem einzelnen Knoten und Feinabstimmung in kleinem Umfang A2 (NVIDIA A100)
Kostenoptimierte Inferenz für Einsteiger G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 oder V100)
Mainstream-Inferenz, RAG und Training kleiner bis mittelgroßer Modelle G2 (NVIDIA L4)

Ausführliche Informationen zu den einzelnen Maschinenreihen finden Sie unter GPU-Beschleuniger.

Nutzungsoption auswählen und Kapazität erhalten

Wählen Sie eine Nutzungsoption für Ihre GPU-Ressourcen basierend auf dem gewählten Maschinentyp und darauf aus, ob Sie allgemeine GPUs oder geclusterte GPUs verwenden.

Nutzungsoptionen für allgemeine GPUs

Nutzungsoption Verfügbar für Optimal für Art der Beantragung
On demand Alle allgemeinen GPUs. Arbeitslasten, die keine zugesicherte Kapazität erfordern. Erstellen Sie eine Compute-Instanz oder einen Cluster und geben Sie das Standardbereitstellungsmodell an. Eine Anleitung finden Sie unter VM-Instanzen erstellen.

Tipp: Wenn Sie Ihre Chancen auf allgemeine GPU-Kapazität erhöhen möchten, verwenden Sie Flex-Start oder Spot.
Standardreservierungen und vorausschauende Reservierungen Alle allgemeinen GPUs. Arbeitslasten, die entweder sofort (Standardreservierungen) oder für ein bestimmtes zukünftiges Datum (vorausschauende Reservierungen) zugesicherte Kapazität erfordern. Erstellen Sie eine On-Demand-Reservierung oder eine Anfrage für eine vorausschauende Reservierung. Eine Anleitung finden Sie unter Kapazität reservieren.
Flex-Start Alle GPU-Maschinentypen mit Ausnahme von A5X, A4X Max und A4X. Arbeitslasten, die kurzlebige, dichte Cluster erfordern, die bis zu sieben Tage dauern. Bietet eine dichte Ressourcenzuweisung und bis zu 53 % Rabatt auf unterstützte Maschinentypen. Andernfalls gelten die Standard-On-Demand-Preise. Erstellen Sie eine Anfrage mit Compute Engine, Cluster Director, Cluster Toolkit oder GKE. Ressourcen werden bereitgestellt, sobald sie verfügbar sind (Beginn nicht sofort). Eine Anleitung finden Sie unter Kapazität abrufen.
Spot Alle GPU-Maschinentypen außer A5X, A4X Max und A4X. Arbeitslasten, die fehlertolerant, Batch- oder kurzlebig sind. Bietet den größten Rabatt (zwischen 61 % und 90 %), aber die Rechenressourcen können jederzeit vorzeitig beendet werden. Erstellen Sie Instanzen oder Knotenpools sofort mit dem Spot-Bereitstellungsmodell. Eine Anleitung finden Sie unter Kapazität abrufen.

Nutzungsoptionen für geclusterte GPUs

Nutzungsoption Verfügbar für Optimal für Art der Beantragung
Vorausschauende Reservierungen für Kapazitätsblöcke Alle geclusterten GPUs und A3 Edge-Maschinentypen. Arbeitslasten, die über einen längeren Zeitraum Stabilität erfordern, z. B. das Vortraining von Foundation Models oder die Inferenz von Foundation Models über mehrere Hosts hinweg. Diese Reservierungsmethode bietet eine dichte Ressourcenzuweisung und einen optionalen Hyperdisk-Pool sowie Rabatte für vCPUs, Arbeitsspeicher, GPUs, lokale SSD-Laufwerke und Hyperdisk-Pools, wenn Sie Ressourcen für 365 Tage oder länger reservieren. Ressourcen über Ihr Google-Kontoteam für ein zukünftiges Datum und eine zukünftige Uhrzeit sowie für eine Dauer von mindestens 90 Tagen anfordern.
Vorausschauende Reservierungen im Kalendermodus Alle geclusterten GPUs mit Ausnahme von A5X, A4X Max und A4X. Arbeitslasten, die bis zu 90 Tage lang ausgeführt werden und Stabilität erfordern, z. B. Vortraining oder Feinabstimmung von Modellen. Bietet eine dichte Ressourcenzuweisung und einen Rabatt von bis zu 53 %. Erstellen Sie eine Selfservice-Reservierungsanfrage für einen zukünftigen Zeitpunkt. Google Cloud muss die Anfrage genehmigen. Eine Anleitung finden Sie unter Kapazität reservieren.
Flex-Start Alle GPU-Maschinentypen mit Ausnahme von A5X, A4X Max und A4X. Arbeitslasten, die kurzlebige, dichte Cluster erfordern, die bis zu sieben Tage dauern. Bietet eine dichte Ressourcenzuweisung und bis zu 53 % Rabatt auf unterstützte Maschinentypen. Andernfalls gelten die Standard-On-Demand-Preise. Erstellen Sie eine Anfrage mit Compute Engine, Cluster Director, Cluster Toolkit oder GKE. Ressourcen werden bereitgestellt, sobald sie verfügbar sind (Beginn ist nicht sofort). Eine Anleitung finden Sie unter Kapazität abrufen.
Spot Alle GPU-Maschinentypen mit Ausnahme von A5X, A4X Max und A4X. Arbeitslasten, die fehlertolerant, Batch- oder kurzlebig sind. Bietet den größten Rabatt (zwischen 61 % und 90 %), aber die Rechenressourcen können jederzeit vorzeitig beendet werden. Erstellen Sie Instanzen oder Knotenpools sofort mit dem Spot-Bereitstellungsmodell. Eine Anleitung finden Sie unter Kapazität abrufen.

Bereitstellungsoption auswählen

Je nachdem, wie viel Kontrolle Sie über Ihre Clusterbereitstellung benötigen, können Sie zwischen den folgenden Optionen wählen:

Stark verwaltet

Bei stark verwalteten Bereitstellungsoptionen werden die Einrichtung und Orchestrierung Ihrer Rechen-, Netzwerk- und Speicherressourcen automatisiert. Dadurch wird der operative Aufwand für die Clusterverwaltung reduziert. Verwenden Sie Cluster Director, Cluster Toolkit oder GKE, um Ihre Infrastruktur bereitzustellen und zu konfigurieren.

  • Cluster Director: EinGoogle Cloud Produkt, das die komplexe Einrichtung und Konfiguration von Clustern automatisiert. So können Sie Rechen-, Netzwerk- und Speicherressourcen für Ihre Cluster konfigurieren, um die Leistung zu maximieren und Ausfallzeiten zu minimieren. Cluster Director wurde für IT-Administratoren und KI-Forscher entwickelt, die den Aufwand für die Verwaltung eines Clusters vermeiden und sich stattdessen auf die Ausführung ihrer Arbeitslasten konzentrieren möchten.

  • Cluster Toolkit: Ein von Google angebotenes Open-Source-Tool, das die Clusterkonfiguration und -bereitstellung für GKE oder Compute Engine vereinfacht. Sie verwenden vordefinierte Blueprints, um gängige Konfigurationen wie A4-Maschinentypen mit Slurm bereitzustellen. Sie können Blueprints ändern, um Bereitstellungen und Ihren Software-Stack anzupassen.

  • GKE: Ein verwalteter Kubernetes-Dienst und eine Open-Source-Plattform zur Containerorchestrierung. GKE bietet Funktionen wie Autoscaling und Hochverfügbarkeit. Sie kann auch containerisierte Anwendungen orchestrieren, spezielle Hardware unterstützen und ist mit dem Google Cloud-Ökosystem kompatibel. Daher eignet sie sich gut für die Bereitstellung und Verwaltung von KI- oder ML-Arbeitslasten. Sie können GKE-Cluster direkt mit GKE oder mit dem Cluster Toolkit bereitstellen.

Weniger verwaltet, mehr Kontrolle

Wenn Sie eine genauere Kontrolle über Ihre Cluster und die darauf installierte Software wünschen, erstellen Sie einen Compute Engine-Cluster mithilfe von verwalteten Compute Engine-Instanzgruppen (MIGs) oder indem Sie Instanzen im Bulk erstellen. Installieren Sie dann manuell die erforderliche Software auf den Instanzen.

Orchestrator auswählen

Ein Orchestrator automatisiert die Verwaltung Ihrer Cluster. Mit einem Orchestrator müssen Sie nicht jede Compute-Instanz im Cluster verwalten. Ein Orchestrator wie Slurm oder GKE übernimmt Aufgaben wie Jobwarteschlangen, Ressourcenzuweisung, Autoscaling (im Fall von GKE) und andere tägliche Clusterverwaltungsaufgaben.

  • Slurm: Slurm ist ein Open-Source-Orchestrator, der häufig für HPC-, KI- oder ML-Arbeitslasten verwendet wird. Für eine verwaltete Slurm-Umgebung können Sie Cluster Director verwenden. Wenn Sie Slurm nativ verwenden möchten, können Sie das Cluster Toolkit verwenden, das Cluster-Blueprints bietet, die Slurm automatisch auf Ihren Clustern installieren. Alternativ können Sie Slurm manuell auf einem Compute Engine-Cluster installieren.

  • GKE: GKE ist ein verwalteter Dienst, der auf Kubernetes basiert, einer Open-Source-Plattform zur Containerorchestrierung. Die GKE eignet sich ideal für die Bereitstellung und Verwaltung von KI- oder ML-Arbeitslasten, da sie containerisierte Anwendungen orchestrieren kann, spezielle Hardware unterstützt und Teil des Google Cloud-Ökosystems ist. Sie können GKE-Cluster direkt mit GKE oder mit dem Cluster Toolkit bereitstellen.

  • Eigenen Orchestrator verwenden: Wenn Sie andere Orchestratoren verwenden möchten, verwenden Sie Compute Engine-Cluster. Das Erstellen eines Compute Engine-Clusters ist die am wenigsten verwaltete Option, die in Google Cloudangeboten wird. Diese Auswahl bedeutet, dass Sie für die Einrichtung, Wartung und Aktualisierung Ihrer Instanzen verantwortlich sind.

Betriebssystem-Image auswählen

Welches Image Sie verwenden sollten, hängt davon ab, welche GPU-Infrastruktur Sie verwenden (geclusterte GPUs oder allgemeine GPUs) und wie Sie Ihre Cluster bereitstellen möchten (GKE, Slurm oder Compute Engine). Verwenden Sie für GKE-Cluster Container-Optimized OS. Wählen Sie für Compute Engine- und Slurm-Cluster ein Betriebssystem-Image aus, das für Beschleuniger wie GPUs optimiert ist. Außerdem können Sie ein DLSL-Container-Image (Deep Learning Software Layer) für Ihre Arbeitslast auswählen.

Ausführliche Informationen finden Sie unter AI Hypercomputer-Images.

Images für GKE-Cluster

Verwenden Sie zum Erstellen von GKE-Clustern die Standard-Container-Betriebssystem-Images für den Standard- und den Autopilot-Modus. Im Standardmodus können Sie jedoch auch andere verfügbare Images wie Ubuntu verwenden.

Wenn Sie Cluster Toolkit zum Bereitstellen Ihres Clusters verwenden, können Sie nur Container-Betriebssystem-Images verwenden, da diese Images in die Cluster-Blueprints integriert sind. Weitere Informationen zu den einzelnen Knoten-Images finden Sie in der GKE-Dokumentation unter Knoten-Images.

Die GKE bietet auch DLSL-Container-Images (Deep Learning Software Layer), die Pakete wie NVIDIA CUDA und NCCL sowie ML-Frameworks wie PyTorch installieren und eine sofort einsatzbereite Umgebung für Deep-Learning-Arbeitslasten bereitstellen. Diese vordefinierten DLSL-Container-Images wurden getestet und funktionieren nachweislich nahtlos in GKE-Clustern.

Betriebssystem-Images für Compute Engine-Cluster

AI Hypercomputer bietet Images, die für die Ausführung von KI- und ML-Arbeitslasten mit der Compute Engine optimiert sind. Wählen Sie das Betriebssystem aus, mit dem Sie am besten vertraut sind:

  • Rocky Linux 9-Beschleuniger
  • Rocky Linux 8-Beschleuniger
  • Ubuntu 24.04 LTS-Beschleuniger
  • Ubuntu 22.04 LTS-Beschleuniger

Wenn Sie das Cluster Toolkit verwenden, sind diese Beschleuniger-Images bereits in Cluster Toolkit-Blueprints enthalten, da das Cluster Toolkit benutzerdefinierte Images erstellt, die die Ubuntu LTS-Beschleuniger-Betriebssystem-Images erweitern.

Weitere Informationen zu den einzelnen Betriebssystem-Images finden Sie in der Compute Engine-Dokumentation unter Details zu Betriebssystemen.

Cluster erstellen

Nachdem Sie den Prozess zur Clustererstellung überprüft und vorläufige Entscheidungen für Ihre Arbeitslast getroffen haben, erstellen Sie den Cluster mit einer der folgenden Optionen:

Speicher für Ihre Arbeitslast bereitstellen

Wählen Sie basierend auf den Anforderungen an Leistung, Kosten und Speicherarchitektur einen Speicherdienst für die Bereitstellung aus.