Planifier et créer votre infrastructure d'IA

Ce document explique comment créer un cluster pour vos charges de travail d'IA sur AI Hypercomputer. Plus précisément, ce document vous guide tout au long du processus et des choix à faire lorsque vous démarrez un cluster. Au lieu d'effectuer une évaluation manuelle, vous pouvez demander à Gemini dans la console Google Cloud de comparer les options de consommation pour votre charge de travail et votre budget. Pour en savoir plus, consultez Concevoir une infrastructure d'IA avec Compute Advisor.

Dans ce document, nous partons du principe que vous connaissez la terminologie couramment utilisée pour les charges de travail d'IA et de ML, comme l'entraînement et l'inférence de modèles. Il suppose également que vous avez identifié la charge de travail d'IA spécifique pour laquelle vous devez déterminer le type de machine et les besoins en capacité optimaux pour votre déploiement (par exemple, le pré-entraînement, l'affinage ou l'inférence d'un modèle de fondation).

Démarrer un cluster

Le démarrage d'un cluster implique les étapes suivantes :

  1. Déterminer votre charge de travail et choisir un type de machine
  2. Choisir une option de consommation et obtenir de la capacité
  3. Choisir une option de déploiement
  4. Choisir un outil d'orchestration
  5. Choisir le système d'exploitation et l'image de cluster
  6. Créer votre cluster
  7. Provisionner l'espace de stockage pour votre charge de travail

Déterminer votre charge de travail et choisir un type de machine

Sélectionnez un type de machine pour votre charge de travail d'IA. AI Hypercomputer permet de créer des clusters pour les GPU en cluster et les GPU généraux.

Pour vous aider à choisir, déterminez les exigences de votre charge de travail et associez-les au type de machine et au type de GPU recommandés :

  • GPU en cluster : idéal pour les charges de travail hautes performances à grande échelle, telles que le pré-entraînement de modèles de fondation, l'affinage de grands modèles et l'inférence sur plusieurs hôtes.
  • GPU généraux : parfaits pour l'inférence et la mise en service standards, la génération augmentée par récupération (RAG), ainsi que l'entraînement et l'affinage économiques de modèles de petite et moyenne taille.

Pour faire correspondre votre charge de travail au type de machine recommandé, utilisez ce tableau :

GPU type Charge de travail ou cas d'utilisation Types de machines recommandés
GPU en cluster Pré-entraînement des modèles de fondation et inférence sur plusieurs hôtes A5X (NVIDIA Vera Rubin)*, A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)*
Entraînement, affinage et inférence de modèles volumineux A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 Go)
Inférence et affinage de modèles traditionnels A3 Mega (NVIDIA H100 80 Go), A3 High (NVIDIA H100 80 Go)
GPU général Diffusion et inférence en périphérie à haut débit A3 Edge (NVIDIA H100 80 Go)
Diffusion à nœud unique hautes performances et réglage à petite échelle A2 (NVIDIA A100)
Inférence d'entrée de gamme à coût maîtrisé G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 ou V100)
Inférence traditionnelle, RAG et entraînement de modèles de petite à moyenne taille G2 (NVIDIA L4)

Pour en savoir plus sur chaque série de machines, consultez À propos des accélérateurs GPU.

Choisir une option de consommation et obtenir de la capacité

Sélectionnez une option de consommation pour vos ressources GPU en fonction du type de machine choisi et de l'utilisation de GPU généraux ou de GPU en cluster.

Options de consommation pour les GPU généraux

Option d'utilisation Disponible pour Application idéale Comment faire une demande
À la demande Tous les GPU généraux. Charges de travail ne nécessitant pas de capacité garantie. Créez une instance ou un cluster de calcul, puis spécifiez le modèle de provisionnement standard. Pour obtenir des instructions, consultez Créer des instances de VM.

Conseil : Pour augmenter vos chances d'obtenir une capacité de GPU générale, utilisez le démarrage flexible ou Spot.
Réservations standards et réservations futures standards Tous les GPU généraux. Charges de travail qui nécessitent une capacité garantie immédiatement (réservations standards) ou pour une date future spécifique (réservations futures standards). Créez une réservation à la demande ou une requête de réservation future. Pour obtenir des instructions, consultez Réserver de la capacité.
Démarrage flexible Tous les types de machines GPU, à l'exception de A5X, A4X Max et A4X. Charges de travail nécessitant des clusters denses à courte durée de vie (jusqu'à sept jours). Offre une allocation dense des ressources et jusqu'à 53 % de remise sur les types de machines compatibles. Sinon, les tarifs standards à la demande s'appliquent. Créez une requête à l'aide de Compute Engine, Cluster Director, Cluster Toolkit ou GKE. Les ressources sont provisionnées dès qu'elles sont disponibles (l'heure de début n'est pas immédiate). Pour obtenir des instructions, consultez Obtenir de la capacité.
Spot Tous les types de machines GPU, à l'exception de A5X, A4X Max et A4X. Charges de travail tolérantes aux pannes, par lot ou de courte durée. Offre la remise la plus importante (entre 61 % et 90 %), mais les ressources de calcul peuvent être préemptées à tout moment. Créez immédiatement des instances ou des pools de nœuds à l'aide du modèle de provisionnement Spot. Pour obtenir des instructions, consultez Obtenir de la capacité.

Options de consommation pour les GPU en cluster

Option d'utilisation Disponible pour Application idéale Comment faire une demande
Réservations futures pour les blocs de capacité Tous les GPU en cluster et les types de machines A3 Edge. Charges de travail nécessitant une stabilité sur une période prolongée, telles que le pré-entraînement de modèles de fondation ou l'inférence de modèles de fondation sur plusieurs hôtes. Cette méthode de réservation offre une allocation dense des ressources et un pool Hyperdisk facultatif, ainsi que des remises sur les vCPU, la mémoire, les GPU, les disques SSD locaux et les pools Hyperdisk si vous réservez des ressources pour 365 jours ou plus. Demandez des ressources par l'intermédiaire de l'équipe chargée de votre compte Google pour une date et une heure futures, et pour une durée de 90 jours ou plus.
Réservations futures en mode Agenda Tous les GPU en cluster, à l'exception des GPU A5X, A4X Max et A4X. Charges de travail qui s'exécutent pendant 90 jours maximum et nécessitent de la stabilité, comme le pré-entraînement ou l'affinage des modèles. Offre une allocation dense des ressources et jusqu'à 53 % de remise. Créez une demande de réservation en libre-service à une date et une heure ultérieures. Google Cloud doit approuver la demande. Pour obtenir des instructions, consultez Réserver de la capacité.
Démarrage flexible Tous les types de machines GPU, à l'exception de A5X, A4X Max et A4X. Charges de travail nécessitant des clusters denses à courte durée de vie (jusqu'à sept jours). Offre une allocation dense des ressources et jusqu'à 53 % de remise sur les types de machines compatibles. Sinon, les tarifs standards à la demande s'appliquent. Créez une requête à l'aide de Compute Engine, Cluster Director, Cluster Toolkit ou GKE. Les ressources sont provisionnées dès qu'elles sont disponibles (l'heure de début n'est pas immédiate). Pour obtenir des instructions, consultez Obtenir de la capacité.
Spot Tous les types de machines GPU, à l'exception de A5X, A4X Max et A4X. Charges de travail tolérantes aux pannes, par lot ou de courte durée. Offre la remise la plus importante (entre 61 % et 90 %), mais les ressources de calcul peuvent être préemptées à tout moment. Créez immédiatement des instances ou des pools de nœuds à l'aide du modèle de provisionnement Spot. Pour obtenir des instructions, consultez Obtenir de la capacité.

Choisir une option de déploiement

Selon le niveau de contrôle dont vous avez besoin sur le déploiement de votre cluster, choisissez l'une des options suivantes :

Hautement géré

Les options de déploiement hautement gérées automatisent la configuration et l'orchestration de vos ressources de calcul, de mise en réseau et de stockage, ce qui réduit la charge opérationnelle liée à la gestion des clusters. Pour déployer et configurer votre infrastructure, utilisez Cluster Director, Cluster Toolkit ou GKE.

  • Cluster Director : produitGoogle Cloud qui automatise la configuration complexe des clusters. Cette solution vous aide à configurer les ressources de calcul, de réseau et de stockage de vos clusters pour maximiser les performances et réduire les temps d'arrêt. Cluster Director est conçu pour les administrateurs informatiques et les chercheurs en IA qui souhaitent éviter la surcharge liée à la gestion d'un cluster et se concentrer sur l'exécution de leurs charges de travail.

  • Cluster Toolkit : outil Open Source proposé par Google qui simplifie la configuration et le déploiement de clusters pour GKE ou Compute Engine. Vous utilisez des plans prédéfinis pour déployer des configurations courantes, telles que les types de machines A4 avec Slurm. Vous pouvez modifier les plans pour personnaliser les déploiements et votre pile logicielle.

  • GKE : service Kubernetes géré et plate-forme d'orchestration de conteneurs Open Source. GKE offre des fonctionnalités telles que l'autoscaling et la haute disponibilité. Il est également capable d'orchestrer des applications conteneurisées, d'assurer la compatibilité avec du matériel spécialisé et d'être compatible avec l'écosystème Google Cloud, ce qui le rend idéal pour déployer et gérer des charges de travail d'IA ou de ML. Vous pouvez déployer des clusters GKE en utilisant GKE directement ou en utilisant Cluster Toolkit.

Moins de gestion, plus de contrôle

Pour un contrôle plus précis de vos clusters et des logiciels qui y sont installés, créez un cluster Compute Engine à l'aide de groupes d'instances gérés (MIG) Compute Engine ou en créant des instances de manière groupée. Ensuite, installez manuellement tous les logiciels clés dont vous avez besoin sur les instances.

Choisir un outil d'orchestration

Un outil d'orchestration automatise la gestion de vos clusters. Avec un orchestrateur, vous n'avez pas besoin de gérer chaque instance de calcul du cluster. Un outil d'orchestration, tel que Slurm ou GKE, gère des tâches telles que la mise en file d'attente des jobs, l'allocation des ressources, l'autoscaling (dans le cas de GKE) et d'autres tâches de gestion quotidienne des clusters.

  • Slurm : Slurm est un orchestrateur Open Source couramment utilisé pour les charges de travail HPC, d'IA ou de ML. Pour une expérience Slurm gérée, vous pouvez utiliser Cluster Director. Pour utiliser Slurm de manière native, vous pouvez utiliser Cluster Toolkit (qui propose des plans de cluster qui installent automatiquement Slurm sur vos clusters) ou installer manuellement Slurm sur un cluster Compute Engine.

  • GKE : GKE est un service géré basé sur Kubernetes, une plate-forme d'orchestration de conteneurs Open Source. GKE est idéal pour déployer et gérer des charges de travail d'IA ou de ML, car il permet d'orchestrer des applications conteneurisées, d'utiliser du matériel spécialisé et de s'intégrer à l'écosystème Google Cloud. Vous pouvez déployer des clusters GKE en utilisant GKE directement ou en utilisant Cluster Toolkit.

  • Utilisation de votre propre outil d'orchestration : pour utiliser d'autres outils d'orchestration, utilisez des clusters Compute Engine. La création d'un cluster Compute Engine est l'option la moins gérée proposée sur Google Cloud. Ce choix signifie que vous êtes responsable de la configuration, de la maintenance et de la mise à jour de vos instances.

Choisir l'image du système d'exploitation

L'image à utiliser dépend de l'infrastructure de GPU que vous utilisez (GPU en cluster ou GPU généraux) et de la manière dont vous prévoyez de déployer vos clusters (GKE, Slurm ou Compute Engine). Pour les clusters GKE, utilisez Container-Optimized OS. Pour les clusters Compute Engine et Slurm, sélectionnez une image de système d'exploitation optimisée pour les accélérateurs, tels que les GPU. Vous pouvez également sélectionner une image de conteneur DLSL (Deep Learning Software Layer) pour votre charge de travail.

Pour en savoir plus, consultez Images AI Hypercomputer.

Images pour les clusters GKE

Pour créer des clusters GKE, utilisez les images d'OS de conteneur par défaut pour les modes Standard et Autopilot. Toutefois, en mode Standard, vous pouvez également choisir d'utiliser d'autres images disponibles, comme Ubuntu.

Si vous utilisez Cluster Toolkit pour déployer votre cluster, vous ne pouvez utiliser que des images d'OS de conteneur, car ce sont les images intégrées aux plans de cluster. Pour en savoir plus sur chaque image de nœud, consultez Images de nœuds dans la documentation GKE.

GKE propose également des images de conteneurs DLSL (Deep Learning Software Layer) qui installent des packages tels que NVIDIA CUDA et NCCL, ainsi que des frameworks de ML comme PyTorch, fournissant un environnement prêt à l'emploi pour les charges de travail de deep learning. Ces images de conteneurs DLSL prédéfinies sont testées et vérifiées pour fonctionner de manière fluide sur les clusters GKE.

Images de l'OS pour les clusters Compute Engine

AI Hypercomputer propose des images optimisées pour l'exécution de charges de travail d'IA et de ML à l'aide de Compute Engine. Choisissez l'OS que vous connaissez le mieux :

  • Accélérateur Rocky Linux 9
  • Rocky Linux 8 Accelerator
  • Accélérateur Ubuntu 24.04 LTS
  • Accélérateur Ubuntu 22.04 LTS

Si vous utilisez Cluster Toolkit, ces images d'accélérateur sont déjà incluses dans les plans Cluster Toolkit, car Cluster Toolkit crée des images personnalisées qui étendent les images d'OS d'accélérateur Ubuntu LTS.

Pour en savoir plus sur chaque image d'OS, consultez Détails des systèmes d'exploitation dans la documentation Compute Engine.

Créer votre cluster

Après avoir examiné le processus de création de cluster et pris des décisions préliminaires pour votre charge de travail, créez votre cluster à l'aide de l'une des options suivantes :

Provisionner l'espace de stockage pour votre charge de travail

Choisissez un service de stockage à provisionner en fonction des exigences de performances, de coût et d'architecture de stockage.