En este documento, se resume cómo crear un clúster para tus cargas de trabajo de IA en AI Hypercomputer. En particular, este documento te guía por el proceso y las opciones que debes elegir cuando inicias un clúster. Como alternativa a la evaluación manual, puedes pedirle a Gemini en la consola de Google Cloud que compare las opciones de consumo para tu carga de trabajo y presupuesto. Para obtener más información, consulta Diseña una infraestructura de IA con Compute Advisor.
En este documento, se supone que estás familiarizado con la terminología de uso frecuente para las cargas de trabajo de IA y AA, como el entrenamiento y la inferencia de modelos. También se supone que identificaste la carga de trabajo de IA específica para la que necesitas determinar el tipo de máquina óptimo y las necesidades de capacidad para tu implementación, por ejemplo, el entrenamiento previo, el ajuste o la inferencia del modelo de base.
Iniciar un clúster
Para iniciar un clúster, sigue estos pasos:
- Determina tu carga de trabajo y elige un tipo de máquina
- Elige una opción de consumo y obtén capacidad
- Elige una opción de implementación
- Elige un organizador
- Elige el sistema operativo y la imagen del clúster
- Crea tu clúster
- Aprovisiona almacenamiento para tu carga de trabajo
Determina tu carga de trabajo y elige un tipo de máquina
Selecciona un tipo de máquina para tu carga de trabajo de IA. AI Hypercomputer admite la creación de clústeres para GPU agrupadas y GPU generales.
Para ayudarte a elegir, determina los requisitos de tu carga de trabajo y haz que coincidan con el tipo de máquina y el tipo de GPU recomendados:
- GPU agrupadas: Son ideales para cargas de trabajo de alto rendimiento y a gran escala, como el entrenamiento previo de modelos de base, el ajuste de modelos grandes y la inferencia en varios hosts.
- GPU de uso general: Son ideales para la inferencia y la entrega convencionales, la generación aumentada por recuperación (RAG) y el entrenamiento y el ajuste rentables de modelos pequeños a medianos.
Para hacer coincidir tu carga de trabajo con el tipo de máquina recomendado, usa esta tabla:
| Tipo de GPU | Carga de trabajo o caso de uso | Tipos de máquinas recomendados |
|---|---|---|
| GPU agrupadas | Entrenamiento previo de modelos de base e inferencia en varios hosts | A5X (NVIDIA Vera Rubin)*, A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)* |
| Entrenamiento, ajuste preciso e inferencia de modelos grandes | A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 de 141 GB) | |
| Inferencia y ajuste de modelos convencionales | A3 Mega (NVIDIA H100 de 80 GB), A3 High (NVIDIA H100 de 80 GB) | |
| GPU general | Inferencia y entrega perimetral de alta capacidad de procesamiento | A3 Edge (NVIDIA H100 de 80 GB) |
| Entrega de nodo único de alto rendimiento y ajuste de precisión a pequeña escala | A2 (NVIDIA A100) | |
| Inferencia de nivel de entrada con optimización de costos | G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 o V100) | |
| Inferencia convencional, RAG y entrenamiento de modelos pequeños a medianos | G2 (NVIDIA L4) |
Para obtener información detallada sobre cada serie de máquinas, consulta Acerca de los aceleradores de GPU.
Elige una opción de consumo y obtén capacidad
Selecciona una opción de consumo para tus recursos de GPU según el tipo de máquina que elijas y si usas GPU generales o GPU agrupadas.
Opciones de consumo para las GPU generales
| Opción de consumo | Disponible para | Ideal para | Cómo hacer una solicitud |
|---|---|---|---|
| A pedido | Todas las GPU generales. | Cargas de trabajo que no requieren capacidad garantizada | Crea una instancia o un clúster de procesamiento y especifica el modelo de aprovisionamiento estándar. Para obtener instrucciones, consulta Crea instancias de VM. Sugerencia: Para aumentar tus posibilidades de obtener capacidad de GPU general, usa inicio flexible o Spot. |
| Reservas estándar y reservas futuras estándar | Todas las GPU generales. | Cargas de trabajo que requieren capacidad garantizada de inmediato (reservas estándar) o para una fecha futura específica (reservas futuras estándar). | Crea una reserva según demanda o una solicitud de reserva futura. Para obtener instrucciones, consulta Reserva capacidad. |
| Inicio flexible | Todos los tipos de máquinas con GPU, excepto A5X, A4X Max y A4X. | Cargas de trabajo que requieren clústeres densos y de corta duración que duren hasta siete días. Ofrece una asignación de recursos densa y hasta un 53% de descuento en los tipos de máquinas compatibles. De lo contrario, se aplican las tarifas estándar a pedido. | Crea una solicitud con Compute Engine, Cluster Director, Cluster Toolkit o GKE. Los recursos se aprovisionan en cuanto están disponibles (la hora de inicio no es inmediata). Para obtener instrucciones, consulta Obtén capacidad. |
| Spot | Todos los tipos de máquinas con GPU, excepto A5X, A4X Max y A4X. | Cargas de trabajo tolerantes a errores, por lotes o de corta duración Ofrece el descuento más grande (entre un 61% y un 90%), pero los recursos de procesamiento se pueden interrumpir en cualquier momento. | Crea instancias o grupos de nodos de inmediato con el modelo de aprovisionamiento Spot. Para obtener instrucciones, consulta Obtén capacidad. |
Opciones de consumo para las GPU agrupadas
| Opción de consumo | Disponible para | Ideal para | Cómo hacer una solicitud |
|---|---|---|---|
| Reservas futuras para bloques de capacidad | Todas las GPU agrupadas y los tipos de máquinas A3 Edge. | Cargas de trabajo que requieren estabilidad durante un período prolongado, como el entrenamiento previo de modelos de base o la inferencia de modelos de base en varios hosts. Este método de reserva ofrece una asignación de recursos densa y un grupo de Hyperdisk opcional, así como descuentos para CPU virtuales, memoria, GPU, discos SSD locales y grupos de Hyperdisk si reservas recursos por 365 días o más. | Solicita recursos a través de tu equipo de Cuentas de Google para una fecha y hora futuras, y por una duración de 90 días o más. |
| Reservas futuras en modo Calendario | Todas las GPU agrupadas, excepto A5X, A4X Max y A4X. | Cargas de trabajo que se ejecutan durante un máximo de 90 días y requieren estabilidad, como el entrenamiento previo o el ajuste de modelos. Ofrece una asignación de recursos densa y hasta un 53% de descuento. | Crea una solicitud de reserva de autoservicio para una fecha y hora futuras. Google Cloud debe aprobar la solicitud. Para obtener instrucciones, consulta Reserva capacidad. |
| Inicio flexible | Todos los tipos de máquinas de GPU, excepto A5X, A4X Max y A4X. | Cargas de trabajo que requieren clústeres densos y de corta duración que duren hasta siete días Ofrece una asignación de recursos densa y hasta un 53% de descuento en los tipos de máquinas compatibles; de lo contrario, se aplican las tarifas estándar según demanda. | Crea una solicitud con Compute Engine, Cluster Director, Cluster Toolkit o GKE. Los recursos se aprovisionan en cuanto están disponibles (la hora de inicio no es inmediata). Para obtener instrucciones, consulta Obtén capacidad. |
| Spot | Todos los tipos de máquinas con GPU, excepto A5X, A4X Max y A4X. | Cargas de trabajo tolerantes a errores, por lotes o de corta duración Ofrece el descuento más grande (entre el 61% y el 90%), pero los recursos de procesamiento se pueden interrumpir en cualquier momento. | Crea instancias o grupos de nodos de inmediato con el modelo de aprovisionamiento Spot. Para obtener instrucciones, consulta Obtén capacidad. |
Elige una opción de implementación
Según el nivel de control que necesites sobre la implementación del clúster, elige entre las siguientes opciones:
- Implementación altamente administrada: Los servicios administrados automatizan la configuración, la organización y la configuración de tus recursos de procesamiento, redes y almacenamiento.
- Implementación menos administrada y con más control: Creas y administras manualmente tus VMs, entornos personalizados y capas de organización.
Altamente administrado
Las opciones de implementación altamente administradas automatizan la configuración y la organización de tus recursos de procesamiento, redes y almacenamiento, lo que reduce la sobrecarga operativa de la administración de clústeres. Para implementar y configurar tu infraestructura, usa Cluster Director, Cluster Toolkit o GKE.
Cluster Director: Es un producto deGoogle Cloud que automatiza la compleja configuración de los clústeres, lo que te ayuda a configurar los recursos de procesamiento, redes y almacenamiento para tus clústeres y, así, maximizar el rendimiento y minimizar los tiempos de inactividad. Cluster Director está diseñado para administradores de TI y investigadores de IA que desean evitar la sobrecarga de administrar un clúster y, en su lugar, enfocarse en ejecutar sus cargas de trabajo.
Cluster Toolkit: Es una herramienta de código abierto que ofrece Google y que simplifica la configuración y la implementación de clústeres para GKE o Compute Engine. Usas blueprints predefinidos para implementar configuraciones comunes, como los tipos de máquinas A4 con Slurm. Puedes modificar los planos para personalizar las implementaciones y tu pila de software.
GKE: Es un servicio de Kubernetes administrado y una plataforma de organización de contenedores de código abierto. GKE ofrece funciones como el ajuste de escala automático y la alta disponibilidad. También puede organizar aplicaciones alojadas en contenedores, admitir hardware especializado y es compatible con el ecosistema de Google Cloud, lo que lo hace ideal para implementar y administrar cargas de trabajo de IA o AA. Puedes implementar clústeres de GKE con GKE directamente o con Cluster Toolkit.
Menos administrado, más control
Para tener un control más detallado de tus clústeres y del software instalado en ellos, crea un clúster de Compute Engine con grupos de instancias administrados (MIG) de Compute Engine o creando instancias de forma masiva. Luego, instala de forma manual el software clave que necesites en las instancias.
Elige un organizador
Un organizador automatiza la administración de tus clústeres. Con un organizador, no tienes que administrar cada instancia de procesamiento del clúster. Un organizador, como Slurm o GKE, controla tareas como la puesta en cola de trabajos, la asignación de recursos, el ajuste de escala automático (en el caso de GKE) y otras tareas diarias de administración de clústeres.
Slurm: Slurm es un organizador de código abierto que se usa de uso frecuente para cargas de trabajo de HPC, IA o AA. Para obtener una experiencia de Slurm administrada, puedes usar Cluster Director. Para usar Slurm de forma nativa, puedes usar Cluster Toolkit (que ofrece esquemas de clústeres que instalan Slurm automáticamente en tus clústeres) o puedes instalar Slurm de forma manual en un clúster de Compute Engine.
GKE: GKE es un servicio administrado que se compila sobre Kubernetes, una plataforma de organización de contenedores de código abierto. GKE es ideal para implementar y administrar cargas de trabajo de IA o AA, debido a su capacidad de organizar aplicaciones alojadas en contenedores, su compatibilidad con hardware especializado y su lugar en el ecosistema de Google Cloud. Puedes implementar clústeres de GKE con GKE directamente o con Cluster Toolkit.
Organizador provisto por el usuario: Para usar otros organizadores, usa clústeres de Compute Engine. Crear un clúster de Compute Engine es la opción menos administrada que se ofrece en Google Cloud. Esta opción significa que eres responsable de configurar, mantener y actualizar tus instancias.
Elige la imagen del sistema operativo
La imagen que debes usar depende de la infraestructura de GPU que uses (GPU agrupadas o GPU generales) y de cómo planeas implementar tus clústeres (GKE, Slurm o Compute Engine). Para los clústeres de GKE, usa Container-Optimized OS. Para los clústeres de Compute Engine y Slurm, selecciona una imagen del sistema operativo optimizada para aceleradores, como las GPU. Además, puedes seleccionar una imagen de contenedor de capa de software de aprendizaje profundo (DLSL) para tu carga de trabajo.
Para obtener información detallada, consulta las imágenes de AI Hypercomputer.
Imágenes para clústeres de GKE
Para crear clústeres de GKE, usa las imágenes de SO de contenedor predeterminadas para los modos Standard y Autopilot. Sin embargo, en el modo Estándar, también puedes elegir usar otras imágenes disponibles, como Ubuntu.
Si usas Cluster Toolkit para implementar tu clúster, solo puedes usar imágenes de SO de contenedor, ya que estas son las imágenes integradas en los esquemas del clúster. Para obtener más información sobre cada imagen de nodo, consulta Imágenes de nodo en la documentación de GKE.
GKE también ofrece imágenes de contenedor con capa de software de aprendizaje profundo (DLSL) que instalan paquetes como CUDA de NVIDIA y NCCL, así como frameworks de AA como PyTorch, lo que proporciona un entorno listo para usar para las cargas de trabajo de aprendizaje profundo. Estas imágenes de contenedor de DLSL precompiladas se prueban y verifican para que funcionen sin problemas en los clústeres de GKE.
Imágenes de SO para clústeres de Compute Engine
AI Hypercomputer ofrece imágenes optimizadas para ejecutar cargas de trabajo de IA y AA con Compute Engine. Elige el SO con el que tengas más familiaridad:
- Acelerador con Rocky Linux 9
- Acelerador con Rocky Linux 8
- Acelerador con Ubuntu 24.04 LTS
- Acelerador con Ubuntu 22.04 LTS
Si usas Cluster Toolkit, estas imágenes de aceleradores ya están empaquetadas en las plantillas de Cluster Toolkit, ya que Cluster Toolkit crea imágenes personalizadas que extienden las imágenes de SO del acelerador con Ubuntu LTS.
Para obtener más información sobre cada imagen de SO, consulta Detalles del sistema operativo en la documentación de Compute Engine.
Cree su clúster
Después de revisar el proceso de creación del clúster y tomar decisiones preliminares para tu carga de trabajo, crea el clúster con una de estas opciones:
- Crea un clúster de GKE:
- Crea un clúster de Slurm:
- Crea instancias de VM (individuales, masivas o MIG)
Aprovisiona almacenamiento para tu carga de trabajo
Elige un servicio de almacenamiento para aprovisionar, según los requisitos de rendimiento, costo y arquitectura de almacenamiento.