Elige tu infraestructura de aceleradores

Usa este documento para identificar la infraestructura de aceleradores óptima para tus cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA) según la etapa del ciclo de vida, como la creación de prototipos a pequeña escala, la inferencia en tiempo real y el entrenamiento distribuido masivo. AI Hypercomputer organiza las ofertas de aceleradores en dos categorías: GPU generales y GPU agrupadas.

Infraestructura de GPU

AI Hypercomputer ofrece dos categorías distintas de GPU. Cada categoría tiene un modelo de administración distinto que determina cómo el sistema controla los eventos del ciclo de vida, administra el mantenimiento y optimiza las redes para tu carga de trabajo:

Modelo general de administración de GPU

El modelo de administración de GPU general está diseñado para cargas de trabajo que priorizan la independencia de recursos y la alta disponibilidad. Este modelo usa el plano de administración estándar de Google Cloud , lo que proporciona una experiencia familiar para los equipos que ya usan Compute Engine o GKE.

  • Mantenimiento: asíncrono. Las instancias individuales se actualizan de forma independiente. En una flota de entrega de varios nodos, un evento de mantenimiento en un nodo no afecta la disponibilidad de otros, lo que permite que el tráfico se redireccione a nodos en buen estado sin detener todo el trabajo.

  • Casos de uso principales: Se recomienda para tareas generales, como la inferencia en tiempo real, la entrega de modelos, la creación de prototipos a pequeña escala y los entornos de desarrollo en los que no se requiere una escala de supercomputación.

Serie de máquinas de GPU de uso general

Las siguientes series de máquinas son GPU de uso general:

  • A3 High con 1, 2 o 4 GPUs
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

Para obtener información técnica sobre cada una de las máquinas de GPU generales, consulta Tipos de máquinas de GPU.

Modelo de administración de GPU agrupadas

El modelo de administración de GPU agrupadas es un entorno de clase de supercomputación diseñado para el entrenamiento distribuido a gran escala. Los recursos se administran como un solo sistema con acoplamiento alto a través de una pila de GPU agrupadas.

  • Mantenimiento: coordinado. Este modelo coordina los eventos de mantenimiento para admitir cargas de trabajo con acoplamiento alto. Para el entrenamiento distribuido, puedes usar el mantenimiento sincronizado, en el que las actualizaciones se aplican en todos los nodos de forma simultánea. Este enfoque evita que los reinicios de nodos detengan los trabajos y maximiza el goodput. Este modelo también ofrece notificaciones de mantenimiento con 90 días de anticipación.

  • Casos de uso principales: Diseñado para entrenar modelos de base a exaescala con billones de parámetros o ejecutar simulaciones complejas de computación de alto rendimiento (HPC), como el descubrimiento de fármacos y el plegamiento de proteínas.

Series de máquinas de GPU agrupadas

Las siguientes series de máquinas son GPU agrupadas:

  • A5X
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High con 8 GPU

Para obtener información técnica sobre cada una de las máquinas con GPU agrupadas, consulta Tipos de máquinas con GPU.

Matriz de capacidades

Compara las características técnicas y operativas de los modelos de administración de GPU generales y de GPU agrupadas:

Característica Modelo general de administración de GPU Modelo de administración de GPU agrupadas
Casos de uso principales Inferencia, entrega de modelos, creación de prototipos y desarrollo Entrenamiento distribuido a gran escala y HPC
Mantenimiento Asíncronas: Las actualizaciones de nodos independientes permiten redireccionar el tráfico sin detener los trabajos. Coordinadas: Admite actualizaciones coordinadas (sincronizadas) en todo el clúster para mantener los nodos sincronizados y maximizar la capacidad de procesamiento útil.
Hardware de destino A3 High (1, 2 o 4 GPUs), A3 Edge, G4, G2, A2, N1+T4 y N1+V100 A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega y A3 High (8 GPUs)
Redes Herramientas de redes de VPC estándar a través de interfaces de gVNIC (con la excepción de A3 Edge, que usa GPUDirect-TCPX en varias VPC) Estructuras especializadas de baja latencia (RDMA, RoCE, TCPX o NVIDIA NVLink)
Pila de administración Plano de Google Cloud estándar (Compute Engine o GKE) Pila de administración especializada (por ejemplo, Cluster Director)
Confiabilidad Reparación automática de nodos de Standard y tiempo de actividad a nivel de Pod Suite especializada de recursos y recuperación

Matriz de decisiones

Usa esta matriz para identificar qué familias de hardware se alinean con tu intención de carga de trabajo específica:

Si tu carga de trabajo involucra… Infraestructura de GPU recomendada Serie de máquinas recomendada
Prototipado y desarrollo GPU generales A3 High (1, 2 o 4 GPUs), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferencia en tiempo real (<100,000 millones de parámetros) GPU generales A3 High (1, 2 o 4 GPUs), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferencia en varias GPU GPU agrupadas A4, A3 Ultra, A3 Mega y A3 High (8 GPUs)
Inferencia y entrenamiento a gran escala GPU agrupadas A4, A3 Ultra, A3 Mega y A3 High (8 GPUs)
Entrenamiento a gran escala (más de 500,000 millones de parámetros) y, también, inferencia desagregada GPU agrupadas A5X, A4X Max, A4X, A4

Para obtener un árbol de decisión detallado que asigne las arquitecturas de modelos directamente al hardware, consulta Elige un acelerador.

Después de establecer estos criterios principales, elige una plataforma de organización. Esta elección depende de la preferencia de tu equipo por la administración automatizada o el control detallado del sistema operativo y los controladores.

¿Qué sigue?