Documentación de la organización de IA/AA en Cloud Run

Leer la documentación del producto

Cloud Run es una plataforma completamente administrada que te permite ejecutar tus aplicaciones alojadas en contenedores, incluidas las cargas de trabajo de IA y ML, directamente en la infraestructura escalable de Google. Administra la infraestructura por ti, para que puedas enfocarte en escribir tu código en lugar de dedicar tiempo a operar, configurar y escalar tus recursos de Cloud Run. Las capacidades de Cloud Run proporcionan lo siguiente:

  • Aceleradores de hardware: Accede a las GPU y adminístralas para realizar inferencias a gran escala.
  • Compatibilidad con frameworks: Se integra en los frameworks de entrega de modelos que ya conoces y en los que confías, como Hugging Face, TGI y vLLM.
  • Plataforma administrada: Obtén todos los beneficios de una plataforma administrada para automatizar, escalar y mejorar la seguridad de todo tu ciclo de vida de IA/AA, a la vez que mantienes la flexibilidad.

Explora nuestros instructivos y prácticas recomendadas para ver cómo Cloud Run puede optimizar tus cargas de trabajo de IA y AA.

Comenzar gratis
  • Desarrolla con nuestros modelos y herramientas de IA generativa más recientes.
  • Usa de manera gratuita más de 20 productos populares, incluidos Compute Engine y las APIs de IA.
  • No tendrás cargos automáticos ni compromisos.
Consultar las ofertas de productos gratuitos

Sigue explorando con más de 20 productos siempre gratuitos.

Accede a más de 20 productos gratuitos para casos de uso comunes, incluidas las APIs de IA, las VMs, los almacenes de datos y mucho más.

Recursos de documentación

Encuentra guías de inicio rápido y otras guías, revisa las referencias clave y obtén ayuda con problemas habituales.
Explora la capacitación de autoaprendizaje, los casos de uso, las arquitecturas de referencia y las muestras de código con ejemplos de cómo usar y conectar los servicios de Google Cloud .
Caso de uso
Casos de uso

Ejecuta código no confiable generado por IA de forma segura implementando zonas de pruebas de Cloud Run que ejecutan entornos de ejecución dentro de contenedores aislados basados en gVisor.

Seguridad Zonas de pruebas Ejecución de código de IA

Caso de uso
Casos de uso

Optimiza la latencia de inicio en frío para la inferencia de LLM alojada en contenedores en Cloud Run con los parámetros de configuración sin servidores y el ajuste del patrón de diseño de la arquitectura.

Inicios en frío Latencia Optimización LLM

Caso de uso
Casos de uso

Configurar y aplicar reglas de autorización del Protocolo de contexto del modelo (MCP) para proteger la conectividad de herramientas remotas para los agentes de IA implementados en Cloud Run

Seguridad MCP Agentes

Caso de uso
Casos de uso

Implementa aplicaciones de pila completa en Cloud Run directamente desde el modo de compilación de Google AI Studio con compatibilidad integrada para copias de seguridad de Firebase y Cloud SQL.

AI Studio Firebase Cloud SQL vibe coding

Caso de uso
Casos de uso

Usa las GPU NVIDIA L4 en Cloud Run para la inferencia de IA en tiempo real, incluidos los beneficios de inicio en frío rápido y reducción de escala a cero para los modelos de lenguaje grandes (LLM).

GPU LLM

Caso de uso
Casos de uso

Aprende a usar Cloud Run para aplicaciones de IA listas para producción. En esta guía, se describen casos de uso, como la división del tráfico para las instrucciones de pruebas A/B, los patrones de RAG (generación aumentada por recuperación) y la conectividad con almacenes de vectores.

Aplicaciones de IA División del tráfico para pruebas A/B Patrones de RAG Almacenes de vectores Conectividad a almacenes de vectores

Caso de uso
Casos de uso

Implementación con un clic desde Google AI Studio en Cloud Run y el servidor de MCP (Protocolo de contexto del modelo) de Cloud Run para habilitar agentes de IA en IDEs o SDKs de agentes, y, luego, implementar apps.

servidores de MCP implementaciones Cloud Run

Caso de uso
Casos de uso

Integra las GPU NVIDIA L4 con Cloud Run para entregar LLM de forma rentable. En esta guía, se hace hincapié en la reducción de escala a cero y se proporcionan pasos de implementación para modelos como Gemma 2 con Ollama.

LLM GPU Ollama Optimización de costos

Caso de uso
Casos de uso

Desvincula los archivos de modelos grandes de la imagen de contenedor con Cloud Storage FUSE. La desvinculación mejora los tiempos de compilación, simplifica las actualizaciones y crea una arquitectura de entrega más escalable.

Empaquetado de modelos Cloud Storage FUSE Prácticas recomendadas Modelos grandes

Caso de uso
Casos de uso

Usa el framework de Cog, que está optimizado para la entrega de ML, para simplificar el empaquetado y la implementación de contenedores en Cloud Run.

Cog Empaquetado de modelos Implementación Instructivo

Caso de uso
Casos de uso

Usa Cloud Run para la inferencia de ML ligera y crea una pila de supervisión rentable con servicios nativos de Google Cloud , como Logging y BigQuery.

Supervisión MLOps Eficiencia de costos Inferencia

Videos relacionados