模型路由概览

API Gateway 的模型路由是一个托管式流量管理层,可接受与 OpenAI 兼容的提示请求,在传输过程中对其进行转码,并将其路由到特定的 Gemini Enterprise Agent Platform 模型。模型路由可作为 LiteLLM 等客户端代理的代管式替代方案,提供集中式基础设施来管理 AI 智能体的生命周期。

模型路由将路由逻辑移至网络边缘,并与 Agent Platform Model Garden 集成。此架构无需托管、扩缩和维护非代管式代理服务器,从而降低了运维开销和基础设施成本。

范围和用户体验历程

模型路由支持以下核心用户体验历程:

  • 模型选择:AI 开发者在 Agent Platform Model Garden 中使用以模型即服务 (MaaS) 形式提供的开放模型。这些模型包括 Gemini、Anthropic Claude 或 OpenAI GPT 系列模型。
  • 规范编写:AI 开发者在 OpenAPI 3.x 规范中创建或更新模型路由器配置,以引用已部署的模型。
  • 网关部署:AI 开发者使用编写的 OpenAPI 规范部署 API 配置和 API Gateway 实例。
  • 提示路由:客户端应用向网关发送与 OpenAI 兼容的提示请求,网关会根据 JSON 载荷中指定的模型名称路由请求并转换载荷。

未来版本的 API Gateway 计划支持更多用户体验历程。

模型路由的优势

在 API Gateway 中实现模型路由具有以下优势:

  • 集中化管理:将 AI 流量管理整合到单个托管网关中,取代分散的客户端路由配置。
  • 降低运营开销:消除与部署独立代理服务器相关的基础设施成本和维护负担。
  • 边缘优化性能:在网络边缘检查提示并路由流量,充分利用与 Agent Platform Model Garden 端点的直接集成。
  • 标准化客户端接口:使客户端应用能够与统一的 OpenAI 兼容 REST 接口进行交互,同时将请求动态分派到各种底层基础模型。

角色和用例

模型路由可满足以下角色的需求:

  • 平台工程师:预配托管式基础设施解决方案,以取代企业 AI 部署中的客户端路由逻辑。
  • AI 开发者:公开一个标准化的 API 端点,该端点可根据请求载荷参数在不同的基础模型(例如 Gemini Pro、Gemini Flash 或 Anthropic Claude)之间动态路由请求。
  • 治理管理员:强制执行集中式访问权限政策(例如身份验证和配额),并监控整个组织的总体 AI 流量。

支持的使用场景

在公开试用功能期间,模型路由仅支持根据 OpenAI 兼容客户端请求的 JSON 载荷中指定的模型标记或名称(例如 "model": "gemini-3.5-flash-lite")进行路由。

架构和请求流程

模型路由在 API Gateway 数据平面中作为代管式路由层运行。当客户端应用向网关发送与 OpenAI 兼容的提示请求时,会发生以下序列:

  1. 请求拦截:网关拦截传入的 POST 请求(例如 POST /chat/completions)。
  2. 载荷检查:模型路由器会检查传入 JSON 载荷中的 model 属性(例如 {"model": "claude-opus-4-7", "messages": [...]})。
  3. 规则评估:路由器会将 model 字符串与 OpenAPI 规范中定义的路由规则进行匹配。如果没有匹配的规则,路由器会选择配置的默认模型。
  4. 实时转码:网关会将与 OpenAI 兼容的请求转码为目标 Agent Platform 预测架构。
  5. 后端分派:网关将转码后的请求分派到指定的 Agent Platform Model Garden 端点,并将模型回答返回给客户端。

性能和限制

在实现模型路由之前,请先查看以下技术限制:

  • 托管限制:模型路由仅支持路由到 Agent Platform Model Garden 上托管的预部署 MaaS 模型。单个路由器引用的模型可以使用不同的端点,例如全球端点 aiplatform.googleapis.com 和区域端点(例如 us-central1-aiplatform.googleapis.com)。如需了解适用的规则,请参阅后端主机和方案。
  • 规范要求:模型路由需要 OpenAPI 3.x 规范和相应的 API Gateway OpenAPI 3.x 扩展。不支持 OpenAPI 2.0 (Swagger) 规范。
  • 网关更新:您无法更新在部署时未启用模型路由的现有网关来启用模型路由,也无法更新在部署时启用了模型路由的网关来停用或移除模型路由。如需切换路由模式,您必须创建并部署新的 API 配置和网关实例。
  • 混合配置:OpenAPI 规范不能同时包含模型路由和非模型路由操作。规范中的所有操作都必须使用模型路由或标准网关路由。
  • VPC Service Controls:模型路由网关不支持 VPC Service Controls。您无法将 VPC Service Controls 边界与启用了模型路由的 API Gateway 实例搭配使用。
  • 流式传输和不受支持的协议:模型路由支持响应流式传输(服务器发送事件),但不支持请求端流式传输、gRPC、WebSocket 或 Gemini Live。
  • 支持的模态:在公开试用功能期间,模型路由会假定基于文本的提示请求采用与 OpenAI 兼容的 JSON 载荷格式,并仅根据载荷中的 model 标记或名称进行路由。
  • 必需的载荷字段:传入的 JSON 请求载荷必须包含 model 属性。在公开试用功能期间,如果客户端请求载荷中缺少 model 字段,网关会错误地处理请求,而不是拒绝请求并返回错误。始终确保客户端请求在 JSON 载荷中指定 model 字段。
  • 运行时限制:标准网关托管基础设施服务限制和行为适用于模型路由端点:
    • 最长超时时间:网关强制执行的最长请求超时时间为 3,600 秒(1 小时),适用于长时间运行的流式传输请求。
    • 冷启动延迟时间:如果网关实例在非活动期间缩容至零,则初始请求可能会遇到冷启动延迟时间,这可能会影响对延迟时间敏感的 AI 推理路径。
    • 预留的网址路径:您不能使用以 /_ah/ 开头的预留网址路径或以 z 结尾的特定路径(为防止冲突,请避免使用以 z 结尾的路径名称)。
    • 网址字符解码:网关会在处理请求之前自动解码请求网址中的某些编码字符(例如,%41 会解码为 A)。

后续步骤