模型路由概览
API Gateway 的模型路由是一个托管式流量管理层,可接受与 OpenAI 兼容的提示请求,在传输过程中对其进行转码,并将其路由到特定的 Gemini Enterprise Agent Platform 模型。模型路由可作为 LiteLLM 等客户端代理的代管式替代方案,提供集中式基础设施来管理 AI 智能体的生命周期。
模型路由将路由逻辑移至网络边缘,并与 Agent Platform Model Garden 集成。此架构无需托管、扩缩和维护非代管式代理服务器,从而降低了运维开销和基础设施成本。
范围和用户体验历程
模型路由支持以下核心用户体验历程:
- 模型选择:AI 开发者在 Agent Platform Model Garden 中使用以模型即服务 (MaaS) 形式提供的开放模型。这些模型包括 Gemini、Anthropic Claude 或 OpenAI GPT 系列模型。
- 规范编写:AI 开发者在 OpenAPI 3.x 规范中创建或更新模型路由器配置,以引用已部署的模型。
- 网关部署:AI 开发者使用编写的 OpenAPI 规范部署 API 配置和 API Gateway 实例。
- 提示路由:客户端应用向网关发送与 OpenAI 兼容的提示请求,网关会根据 JSON 载荷中指定的模型名称路由请求并转换载荷。
未来版本的 API Gateway 计划支持更多用户体验历程。
模型路由的优势
在 API Gateway 中实现模型路由具有以下优势:
- 集中化管理:将 AI 流量管理整合到单个托管网关中,取代分散的客户端路由配置。
- 降低运营开销:消除与部署独立代理服务器相关的基础设施成本和维护负担。
- 边缘优化性能:在网络边缘检查提示并路由流量,充分利用与 Agent Platform Model Garden 端点的直接集成。
- 标准化客户端接口:使客户端应用能够与统一的 OpenAI 兼容 REST 接口进行交互,同时将请求动态分派到各种底层基础模型。
角色和用例
模型路由可满足以下角色的需求:
- 平台工程师:预配托管式基础设施解决方案,以取代企业 AI 部署中的客户端路由逻辑。
- AI 开发者:公开一个标准化的 API 端点,该端点可根据请求载荷参数在不同的基础模型(例如 Gemini Pro、Gemini Flash 或 Anthropic Claude)之间动态路由请求。
- 治理管理员:强制执行集中式访问权限政策(例如身份验证和配额),并监控整个组织的总体 AI 流量。
支持的使用场景
在公开试用功能期间,模型路由仅支持根据 OpenAI 兼容客户端请求的 JSON 载荷中指定的模型标记或名称(例如 "model": "gemini-3.5-flash-lite")进行路由。
架构和请求流程
模型路由在 API Gateway 数据平面中作为代管式路由层运行。当客户端应用向网关发送与 OpenAI 兼容的提示请求时,会发生以下序列:
- 请求拦截:网关拦截传入的
POST请求(例如POST /chat/completions)。 - 载荷检查:模型路由器会检查传入 JSON 载荷中的
model属性(例如{"model": "claude-opus-4-7", "messages": [...]})。 - 规则评估:路由器会将
model字符串与 OpenAPI 规范中定义的路由规则进行匹配。如果没有匹配的规则,路由器会选择配置的默认模型。 - 实时转码:网关会将与 OpenAI 兼容的请求转码为目标 Agent Platform 预测架构。
- 后端分派:网关将转码后的请求分派到指定的 Agent Platform Model Garden 端点,并将模型回答返回给客户端。
性能和限制
在实现模型路由之前,请先查看以下技术限制:
- 托管限制:模型路由仅支持路由到 Agent Platform Model Garden 上托管的预部署 MaaS 模型。单个路由器引用的模型可以使用不同的端点,例如全球端点
aiplatform.googleapis.com和区域端点(例如us-central1-aiplatform.googleapis.com)。如需了解适用的规则,请参阅后端主机和方案。 - 规范要求:模型路由需要 OpenAPI 3.x 规范和相应的 API Gateway OpenAPI 3.x 扩展。不支持 OpenAPI 2.0 (Swagger) 规范。
- 网关更新:您无法更新在部署时未启用模型路由的现有网关来启用模型路由,也无法更新在部署时启用了模型路由的网关来停用或移除模型路由。如需切换路由模式,您必须创建并部署新的 API 配置和网关实例。
- 混合配置:OpenAPI 规范不能同时包含模型路由和非模型路由操作。规范中的所有操作都必须使用模型路由或标准网关路由。
- VPC Service Controls:模型路由网关不支持 VPC Service Controls。您无法将 VPC Service Controls 边界与启用了模型路由的 API Gateway 实例搭配使用。
- 流式传输和不受支持的协议:模型路由支持响应流式传输(服务器发送事件),但不支持请求端流式传输、gRPC、WebSocket 或 Gemini Live。
- 支持的模态:在公开试用功能期间,模型路由会假定基于文本的提示请求采用与 OpenAI 兼容的 JSON 载荷格式,并仅根据载荷中的
model标记或名称进行路由。 - 必需的载荷字段:传入的 JSON 请求载荷必须包含
model属性。在公开试用功能期间,如果客户端请求载荷中缺少model字段,网关会错误地处理请求,而不是拒绝请求并返回错误。始终确保客户端请求在 JSON 载荷中指定model字段。 - 运行时限制:标准网关托管基础设施服务限制和行为适用于模型路由端点:
- 最长超时时间:网关强制执行的最长请求超时时间为 3,600 秒(1 小时),适用于长时间运行的流式传输请求。
- 冷启动延迟时间:如果网关实例在非活动期间缩容至零,则初始请求可能会遇到冷启动延迟时间,这可能会影响对延迟时间敏感的 AI 推理路径。
- 预留的网址路径:您不能使用以
/_ah/开头的预留网址路径或以z结尾的特定路径(为防止冲突,请避免使用以z结尾的路径名称)。 - 网址字符解码:网关会在处理请求之前自动解码请求网址中的某些编码字符(例如,
%41会解码为A)。