生成式 AI 用例:根据音频文件生成播客

Last reviewed 2026-11-12 UTC

本文档提供了一个应用的高层架构,该应用使用 AI 根据音频输入生成播客。

本文档的目标受众群体包括为媒体和营销行业在云端构建和管理生成式 AI 应用的架构师、开发者和管理员。本文档假定您对生成式 AI 有基本的了解。

本文档的部署部分提供了涉及多模态输入和输出格式的生成式 AI 工作负载的代码示例。

架构

下图展示了 Google Cloud中播客制作方应用的架构。该应用使用 AI 从音频文件(例如体育赛事的现场解说)生成播客。

用于根据音频文件生成播客的生成式 AI 应用的架构。 用于根据音频文件生成播客的生成式 AI 应用的架构。

该架构展示了以下流程:

  1. 用户将音频文件上传到 Cloud Storage 存储桶。
  2. Eventarc 触发 Cloud Run 服务。
  3. Cloud Run 服务会将音频文件发送到 Speech-to-Text。
  4. Speech-to-Text 会生成带有时间戳的音频文件转写内容。
  5. Cloud Run 服务会将转写内容发送到 Gemini Enterprise Agent Platform,并提示其生成播客脚本。

    例如,提示可以是根据评论中的某些关键字,为 15 分钟的播客生成一个关于体育赛事亮点的脚本。

  6. Agent Platform 上的 Gemini 模型 生成播客脚本草稿

  7. Cloud Run 服务会将脚本草稿发送给用户。

  8. 用户查看并修改脚本草稿,然后将最终脚本发送到 Text-to-Speech。

  9. Text-to-Speech 会生成播客音频文件。

使用的产品

此示例架构使用以下 Google Cloud 产品:

  • Speech-to-Text:一种使用 Google 的语音识别技术将音频转写为文字的 API。
  • Gemini Enterprise Agent Platform:一个综合性平台,可让您构建、扩缩、治理和优化企业级 AI 智能体。
  • Text-to-Speech:一种 API,可根据文本创建自然流畅的合成人类语音。
  • Cloud Storage:适用于各种数据类型的费用低廉且不受限制的对象存储区。数据可从 Google Cloud内部和外部访问,并且跨位置进行复制以实现冗余。
  • Cloud Run:一个无服务器计算平台,可让您直接在 Google 可伸缩的基础设施之上运行容器。
  • Eventarc:一种无服务器解决方案,用于异步路由事件触发的消息。

设计考虑事项

本部分介绍了符合 Google Cloud Well-Architected Framework 的设计因素、最佳实践和建议。在使用此参考架构开发满足特定安全性、可靠性、费用优化和运营效率要求的拓扑时,请考虑这些信息。

安全性、隐私权和合规性

为帮助保护播客生成工作负载并满足隐私和合规要求,请考虑以下建议:

  • 如需筛查提示词、转写内容和播客脚本,以防范提示词注入、越狱攻击和有害内容,请使用 Model Armor。如需在合成之前检测和遮盖转录内容和草稿脚本中的个人身份信息 (PII),请使用 Sensitive Data Protection。
  • 为遵循最小权限原则,请为 Eventarc 触发器和 Cloud Run 服务分配专用的 Identity and Access Management (IAM) 服务账号。如需将网络访问权限限制为仅限授权调用方和审核者,请配置 Cloud Run 入站流量控制并要求进行 IAM 身份验证。

可靠性

为确保长篇解说和播客合成的可靠处理,请考虑以下建议:

  • 如需可靠地转写长评论录音,请考虑使用异步批处理。如需了解详情,请参阅将长音频文件转写为文字。
  • 如需合成完整剧集,请将脚本拆分为较小的片段或使用长音频合成,然后将输出音频存储在 Cloud Storage 中。
  • 由于 Eventarc 会重试未确认的传送,因此 Cloud Run HTTP 处理程序中的同步多分钟媒体处理可能会导致超时和重复工作。如需将事件传送与长时间运行的处理分离开来,请使用 Workflows 编排多步骤任务,或在 Cloud Run 作业中运行批处理工作负载。

费用优化

为了优化生成脚本和合成播客音频的费用,请考虑以下建议:

  • 如果不需要立即生成播客脚本,请在 Agent Platform 上使用批量推理。批量推理以异步方式处理大量转写工作负载,费用低于标准在线推理。
  • 如需降低大批量播客制作的合成费用,请根据您在 Agent Platform 上的要求选择合适的模型。

运营效率

为了简化多模态流水线并简化多说话人音频制作,请考虑以下建议:

  • 如果您不需要专门的 Speech-to-Text 功能,可以直接将 Cloud Storage 音频 URI 传递给 Agent Platform 上的 Gemini,从而简化流水线。借助多模态音频理解,Gemini 可以分析长音频文件,理解时间戳,并一步到位地起草播客脚本。如果您的工作负载需要批量说话人日志或针对特定领域名称的模型自适应,请继续使用具有专用转写模型的 Speech-to-Text。
  • 如需在不进行复杂 SSML 调整的情况下制作多主播对话式播客,请使用 Agent Platform 上的 Gemini TTS。如果您的应用直接调用 Text-to-Speech,您还可以使用 Gemini TTS 或其他对话式语音来实现自然语音控制。如需了解详情,请参阅支持的语音和语言。

部署

如需尝试将 Google Cloud 产品用于涉及多模态输入和输出格式(例如音频和文本)的工作负载,请尝试以下代码示例:

后续步骤

贡献者

作者: Kumar Dhanagopal | 跨产品解决方案开发者

其他贡献者: