FreeSwitch采用mrcp协议对接科大讯飞asr和tts以及对话系统

FreeSWITCH对接讯飞ASR/TTS:MRCP协议与对话系统集成实践 智能语音交互系统通常由呼叫控制、语音识别、语音合成和对话管理几部分组成。FreeSWITCH作为核心媒体控制层,通过MRCP协议与语音引擎通信,将RTP媒体流标准化地转发给ASR/TTS服务,实现实时语音转写与播报。讯飞ASR/TTS能力结合MRCP标准接口,能够支持流式识别、打断响应和动态媒体控制,为呼叫中心智能外呼、语音机器人及IVR等场景提供稳定基础。本文基于实际项目,详细讲解FreeSWITCH下mod_unimrcp的部署、uniMRCP Server配置、dialplan中ASR/TTS调用方法 阅读详情
AI摘要

本文介绍了如何利用FreeSwitch的mod_unimrcp模块,通过mrcp协议对接科大讯飞的ASR和TTS服务,配置包括设置default-tts-profile和default-asr-profile,以及相关的服务器和端口信息。在完成配置后,通过play_and_detect_speechApp实现语音识别和播放。此外,提到了科大讯飞的DCM系统用于智能对话,通过HTTPRESTful接口交互。

最近由于有开发智能语音机器人的需求,需要使用语音识别(ASR)和文本语音转换(TTS)技术,老板指定使用科大讯飞的原子能力来提供这两项技术的支持。在语音侧,我们使用开源的软交换系统FreeSwitch来对接科大的接口。在与科大讯飞的技术支撑沟通后,确认ASR和TTS的对接采用mrcp协议,幸好FreeSwitch是支持这个协议的,下面就把整个对接的过程记录下。

首先我们得搞清楚这个mrcp协议的大体交互流程,主要是如下图。

mrcp一般是由客户端发起invite请求与服务器协商语音编码和mrcp通道信息,然后进行基于mrcp协议的asr信息和tts信息的交互,最后进行rtp语音流交互并返回识别信息直到挂机为止。

 FreeSwitch内部有一个mod_unimrcp的模块专门用来处理对接mrcp服务器,它的配置文件在conf/autoload_config/unimrcp.conf.xml中,主要的配置如下:

<configuration name="unimrcp.conf" description="UniMRCP Client">
  <settings>
    <!-- UniMRCP profile to use for TTS -->
    <param name="default-tts-profile" value="kdxf-mrcp2"/>
    <!-- UniMRCP profile to use for ASR -->
    <param name="default-asr-profile" value="kdxf-mrcp2"/>
    <!-- UniMRCP logging level to appear in freeswitch.log.  Options are:
         EM
freeswitch智能语音开发之ASR 我们可以通过switch_core_media_bug_add(session, "my_detect_speech", key, speech_callback, sth, 0, SMBF_READ_STREAM | SMBF_NO_PAUSE | SMBF_ONE_ONLY, &sth->bug))来绑定识别回调函数,我们只要简单的实现回调函数来获取语音流媒体,把流媒体发送给识别引擎就获取识别结果。dest:switch_asr_interface_t接口中asr_open接口函数传入参数。 阅读详情

相关推荐

Freeswitch智能语音开发之TTS

Freeswitch智能语音开发之TTS

m0_75193727的博客 2142

FreeSwitch+讯飞MRCP协议实战:搭建电话语音机器人全链路

在呼叫中心与通信集成场景中,如何让电话线路具备实时的语音识别与语音合成能力,是构建智能语音机器人的核心难点。FreeSwitch作为开源软交换平台,负责SIP信令与RTP媒体流的处理,但本身并不具备AI语音能力。通过MRCP协议,FreeSwitch可以与外部ASR/TTS引擎建立标准化的控制通道,实现识别、合成、打断等实时交互操作。然而,国内语音引擎通常以WebSocket接口输出,需要借助适配层完成协议转换。本文从MRCP的基础原理出发,梳理了FreeSwitch与科大讯飞ASR/TTS对接的完整架构,

weixin_29045585的博客 306

freeswitch对接讯飞语音识别模块

freeswitch对接讯飞语音识别模块

无痛安装及初始配置 PHP 8.0.3 + Apache 2.4 + MySQL 8.0

PHP 8.0.3 + Apache 2.4 + MySQL 8.0MySQL 8.0.23 安装下载安装配置环境变量初始化MySQLPHP8.0.3 安装下载安装配置环境变量Apache 2.4 安装下载安装启动 MySQL 8.0.23 安装 下载 到官方网站下载:https://dev.mysql.com/downloads/mysql/ 目前的最新版本是MySQL 8.0.23 在Windows上有两种安装方式,一个是zip压缩文件解压然后配置,另一个是图像化界面安装。 这里选择第一种方法安装:

Kuang Da's Blog 6219

ESP-01S使用micropython,利用Thonny烧写固件

在家舒服的太久了,想学习点新的东西,这次看上了ESP8266系列的联网设备,想自己做点小玩意出来耍耍,下面跟我一起来学习吧。本篇主要记录固件的烧写及测试。Thonny下载链接不算难,但是网上资源较少。也是提醒自己不要忘记这个步骤,记录一下,也分享给和我一样开始接触的小伙伴,加油加油,万事开头难。

weixin_43422072的博客 1698

Star CCM+中衍生零部件下的阈值应用与区域内删除目标网格

同样的在绘制网格结束后,有时出现负体积网格或质量差的网格,为了节约时间成本,可能会选择将负体积的网格或质量差的网格删除。弹出相应的窗口,在窗口中选择相应的区域①,选择标量函数②(此处以网格体积变化为例),选择模型③,设置阈值④,选择No Dispalyer,会根据需求选择显示,最后点击Create⑥完成创建。此处以温度为例,若出现温度异常点,首先在①栏中勾选Function,然后在下面点击⑤Select,在弹出的Function窗口中选择温度场函数,再点击④Identify,查找温度异常网格数量。

2201_75375391的博客 2223

手把手教你用IIO框架驱动ICM-42670陀螺仪(附完整SPI配置代码)

本文详细解析了如何在Linux系统中使用IIO框架为ICM-42670陀螺仪编写工业级传感器驱动。内容涵盖从SPI通信配置、IIO核心数据结构填充到数据采集与缓冲区管理的完整流程,并提供了实用的避坑指南与性能优化技巧,帮助开发者构建稳定高效的嵌入式传感器驱动。

f6g7h8i9j的博客 414

【WRF教程第3.5期】预处理系统 WPS 详解:以4.5版本为例

预处理系统 WPS 详解:以4.5版本为例

WW、forever的博客 1423

在 SAP BTP ABAP 环境中构建多租户应用:从架构到实战

ABAP多租户应用架构解析 本文详细介绍了SAP BTP中ABAP环境的多租户应用架构,重点阐述了其核心组件及协作机制。在云原生SaaS模式下,多租户架构使多个客户能共享同一套ABAP平台,同时保持数据和配置隔离。架构包含三层:平台与子账户层、多租户应用与平台服务层(含Approuter、ABAP Solution service、XSUAA等核心组件)、ABAP系统与租户层。文章深入分析了各组件功能,包括Approuter的路由机制、ABAP Solution service的自动资源调度、XSUAA的安

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 218

通俗范畴论10 泛性质(MD版)

既然泛性质可以在同构意义下唯一确定一个泛构造,那么我们就可以用泛性质来定义泛构造。我们回顾一下已经掌握的泛性质和泛构造。泛性质其实我们并不陌生,始对象和终对象,就是具有泛性质的对象,一个具有“始”的泛性质,一个具有“终”的泛性质。比如始对象,如果一个范畴里面有始对象,它到所有对象都有且只有一个态射,这样的对象可能有两个么?嗯,还真可能,但是这两个始对象同构,所以在同构意义下,它们可以看成一个,因此在同构意义下,始对象是唯一的。同理,终对象也一样。同构的始对象。

RockTec的专栏 482

置顶必读(3) |《滚雪球学SpringBoot》· 高质量专栏介绍,你值得拥有!

《滚雪球学SpringBoot》 并不是普通的技术讲解合集,它是专为开发者精心设计的系统化学习路径。通过不断“滚动学习”,我们将带领你从基础入门到高阶应用,从理解每一行代码到设计和优化大规模分布式系统,最终帮助你成长为一位精通 spring架构 的工程师。

**My Coding Family** 15万+

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: 基于Freeswitch实现公司总机话务台功能
下一篇: 关于Freeswitch媒体流方向控制的一个问题
shanghaimoon
博客等级 码龄22年 71粉丝 33原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址