Unity+C#,讯飞 文本转语音、语音转文本

Unity AI 语音识别、语音合成、人机交互(一) Unity AI助手语音天气播报自我介绍项目介绍思路制作准备开始 自我介绍 大家好,我是VAIN,这是我在CSDN的第一篇文章,之前一直在微博博客上写文章,今后会用CSDN给大家更新一些技术帖,还希望大家多多关照! 项目介绍 因为公司项目要求,今天给大家分享一个unity制作AI助手的帖子,由于网上相关的文章还是比较少的,要么就是不是特别的全面。所以分享一下,希望可以帮助到小伙伴们。 思路 1.需要将我们说的话转成文字(语音识别) 2.AI助手理解我们说的话(人机交互) 3.将AI助手的返回信息转成语音(语 阅读详情
AI摘要

本文介绍在Unity3D里用C#实现讯飞文本转语音、语音转文本功能。先在讯飞开放平台获取APPID、APISecret、APIKey,新建Unity3D项目,安装Newtonsoft.Json包,创建相关脚本并挂载,按步骤设置后,即可实现语音转换功能。

  本文介绍在Unity3D中,使用C#编写讯飞文本转语音、语音转文本的功能。这两个功能相似,学会一个另一个就简单了。建议新建一个Unity3D项目来进行测试,否则极大可能会出现各种问题。

准备工作

首先在讯飞开放平台上获取以下三个内容:APPID、APISecret、APIKey。
在这里插入图片描述

Unity3D WebSocket接口

新建一个Unity3D项目:
在这里插入图片描述
在Unity顶部菜单栏上的Window-Package Manager,打开
在这里插入图片描述
选择Packages:Unity Registry,选择Newtonsoft.Json包,点击安装(Install)。等待安装完成…
在这里插入图片描述
新建一个代码类:XunFeiManager(XunFeiManager.cs)
在这里插入图片描述
打开代码,改成如下内容:
这里有三个参数需要改成你在讯飞控制台中的参数:APPID、APISecret、APIKey。

using System;
using System.Collections.Generic;
using System.Net.WebSockets;
using System.Security.Cryptography;
using System.Text;
using System.Threading.Tasks;
using System.Threading;
using UnityEngine;
using Newtonsoft.Json.Linq;
using System.Linq;

public class XunFeiManager : MonoBehaviour
{
   
   
    /// <summary>单例</summary>
    public static XunFeiManager Instance;

    /// <summary>固定不动</summary>
    private const string STTURL = "wss://iat-api.xfyun.cn/v2/iat";
    /// <summary>固定不动</summary>
    private const string TTSURL = "wss://tts-api.xfyun.cn/v2/tts";
    /// <summary>改成你自己的APPID!!!!!!</summary>
    private const string APPID = "********";
    /// <summary>改成你自己的APISecret!!!!!!</summary>
    private const string APISecret = "********************************";
    /// <summary>改成你自己的APIKey!!!!!!</summary>
    private const string APIKey = "********************************";


    /// <summary>WebSocket</summary>
    private ClientWebSocket webSocket;


    private void Awake()
    {
   
   
        //初始化单例
        Instance = this;
    }


    public async Task<string> SpeechToText(JObject request)
    {
   
   
        //获取请求数据
        byte[] bytes = Convert.FromBase64String(request["data"].ToString());
        //建立连接
        await Connect(STTURL);
        //发送消息
        await STTSendMessage(bytes);
        //接收消息
        string text = await STTReceiveMessage();
        //关闭接连
        await webSocket.CloseAsync(WebSocketCloseStatus.NormalClosure, string.Empty, CancellationToken.None);

        //构建返回Json数据
        JObject response = new JObject();
        response["text"] = text;
        //响应Post请求
        return response.ToString();
    }


    public async Task<string> TextToSpeech(JObject request)
    {
   
   
        //获取请求数据
        string text = request["text"].ToString();
        string voice = request["voice"].ToString();
        //建立连接
        await Connect(TTSURL);
        //发送消息
        await TTSSendMessage(text, voice);
        //接收消息
        string base64String = await TTSReceiveMessage();
        //关闭接连
        await webSocket.CloseAsync(WebSocketCloseStatus.NormalClosure, string.Empty, CancellationToken.None);

        //构建返回Json数据
        JObject response = new JObject();
        response["data"] = base64String;
        //响应Post请求
        return response.ToString();

    }


    /// <summary>
    /// 连接讯飞API
    /// </summary>
    /// <returns></returns>
    private async Task Connect(string url)
    {
   
   
        //新建ClientWebSocket
        webSocket = new ClientWebSocket();
        //使用WebSocket连接讯飞的服务
        await webSocket.ConnectAsync(new Uri(GetUrl(url)), CancellationToken.None);
        //await Console.Out.WriteLineAsync("讯飞WebSocket连接成功");
    }


    /// <summary>
    /// 讯飞语音转文本,发送消息
    /// </summary>
    private async Task STTSendMessage(byte[] bytes)
    {
   
   
        //状态值 0代表第1帧,1代表中间帧,2代表结尾帧
        int status;
        int remainLength = bytes.Length;
        //分段发送消息
        while (remainLength > 0)
        {
   
   
            byte[] currBytes;
            if (remainLength > 1280)
            {
   
   
                status = remainLength == bytes.Length ? 0 : 1;
                currBytes = new byte[1280];
                Array.Copy(bytes, bytes.Length - remainLength, currBytes, 0, 1280);
                remainLength -= 1280;
            }
            else
            {
   
   
                status = 2;
                currBytes = new byte[remainLength];
                Array.Copy(bytes, bytes.Length - remainLength, currBytes, 0, remainLength);
                remainLength = 0;
            }

            JObject jsonData = STTCreateJsonData(status, currBytes);
            byte[] messageBytes = Encoding.UTF8.GetBytes(jsonData.ToString());
            await webSocket.SendAsync(messageBytes, WebSocketMessageType.Text, true, CancellationToken.None);
            //等待30ms
            await Task.Delay(20);
            //Console.WriteLine("发送消息:"+jsonData.ToString());
        }
        //Console.WriteLine("数据发送完成");
    }

    /// <summary>
    /// 讯飞语音转文本,生成需要发送的Json数据
    /// </summary>
    /// <param name="status"></param>
    /// <param name="bytes"></param>
    /// <returns></returns>
    private JObject STTCreateJsonData(int status, byte[] bytes)
    {
   
   
        JObject requestObj = new JObject();
        JObject commonJson = new JObject();
        commonJson["app_id"] = APPID;
        requestObj["common"] = commonJson;
        JObject buss
Unity使用讯飞语音模型(语音合成+语音识别+语音唤醒)Window端SDK 【注意】在使用up主的demo时,我们需要将自己的dll库存放进去,appid换成我们自己的(APPID 于讯飞开发者控制台创建应用申请所得)在控制台下载对应SDK,由于讯飞官方只提供了C++/C语音版本,我们需要用C#调用下载SDK的dll库文件。另外我们如果要使用语音唤醒功能,还需要wakeupresource.jet拖进Unity项目中。在思考、说话状态我们不进行计时功能,只有在listen状态下开启计时功能。我们在使用语音功能时要先调用登入方法,结束时要调用退出登录的方法。这样,全局可使用可修改。 阅读详情

相关推荐

Unity+C#实战:讯飞语音交互SDK集成指南(TTS+ASR)

本文提供了一份详细的Unity集成讯飞语音交互SDK实战指南,涵盖TTS(文本转语音)和ASR(语音转文本)两大核心功能。从账号申请、环境配置到WebSocket连接管理、音频数据处理,手把手教你实现Unity应用“开口说话”与“听懂人话”,适用于游戏、虚拟人及教育应用开发。

assembly8low的博客 791

在Unity 中实现Windows端讯飞SDK的语音识别、语音合成功能的相关要点总结

      前段时间因为项目中需要用到讯飞SDK来实现语音识别以及语音合成的功能,但因为是要在Unity构建的项目里实现这些功能,编程语言的不同以及Unity本身的特性使得讯飞SDK要用在Unity上有一定的困难。经过从网上查找的一些资料以及自己的一些尝试,总算是将语音识别以及合成的功能给实现了,以下总结一下在功能实现过程中的一些经验教训:     (1)从讯飞官网上查找的Windows端API文...

qq_39993352的博客 5019

C#WPF文本转语音实例

本文介绍C#WPF文本转语音实例

qq_30725967的博客 1085

Unity与讯飞语音识别技术整合指南

Unity游戏开发引擎是当今最流行的游戏开发平台之一,它提供了一整套完整的游戏开发工具和服务,支持从2D到3D的多种游戏类型。在这一章节中,我们将探索Unity的起源、核心功能和它支持的主要平台。语音识别技术是计算机科学中的一个分支,它致力于解决如何让计算机通过语音输入进行理解并作出回应的问题。这项技术的核心是对人类的语音信号进行分析、理解并转化成可操作的指令。

weixin_42596214的博客 1430

Unity3D与讯飞语音实时转写整合教程

Unity3D,作为游戏开发领域的重要工具,不仅仅是一个引擎,它更是开发者梦想实现的起点。通过其强大而灵活的编辑器,Unity3D让设计师能够在3D空间中进行场景布局,为用户提供沉浸式的视觉体验。讯飞语音SDK是科大讯飞公司提供的一套完整的语音识别解决方案。它支持多种场景和语言的语音识别,具有高准确率和快速响应的特性,非常适合集成到游戏和应用程序中。SDK中的接口丰富,可以实现各种复杂的语音交互功能。

weixin_42433737的博客 1019

unity3d百度语音转文字,文字转语音

unity3d百度在线语音转文字,文字转语音。可以跨平台运行。https://blog.csdn.net/luoyikun/article/details/81212838

unity语音识别语音转文字

已订阅专栏用户可直接找博主获取 详细博客:http://t.csdnimg.cn/pBnhW 将短音频(≤60秒)精准识别成文字,除中文普通话和英文外,支持65个语种、24种方言和1个民族语言,实时返回结果,达到边说边返回的效果,可提供公有云接口及私有化部署方案 

unity3D语音转文字,文字转语音LUIS工程源码

unity3D语音转文字,文字转语音LUIS工程源码

深度残差网络的无人机多目标识别

深度残差网络的无人机多目标识别 人工智能技术与咨询 来源:《图学学报》。作者翟进有等 摘要:传统目标识别算法中,经典的区域建议网络(RPN)在提取目标候选区域时计算量大,时间复杂度较高,因此提出一种级联区域建议网络(CRPN)的搜索模式对其进行改善。此外,深层次的卷积神经网络训练中易产生退化现象,而引入残差学习的深度残差网络(ResNet),能够有效抑制该现象。对多种不同深度以及不同参数的网络模型进行研究,将两层残差学习模块与三层残差学习模块结合使用,设计出一种占用内存更小、时间复杂度更低的新型多捷.

m0_62870606的博客 3121

Innovus 安装全过程

【代码】Innovus 安装全过程。

lmyynlbcy的博客 5569

为什么你的Nginx配置SM2国密SSL证书失败?这些坑我都帮你踩过了

本文针对Nginx配置SM2国密SSL证书的常见失败原因,提供了详细的排查与解决方案。核心在于使用支持国密算法的Nginx版本(如集成Tongsuo库),正确处理从阿里云等平台获取的证书格式,并正确配置ssl_ciphers等关键参数。文章还解释了浏览器兼容性差异及双证书部署等进阶场景,帮助运维和开发人员高效完成国密合规改造。

weixin_29228203的博客 393

不同IP网段的PLC进行S7通信(PUT_GET)的具体步骤

不同IP网段的PLC进行S7通信(PUT_GET)的具体步骤 一般情况下,我们使用西门子的S7通信时都是将网络中的PLC的IP设置在同一网段,那么如果涉及到旧项目改造时,不方便修改IP地址,只能进行2个网段通信时,可以参考以下步骤: 准备条件: 2个路由器 CPU 1212C 主动连接 CPU 314C-2PN/DP 被动连接 网络搭建如下图所示: S7-1212C一侧 建立S7主动连接 ,IP地址:192.168.5.40,编写get/put 通信程序 S7-300 IP地址:192.168.0

Robot_PLC_HMI_Automation 2万+

国产化操作系统shell常用脚本

国产操作系统常用脚本:统信、麒麟。

Reyn_观极 602

为Ollama本地大模型添加持久化记忆层:openclaw-ollama-memory项目详解

在构建基于大型语言模型(LLM)的对话应用时,上下文管理是核心技术挑战之一。其原理在于模型本身不具备跨会话的持久化记忆能力,每次请求都是独立的。这导致在多轮对话中,模型无法有效利用历史信息,用户体验割裂。从技术价值看,独立的记忆层通过解耦推理与存储,能突破模型固定上下文窗口的限制,实现更智能、连贯的交互。其核心应用场景包括聊天机器人、智能助手及需要长期记忆的复杂代理。本文聚焦的 openclaw-ollama-memory 项目,正是为 Ollama 生态提供的记忆层解决方案,它通过向量检索和智能摘要等机制

weixin_42521558的博客 313

基于 ESP32 的智能药盒提醒装置设计与实现

本装置基于 ESP32 实现了智能药盒的核心功能,硬件选型兼顾成本与实用性,软件设计模块化、易拓展。后续可通过 ESP32 的 WiFi 模块接入物联网平台(如阿里云、OneNet),实现远程设置提醒、服药状态反馈等功能,进一步提升智能化水平。该装置能有效解决老人忘服药问题,具有较高的实用价值与推广潜力。

weixin_42300449的博客 1050

高级电机控制场景实例:基于Simulink的永磁同步电机基于Luenberger观测器的弱磁控制仿真

本文基于Simulink实现表贴式永磁同步电机(SPMSM)的Luenberger观测器弱磁控制仿真,通过构建“观测-弱磁-控制”协同逻辑,突破传统矢量控制的基速限制。利用线性化模型设计观测器实时估计电流与磁链,结合电压极限约束动态注入负d轴电流,实现转速扩展至12000rpm(4倍基速),弱磁区电流THD低于3%,动态响应时间小于5ms,验证了高速运行下系统稳定性与鲁棒性。附完整建模步骤、MATLAB函数代码及性能分析,适用于电动汽车、机床等高速驱动场景,为高级电机控制提供可复现的技术范式。

amy_mhd的博客 34

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

上一篇: Unity Android平台接入支付宝支付全流程
下一篇: .Net6使用EFCore在SqlServer上创建数据库
高思宇
博客等级 码龄8年 87粉丝 14原创
评论 34
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高思宇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址