在unity中如何使用chatGPT让虚拟IP动起来
项目还在完善中,现阶段是文本输入代替“问”,后面作者还会利用语音识别技术作为“输入端”,从而实现和 Unity Chan 进行语音对话式聊天,最终便能完整拥有一个“智能”虚拟人形化 Chan Chan 酱。操作步骤二后,获取到音频 Clip,就把音频 Clip 实时传给 SyncLip 插件 SDK,从而让 Unity Chan 获取到 ChatGPT 信息后在虚拟世界中拥有相应的嘴部“形”态。1
1、导入chatGpt 解决AI智能回答
请根据上一篇文章进行导入:如何使用ChatGPT在unity中进行低代码快速开发?_向视科技,让您看见未来(nbhctec)的博客-CSDN博客
2、文本也有转换工具
可导入unity 插件-RT-Voice PRO
2.2 其他三方的 TTS 技术方案:
微软 Azure 文本转语音:
文本转语音 – 真实 AI 语音生成器 | Microsoft Azure
百度 AI :
谷歌云服务:
https://cloud.google.com/text-to-speech#section-2
3、开口说话
获取 Unity Chan 的模型资源(附带有口型 BlendShape 的动画),集成 SyncLip 口型动画插件,利用声音驱动模型口型。
操作步骤二后,获取到音频 Clip,就把音频 Clip 实时传给 SyncLip 插件 SDK,从而让 Unity Chan 获取到 ChatGPT 信息后在虚拟世界中拥有相应的嘴部“形”态。
步骤四:场景调试
在项目中可以找到 AIDemo.unity 场景,直接填入获取到的 ChatGPT API Key,便能直接运行调试预览。
项目还在完善中,现阶段是文本输入代替“问”,后面作者还会利用语音识别技术作为“输入端”,从而实现和 Unity Chan 进行语音对话式聊天,最终便能完整拥有一个“智能”虚拟人形化 Chan Chan 酱。
注意:需要unity工程文件的联系我!
更多推荐
所有评论(0)