郑州补天信息技术有限公司
软件开发 , app开发 , 系统开发 , 定制开发 , 小程序开发
数字人系统开源_数字人系统开发_开源数字人系统


数字人系统开源:开启数字人开发的新时代

数字人系统开源正成为当下备受瞩目的领域。无论是数字人系统开发,还是开源数字人系统的出现,都为众多行业带来了无限的可能。

先看看一些开源数字人的项目成果。像量子位报道的开源数字人实时对话Demo,它的形象可自定义,还支持语音输入。在阿里巴巴ModelScope魔搭社区就能找到它。这个Demo无需预训练就能用自定义形象实时对话,能选不同形象和音色,首包延迟低至3秒。它基于开源技术,模块化系统设计使得各模块可快速更换,开发者能自由扩展优化,适用于直播、新闻播报、聊天助手等场景。并且采用Gradio 5实现流式视频输出,方便部署构建交互式数字人应用。

还有VideoChat这个开源的实时数字人对话系统,支持语音输入和实时对话,用户能自定义形象和音色,无需训练可音色克隆,首包延迟也可低至3秒,同样适用于多种实时语音交互场景。它支持GLM - 4 - Voice,有ASR - LLM - TTS - THG和MLLM - THG两种生成方式,用Gradio框架构建交互式应用,支持流式视频输出。

硅基智能打造的DUIX数字人智能交互平台,其2D真人级、AIGC实时渲染数字人模型开源了。开源项目提供详细开放文档,方便开发者开发定制化虚拟人应用,能在安卓或iOS上一键部署数字人。

快手的LivePortrait也不容小觑,这个能将静态肖像图像转化为动态视频的工具,升级后支持视频驱动。它能jingque控制眼睛注视方向和嘴唇开合动作,处理多个人物肖像无缝拼接。

在数字人开发中,不同项目采用不同技术方案。比如有的项目采用多模块级联技术方案,先通过语音识别(ASR)模块将语音转文本,再把文本输入大语言模型(LLM)模块生成回复文本,接着文本转语音(TTS)模块合成语音,Zui后用语音驱动说话人生成(THG)模块得到唇形同步的数字人说话视频。

在开源数字人项目里,也有专注于特定技术的,像腾讯的VideoReTalking项目开源了AI对口型技术,通过三个主要阶段实现数字人物嘴型与语音完美匹配。

Fay数字人框架 - 带货版是构建数字人应用场景的开源项目,模块低耦合,能轻松更换声音来源等模块,还支持情绪语音合成和表情动作输出,适用于电商直播、娱乐直播、教育直播、新闻资讯直播等场景。

阿里蚂蚁集团的EchoMimic通过深度学习模型结合音频和面部标志点创造高度逼真的动态肖像视频,支持多种语言,适用于唱歌等场景,解决了以往单独依赖音频或面部标志点生成视频的局限性。

开源数字人系统的发展为各行各业提供了更多的选择和创新机会。无论是想要打造个性化的数字人形象用于直播,还是开发具有特定功能的数字人应用于教育、新闻等领域,开源数字人系统都在不断地推动着技术的进步和发展。而且随着更多的开发者参与到开源数字人系统的开发中来,未来我们可以期待数字人技术会更加成熟、功能更加丰富、应用场景更加广泛。


展开全文
拨打电话 微信咨询 发送询价