导读 2022年1月11日整理发布:Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术,通过Omniverse
2022年1月11日整理发布:Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术,通过Omniverse Avatar所创建的虚拟形象模型,具有3D光追的特性并且可以和人类实现交互,能够看到、说话、谈论各种主题,以及合理地理解表达意图。
据悉,Omniverse Avatar 所使用的语音识别功能是基于NVIDIA Riva来实现的。这个软件开发工具包可以识别多种语言的语音。Riva还可通过文本语音转换功能生成接近真人的语音反馈。而它的自然语言理解系统则是基于Megatron 530B大型语言模型。其推荐引擎由NVIDIA Merlin提供,该框架使企业可以建立能够处理大量数据的深度学习推荐系统,以提出更明智的建议;感知功能的部分则来自用于视频分析的计算机视觉框架——NVIDIA Metropolis;最后,虚拟化身动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face驱动。