一、成果名称

面向元宇宙的高真实感虚拟人驱动技术

二、项目介绍

1.详情

项目将语音驱动说话人脸视频生成最新科研成果进行转化与落地，通过提供一段语音和一张人脸图片，生成嘴型与语音同步并具有自然稳定头部动作和眨眼动作的说话人脸视频。项目自研技术包含三项关键技术，包括基于语音生成高精度三维表情参数技术，基于语音生成自然稳定的三维头部动作参数技术，基于三维头部动作参数和三维表情参数驱动人脸图像生成说话视频技术。通过对这三大模块进行结合，可以获得一个直接通过语音驱动说话人脸视频生成的系统。目前该系统已基本实现。

2.产品性能优势

项目自研技术包含三项关键技术，包括基于语音生成高精度三维表情参数技术，基于语音生成自然稳定的三维头部动作参数技术，基于三维头部动作参数和三维表情参数驱动人脸图像生成说话视频技术。通过对这三大模块进行结合，可以获得一个直接通过语音驱动说话人脸视频生成的系统。目前该系统已基本实现。

3.市场前景及应用

语音驱动说话人脸视频生成技术具有十分广阔的市场应用前景。随着元宇宙概念的提出和虚拟人技术的发展，通过语音驱动人脸图片生成说话人脸视频技术受到的关注也越来越多。该技术具有广泛的应用场景，比如虚拟人主播，电影后期制作，交互式的人机交流和虚拟偶像等诸多场景。虚拟人技术的发展离不开语音驱动说话人脸视频生成技术的支持，而语音驱动说话人脸视频生成技术作为虚拟人技术中的重要一环，也会随着虚拟人市场规模的扩大而迎来巨大的商业需求。根据量子位《数字虚拟人深度产业报告》预测，在 2030 年，我国数字虚拟人整体市场规模将达到 2700 亿。其中，身份型数字虚拟人将占据主导地位，约 1750 亿，并逐步成为 Metaverse 中的重要一环；服务型数字虚拟人相对稳定发展，多模态 AI 助手仍有待进一步发展（840 亿元），多种对话式服务升级至数字虚拟人形态（115 亿元），总规模超过 950 亿。根据艾媒数据，虚拟偶像在网民中的认可度较高，以网民总数 10.11 亿（《中国互联网络发展状况统计报告》2021年 6 月数据）计算，2021 年深度+浅度追星人群占比超 80%，约 8 亿人；而在追星群众中 63.6%关注支持虚拟偶像，则预计有超 5 亿人为虚拟偶像受众，随着虚拟偶像应用面铺开，渗透率有望进一步提升。根据艾媒数据，2020 年中国虚拟偶像核心市场规模为34.6 亿元，预计 2021-2023 年中国虚拟偶像核心市场规模分别达 62.2/120.8/205.2 亿元 ；2020 年 虚 拟 偶 像 带 动 市 场 规 模 645.6 亿元，预计 2021-2023 年分别达1074.9/1866.1/3334.7 亿元。根据爱奇艺专业内容业务群总裁兼首席内容官王晓晖曾表示，中国偶像市场总规模预计在 2022 年将达到 1400 亿元，以 2022 年虚拟偶像核心市场规模 121 亿计算，虚拟偶像占比仅为 8.6%，渗透率有较大提升空间。

4.技术成熟度：原理样机

5.合作要求：联合研发、技术入股、面议

6.负责人：郭宇