打造梅兰芳先生的孪生数字人有多难

本文相关报告 REPORTS
	2017-2022年中国戏剧行业发展模式调研与趋势前景分析研究报告
	近年来，国务院出台了《关于加快发展生产性服务业促进产业结构调整升级的指导意见》《关于加快科技服务业发展的若干指导意见》《关于大力发展电子商务加快培育经济新动力的意见》，以及健康服务、养老服务、文化创意...

　　某公司推出数字人美妆博主，一条短视频收获百万粉丝；新华社推出数字记者，“TA”也是全球首个数字航天员，吸引众多视线……如今虚拟数字人概念火热，但要打造真正高逼真、超写实的数字人，还有大量技术问题要解决。

　　近日，“数字梅兰芳”大师复现项目启动仪式在北京梅兰芳大剧院举行。由北京理工大学参与研制的全国首个高精度京剧数字人“梅兰芳孪生数字人”在仪式现场亮相。

　　该项目以京剧大师梅兰芳先生26岁时的模样为原型，对其进行复现。项目由中央戏剧学院、北京理工大学共同发起，腾讯公司提供技术支持，受到“北京高校卓越青年科学家”计划资助，并得到了多家单位和梅兰芳先生家人及弟子的大力支持。

　　北京理工大学光电学院研究员翁冬冬告诉科技日报记者，未来他们将不断进行模型实时化升级，并在多个场景应用落地，力争打造国内第一套真正意义上的可实时交互的“京剧数字人”。

　　扫描，分解，构建

　　做数字人表情有讲究

　　虚拟数字人是存在于数字世界的“人”，利用信息技术与人工智能技术，将人全身及肢体动作全方位地进行数字化、可视化复制，最终将现实生活中的人精确地在数字世界中模拟构建出来。

　　做虚拟数字人，本身就是啃一块硬骨头。因为人天然就对人的面部特别敏感，虚拟数字人做得稍有不到位，就会让人觉得怪异。

　　所以虚拟数字人的一大考验，就是表情。

　　研究课题组找到和年轻时梅兰芳先生长相相似的演员，让他模仿梅先生的表情神态，然后利用光场采集技术，采集真实演员毫米级精度的三维数据，并以计算光学为基础构建物理属性皮肤纹理，从而实现对真实演员的高复原度重建。

　　“其实一个人的表情神态是很难复现的。我们要扫描演员肌肉的走向、脸部的皱褶等。”翁冬冬说。他们需要将演员做出的表情，编码成几百个基础表情元素。比如完全闭上左眼、左眼半睁开、完全闭上右眼、嘴角向上微微扬起……但人在做表情时，脸上很多部位是联动的。所以，先要将已扫描出的表情拆分成单个的表情元素，再根据实际需要，重新将这些元素组合起来，构成新的表情。

　　获取了这些表情之后，课题组还需要将演员脸上的表情，迁移到数字人梅兰芳先生的脸上。“京剧数字人，对眼神和表情的要求非常高。”翁冬冬说。

　　由于已经无法采集到梅兰芳先生的真人三维数据源，在收集了大量梅先生的照片作为数字资产构建的参照后，研究团队邀请中央美术学院的师生以历史照片为依据完成了梅兰芳先生的实体肖像。在技术团队与雕塑团队的反复磨合后，完成了以三维数字化为目标的真人雕像数字人制作。

　　接下来，他们还需要完善数字人的声音能力，完善数字人的实时语音交互能力，让数字人真正“活起来”。

　　消失的布料，失传的手艺

　　数字化也是一种抢救性保护

　　难题，不仅在于技术。

　　这一次，他们这帮技术出身的科研人员，切实感受到了科技和传统艺术的碰撞。“学京剧的人，对传统是很敬畏的，也是相当讲究的。”翁冬冬说。

　　梅兰芳先生服装的数字化，就颇费一番周折。

　　“现在的布料，和民国时期的布料是不一样的。”翁冬冬说，为了做出接近的衣服质感，项目的另一合作方、中央戏剧学院传统戏剧数字化高精尖中心主任宋震团队，通过各种关系找到了民间收藏的民国留存布样，以其为基础进行逼真服饰材质模拟。

　　梅先生戏服上用到的线，叫金线，是用棉绳绕着金箔做出来的。团队被告知，这线现在没法做，因为工艺没有了，手艺失传了，而且当年的棉和现在的棉，根本就不一样。

　　有此问题的还有头冠。团队找到专门做盔头的老师傅，来复现京剧《穆桂英出征》中的头冠。但老师傅说，制作这东西，没有图纸，手艺都是口口相传的，靠的是自行领悟。

　　这种“只可意会不可言传”，也给数字化扫描带来了难度。

　　在困难中，翁冬冬也更深刻体会到这一项目的意义——它其实也是在数字化保存那些正在消失的东西。

　　“做梅兰芳先生的孪生数字人，不仅是一个技术实现的过程，也是一个科技和传统文化融合的过程。”翁冬冬说，亲身实践，才会碰到纸上谈兵时不曾想过的问题。融合没那么简单，确实需要双方的磨合、互相倾听和耐心沟通。

　　目前，最为人熟知的数字人，当属虚拟偶像。一些主要采用AI换脸技术的数字人，也活跃在市场上。翁冬冬说，从长远来看，三维化的数字人数字资产价值会更高。特别是元宇宙，天然就需要以三维为基础，所以数字人是构成元宇宙的重要基础元素。

　　“未来数字人可以成为人机交互的界面，成为人工智能的一个入口。毕竟人还是更容易接受和‘人’沟通交互。”翁冬冬说，但要让高逼真的数字人一颦一笑一举一动都不出戏，还有很长的路要走，“还是要冷静看待数字人的火热。”