虚拟人制作流程
网络时代的快速发展,元宇宙概念的催生,数字人更多的进入到了人们的视线。虚拟主播带货代替真实的主持将是未来的趋势
再来说说虚拟主播制作的流程
当我们清理出模型之后便需要开始做BlendShap(以下简称BS)拆分,关于这一部分方法有很多。FACS 在理论上人支持60个极限表情,从解剖学上讲,这60个表情可以非线性地组合出任意表情。但是我们做表情对话时,没办法只用60个表情就做出所需的所有表情。因此,这就涉及到BS拆解过程了。拆解的数量,与用户想追求的精度相关,也跟成本相关。在此项目中仅仅扫描了45个有代表性的极限表情,并拆分出了300多个BS。
有些算法有可能会进行重复拆解。实际上BS和BS不是完全叠加而回归到极限表情,它可能有些加和减的关系。如果AI将BS拆解成这样时就可能需要人为进行修正。比如一个嘴唇往下的动作是几个 BS 的组合,但是有一个BS是凹进去的,那么这个凹进去的就需要人为进行修正。因为这些极限表情和别的表情组合的时候会出问题。出现这种问题的时候,就需要人为进行修正,因此自动拆的算法还需要演进。
我们可以把表情贴图简单地划分为表情和微表情。表情上结构性的变化需要做在模型上,有些因为结构性变化而产生的挤压的纹理性变化的话,则需要做成贴图。贴图是Winkle Map,它是一 Normal的表情贴图,在不同表情间可进行切换,一张脸上往往会有五六张Winkle Map。