从静态图像生成富有表现力的面部动画是一项具有挑战性的任务。以往依赖显式几何先验(如人脸关键点或三维形状模型 3DMM)的方法,在跨身份迁移时容易产生伪影,且难以捕捉细腻的情感。此外,现有方法普遍不支持多角色动画生成,因为来自不同角色的驱动特征往往会相互干扰,进一步加大任务的复杂度。为了解决这些问题,阿里巴巴提出了 FantasyPortrait,一个基于扩散变换器的框架,能够在单角色和多角色场景中生成高保真、情感丰富的面部动画。
在多角色控制方面,FantasyPortrait 设计了掩码式交叉注意机制,实现各角色表情生成的独立性与协调性,有效避免特征干扰。为了推动该领域的研究,作者还构建了两个专门用于训练和评估多角色人像动画的新数据集与评测基准:Multi-Expr 和 ExprBench。需要注意的是,扩散模型依赖的迭代采样过程会导致生成速度较慢,这可能限制其在实时应用中的广泛使用。

技术原理
FantasyPortrait 的整体架构如图所示。给定一张参考人像图像和一个包含面部动作的视频片段,系统首先从视频序列中提取隐式的面部表情特征,然后将这些特征迁移并融合到目标人像中,生成最终的面部动画视频输出。
订阅专栏 解锁全文
685



被折叠的 条评论
为什么被折叠?



