1、畅游Diffusion数字人(1):DreamTalk When Expressive Talking Head Generation Meets Diffusion Probabilistic
DreamTalk是一个基于扩散的音频驱动的富有表现力的说话头生成框架,可以生成不同说话风格的高质量的说话头视频。DreamTalk对各种输入表现出强大的性能,包括歌曲、多语言语音、噪声音频和域外肖像。
2、畅游Diffusion数字人(2):EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video
EMO仅需一张人物肖像照片和音频,就可以让照片中的人物按照音频内容“张嘴”唱歌、说话,且口型基本一致,面部表情和头部姿态非常自然。这篇博客将详细解读EMO的原理。
3、畅游Diffusion数字人(3):AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
腾讯提出了一种新颖的框架 AniPortrait ,用于通过音频和参考肖像图像生成高质量的动画。从展示效果来看,能接近阿里的EMO的水平。最重要的是完全开源,这点比emo强到不知道哪里去了...
4、畅游Diffusion数字人(4): EchoMimic: Lifelike Audio-Driven Portrait Animations through EditableLandmark Co
目前肖像图片动画(portrait image animation)领域存在的一个问题是,仅由音频驱动的方法由于音频信号相对较弱,有时会不稳定,而仅由面部关键点驱动的方法虽然驱动更稳定,但由于对关键点信息的过度控制,可能会导致不自然的结果。EchoMimic 同时使用音频和面部关键点进行训练,有效解决了这一问题。
5、畅游Diffusion数字人(5):Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation
2024年基于Diffusion Models的数字人技术风风火火,Hallo绝对是其中最火的一个之一。Hallo一大亮点是引入了hierarchical audio-driven visual synthesis模块,该模块采用交叉注意机制来建立音频与视觉特征(比如嘴唇、表情和头部姿势)之间的对应关系。随后,使用自适应权重融合这些交叉注意力。基于这种分层音频驱动的视觉合成模块,我们可以手动控制视频里人物的嘴唇、表情和头部姿势的强度。
6、畅游Diffusion数字人(6): JoyHallo: Digital human model for Mandarin
目前音频驱动大部分的论文和数据都是围绕英文输入驱动打造的,应用在东亚人和国语上效果有所降低。与英语相比,普通话中复杂的嘴唇动作使模型训练更加复杂。这篇博客介绍京东提出的数字人技术《JoyHallo: Digital human model for Mandarin》
7、畅游Diffusion数字人(7):基于UNet的人像保持视频数字人生成ID-Animator
在数字人视频生成领域中身份保持是一个核心问题,如何生成指定身份的高保真视频呢?这比生成指定主题的视频难度大很多,因为人类的ID不仅细致而且敏感,稍微有一丝丝特征不像就很明显。这篇博客介绍一种目前开源的最好方法之一《ID-Animator: Zero-Shot Identity-Preserving Human Video Generation》。
8、畅游Diffusion数字人(8):基于DiT的人像保持视频数字人生成
人像保持视频生成是数字人领域一大难点,特别是不需要后训练的方法。虽然现在可灵等商业工具有类似的功能,但是都需要被LoRA后训练。因此一个Train-free的方法意义重大。本篇博客介绍新鲜出炉CVPR2025《Identity-Preserving Text-to-Video Generation by Frequency Decomposition》。
9、畅游Diffusion数字人(9):主题ID可控视频数字人生成技术VCD
在生成模型领域,针对特定身份(ID)创建内容已经引起了极大的兴趣。在文本到图像生成(T2I)领域,以主题驱动的内容生成已经取得了巨大的进展,使图像中的ID可控。然而,将其扩展到视频生成领域尚未得到很好的探索。今天分享的这个工作,提出了一个简单而有效的主题ID可控视频生成框架,称为Video Custom Diffusion(VCD)。
10、畅游Diffusion数字人(10):据文本或音频自动生成说话和移动的数字人技术
谷歌提出了一种根据文本或音频自动生成说话和移动的人的视频的方法,是后来Echomimic2、CyberHost等技术的鼻祖,这篇博客详细解读谷歌这篇经典的工作《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》。
11、畅游Diffusion数字人(11):解锁最强大的SMPL模型
越来越多的数字人技术里用到了SMPL技术,其中最常用的就是去年年底又OpenMMLab出品的SMPLer-X。这篇博客就从原始论文《SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation》出发讲解一下原理。
12、畅游Diffusion数字人(12):基于DiT架构的虚拟试衣技术
介绍虚拟人试衣技术的论文和博客很多,都是基于Unet结构的模型。时间来到2025年,已经是DiT模型的天下。因此本篇博客介绍基于DiT架构的虚拟试衣技术,希望能给读者们带来启发。
13、畅游Diffusion数字人(13):首个基于DiT的高清肖像视频生成HALLO3
基于Unet的HALLO1 和HALLO2 非常成功,HALLO3是首个基于DiT的高清肖像视频生成的技术,也是完全开源的,在开源社区获得了非常多的好评。这篇博客就详细解读一下HALLO3。
14、畅游Diffusion数字人(14):基于3D人体网格的语音驱动手势视频生成 ECCV 2024
根据语音输入生成与说话内容、情感和节奏相匹配的自然、流畅且逼真的手势视频。该技术在虚拟形象、虚拟现实、动画制作等领域具有重要应用价值。然而这方面的研究非常少,这篇博客解读一篇ECCV 2024的最新论文。
15、畅游Diffusion数字人(15):详细解读字节跳动最新论文——音频+姿态控制人类视频生成OmniHuman-1
昨晚字节跳动刚发布了一篇音频+姿态控制人类视频生成OmniHuman-1的论文,效果非常炸裂,并且是基于最新的MM-DiT架构,今天博主详细解读一下这一技术。
16、畅游Diffusion数字人(16):由音乐驱动跳舞视频生成
从Pose到跳舞视频生成的工作非常多,但是还没有直接从音乐驱动生成的工作。最近字节跳动提出了MuseDance,无需复杂的动作引导输入(如姿势或深度序列),从而使不同专业水平的用户都能轻松进行灵活且富有创意的视频生成。
17、畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression
FLAME(Faces Learned with an Articulated Model and Expressions)是一种用于生成和模拟三维人脸形状及表情的参数化模型。他的表达准确和便捷,以至于时至今日依旧流行。这篇博客从论文和代码学习一下FLAME。
18、畅游Diffusion数字人(18):使用Diffusion Models生成FLAME数字人
上一篇博客《畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression》讲了如何FLAME用来表达人脸和表情的优势,这篇博客介绍一下如何用Diffusion Models生成FLAME数字人。
19、畅游Diffusion数字人(19):NIPS 2024 Oral实时音频驱动数字人 VASA-1
今天要介绍微软亚洲研究院的一篇NIPS 2024论文,在公开的rebuttle阶段宣布即将开源模型,时至今日依然没有开源引发热议。今天笔者就详细解读一下这篇论文,和读者们一起学习一下。
20、畅游Diffusion数字人(20):FLAME代码解读与实现
之前的博客《畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression》讲解了FLAME的原理,这篇博客主要讲解一下FLAME的代码实现。
21、畅游Diffusion数字人(21):基于Wan2.1的音频驱动数字人FantasyTalking
AI数字人是目前视觉AIGC最有希望大规模落地的场景之一。现阶段的商业工具,如字节的OminiHuman-1(即梦大师版)、快手的可灵对口型,虽然效果不错,但是收费昂贵。而开源解决方案,如Hallo3、Sonic,效果与商业工具仍存在不小差距。FantasyTalking是一个基于Wan2.1的对口型工作,相比之前的开源方案在效果上进步显著。
22、畅游Diffusion数字人(22):CVPR2025解读首个基于DiT的数字人Hallo3
之前介绍过很多基于Unet的数字人工作,这些工作受限于基模的能力,在人物的动态性和生动性上非常有限。这篇博客介绍Hallo3,这是第一个基于DiT的数字人工作。
23、畅游Diffusion数字人(23):字节最新表情+动作模仿视频生成DreamActor-M1
之前有很多动作模仿或者表情模仿的工作,但是如果要在实际使用中进行电影级的复刻工作,仅仅表情或动作模仿还不够,需要表情和动作一起模仿。最近字节跳动提出了一个表情+动作模仿视频生成DreamActor-M1。
24、畅游Diffusion数字人(24):基于CogVideoX的表情驱动视频生成技术SkyReels-A1
用传统的3DMM方法做表情驱动局限性非常大,现有的方法仍然会遇到身份失真、背景不稳定和不切实际的面部动态等问题,特别是在纯头部动画场景中,并且不同的身体比例通常会导致视觉不一致或不自然的关节。这篇博客介绍使用CogVideoX作为基础模型的唯一表情驱动生成的工作SkyReels-A1,能够完美解决之前3DMM的问题。
25、畅游Diffusion数字人(25):长时间高分辨率音频驱动数字人技术Hallo2
时至今日,以长时间和高分辨率为卖点的数字人技术依旧很少。这篇博客解读一篇经典的论文,也是Hallo系列的力作之一Hallo2: Long-Duration and High-Resolution Audio-driven Portrait Image Animation。
26、畅游Diffusion数字人(26):腾讯音频驱动数字人技术Sonic
之前绝大多数Diffusion数字人都是基于AnimateDiff基础模型的,基于SVD基础模型的非常少。最近腾讯发布了基于SVD的数字人技术Sonic,效果非常好,甚至比基于CogVideox的Hallo3的还要惊艳,值得深入研究。
27、畅游Diffusion数字人(27):解读字节跳动提出主题定制视频生成技术Phantom
主题定制视频生成,特别是zero-shot主题定制视频生成,一直是当前领域的一个难点,之前的方法效果很差。字节跳动提出了一个技术主题定制视频生成技术Phantom,效果相比于之前的技术进步非常显著。这篇博客详细解读一下这一工作。
28、畅游Diffusion数字人(28):InstantID原班人马提出个性化人物定制InstantCharacter
InstantX实验室又推出大作啦,这次是InstantID的原作者联合腾讯混元提出了个性化人物定制的论文《InstantCharacter:Personalize Any Characters with a Scalable Diffusion Transformer Framework》。这个任务比ID保持难度大,更具有挑战性。这篇博客详细解读一下InstantCharacter的原理。
29、畅游Diffusion数字人(29):腾讯混元团队提出数字人表情控制HunyuanPortrait
之前解读过很多经典的表情控制的工作,如Echomimic、Follow-your-Emoji等。最近讯混元团队提出数字人表情控制HunyuanPortrait,这个工作在效果上明显超越了之前的工作,这篇博客详细解读一下这篇论文。
30、畅游Diffusion数字人(30):情绪化数字人视频生成
仅从音频生成此类运动极具挑战性,因为它在音频和运动之间存在一对多的相关性。运动视频的情绪是多元化的选择,之前的工作很少考虑情绪化的数字人生成。今天解读一个最新的工作FLOAT,可以生成制定情绪化的数字人视频。
31、畅游Diffusion数字人(31):FantasyPortrait打造全新面部驱动引擎
从静态图像生成富有表现力的面部动画是一项具有挑战性的任务。以往依赖显式几何先验(如人脸关键点或三维形状模型 3DMM)的方法,在跨身份迁移时容易产生伪影,且难以捕捉细腻的情感。此外,现有方法普遍不支持多角色动画生成,因为来自不同角色的驱动特征往往会相互干扰,进一步加大任务的复杂度。为了解决这些问题,阿里巴巴提出了 FantasyPortrait,一个基于扩散变换器的框架,能够在单角色和多角色场景中生成高保真、情感丰富的面部动画。
651



被折叠的 条评论
为什么被折叠?



