畅游Diffusion数字人(0):专栏文章导航

数字人
专栏收录该内容
¥9.90
¥99.00
35 篇文章

1、畅游Diffusion数字人(1):DreamTalk When Expressive Talking Head Generation Meets Diffusion Probabilistic

DreamTalk是一个基于扩散的音频驱动的富有表现力的说话头生成框架,可以生成不同说话风格的高质量的说话头视频。DreamTalk对各种输入表现出强大的性能,包括歌曲、多语言语音、噪声音频和域外肖像。

2、畅游Diffusion数字人(2):EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video

EMO仅需一张人物肖像照片和音频,就可以让照片中的人物按照音频内容“张嘴”唱歌、说话,且口型基本一致,面部表情和头部姿态非常自然。这篇博客将详细解读EMO的原理。

3、畅游Diffusion数字人(3):AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

腾讯提出了一种新颖的框架 AniPortrait ,用于通过音频和参考肖像图像生成高质量的动画。从展示效果来看,能接近阿里的EMO的水平。最重要的是完全开源,这点比emo强到不知道哪里去了...

4、畅游Diffusion数字人(4): EchoMimic: Lifelike Audio-Driven Portrait Animations through EditableLandmark Co

目前肖像图片动画(portrait image animation)领域存在的一个问题是,仅由音频驱动的方法由于音频信号相对较弱,有时会不稳定,而仅由面部关键点驱动的方法虽然驱动更稳定,但由于对关键点信息的过度控制,可能会导致不自然的结果。EchoMimic 同时使用音频和面部关键点进行训练,有效解决了这一问题。

5、畅游Diffusion数字人(5):Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation

2024年基于Diffusion Models的数字人技术风风火火,Hallo绝对是其中最火的一个之一。Hallo一大亮点是引入了hierarchical audio-driven visual synthesis模块,该模块采用交叉注意机制来建立音频与视觉特征(比如嘴唇、表情和头部姿势)之间的对应关系。随后,使用自适应权重融合这些交叉注意力。基于这种分层音频驱动的视觉合成模块,我们可以手动控制视频里人物的嘴唇、表情和头部姿势的强度。

6、畅游Diffusion数字人(6): JoyHallo: Digital human model for Mandarin

目前音频驱动大部分的论文和数据都是围绕英文输入驱动打造的,应用在东亚人和国语上效果有所降低。与英语相比,普通话中复杂的嘴唇动作使模型训练更加复杂。这篇博客介绍京东提出的数字人技术《JoyHallo: Digital human model for Mandarin》

7、畅游Diffusion数字人(7):基于UNet的人像保持视频数字人生成ID-Animator

在数字人视频生成领域中身份保持是一个核心问题,如何生成指定身份的高保真视频呢?这比生成指定主题的视频难度大很多,因为人类的ID不仅细致而且敏感,稍微有一丝丝特征不像就很明显。这篇博客介绍一种目前开源的最好方法之一《ID-Animator: Zero-Shot Identity-Preserving Human Video Generation》。

8、畅游Diffusion数字人(8):基于DiT的人像保持视频数字人生成

人像保持视频生成是数字人领域一大难点,特别是不需要后训练的方法。虽然现在可灵等商业工具有类似的功能,但是都需要被LoRA后训练。因此一个Train-free的方法意义重大。本篇博客介绍新鲜出炉CVPR2025《Identity-Preserving Text-to-Video Generation by Frequency Decomposition》。

9、畅游Diffusion数字人(9):主题ID可控视频数字人生成技术VCD

在生成模型领域,针对特定身份(ID)创建内容已经引起了极大的兴趣。在文本到图像生成(T2I)领域,以主题驱动的内容生成已经取得了巨大的进展,使图像中的ID可控。然而,将其扩展到视频生成领域尚未得到很好的探索。今天分享的这个工作,提出了一个简单而有效的主题ID可控视频生成框架,称为Video Custom Diffusion(VCD)。

10、畅游Diffusion数字人(10):据文本或音频自动生成说话和移动的数字人技术

谷歌提出了一种根据文本或音频自动生成说话和移动的人的视频的方法,是后来Echomimic2、CyberHost等技术的鼻祖,这篇博客详细解读谷歌这篇经典的工作《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》。

11、畅游Diffusion数字人(11):解锁最强大的SMPL模型

越来越多的数字人技术里用到了SMPL技术,其中最常用的就是去年年底又OpenMMLab出品的SMPLer-X。这篇博客就从原始论文《SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation》出发讲解一下原理。

12、畅游Diffusion数字人(12):基于DiT架构的虚拟试衣技术

介绍虚拟人试衣技术的论文和博客很多,都是基于Unet结构的模型。时间来到2025年,已经是DiT模型的天下。因此本篇博客介绍基于DiT架构的虚拟试衣技术,希望能给读者们带来启发。

13、畅游Diffusion数字人(13):首个基于DiT的高清肖像视频生成HALLO3

基于Unet的HALLO1 和HALLO2 非常成功,HALLO3是首个基于DiT的高清肖像视频生成的技术,也是完全开源的,在开源社区获得了非常多的好评。这篇博客就详细解读一下HALLO3。

14、畅游Diffusion数字人(14):基于3D人体网格的语音驱动手势视频生成 ECCV 2024

根据语音输入生成与说话内容、情感和节奏相匹配的自然、流畅且逼真的手势视频。该技术在虚拟形象、虚拟现实、动画制作等领域具有重要应用价值。然而这方面的研究非常少,这篇博客解读一篇ECCV 2024的最新论文。

15、畅游Diffusion数字人(15):详细解读字节跳动最新论文——音频+姿态控制人类视频生成OmniHuman-1

昨晚字节跳动刚发布了一篇音频+姿态控制人类视频生成OmniHuman-1的论文,效果非常炸裂,并且是基于最新的MM-DiT架构,今天博主详细解读一下这一技术。

16、畅游Diffusion数字人(16):由音乐驱动跳舞视频生成

从Pose到跳舞视频生成的工作非常多,但是还没有直接从音乐驱动生成的工作。最近字节跳动提出了MuseDance,无需复杂的动作引导输入(如姿势或深度序列),从而使不同专业水平的用户都能轻松进行灵活且富有创意的视频生成。

17、畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression

FLAME(Faces Learned with an Articulated Model and Expressions)是一种用于生成和模拟三维人脸形状及表情的参数化模型。他的表达准确和便捷,以至于时至今日依旧流行。这篇博客从论文和代码学习一下FLAME。

18、畅游Diffusion数字人(18):使用Diffusion Models生成FLAME数字人

上一篇博客《畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression》讲了如何FLAME用来表达人脸和表情的优势,这篇博客介绍一下如何用Diffusion Models生成FLAME数字人。

19、畅游Diffusion数字人(19):NIPS 2024 Oral实时音频驱动数字人 VASA-1

今天要介绍微软亚洲研究院的一篇NIPS 2024论文,在公开的rebuttle阶段宣布即将开源模型,时至今日依然没有开源引发热议。今天笔者就详细解读一下这篇论文,和读者们一起学习一下。

20、畅游Diffusion数字人(20):FLAME代码解读与实现

之前的博客《畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression》讲解了FLAME的原理,这篇博客主要讲解一下FLAME的代码实现。

21、畅游Diffusion数字人(21):基于Wan2.1的音频驱动数字人FantasyTalking

AI数字人是目前视觉AIGC最有希望大规模落地的场景之一。现阶段的商业工具,如字节的OminiHuman-1(即梦大师版)、快手的可灵对口型,虽然效果不错,但是收费昂贵。而开源解决方案,如Hallo3、Sonic,效果与商业工具仍存在不小差距。FantasyTalking是一个基于Wan2.1的对口型工作,相比之前的开源方案在效果上进步显著。

22、畅游Diffusion数字人(22):CVPR2025解读首个基于DiT的数字人Hallo3

之前介绍过很多基于Unet的数字人工作,这些工作受限于基模的能力,在人物的动态性和生动性上非常有限。这篇博客介绍Hallo3,这是第一个基于DiT的数字人工作。

23、畅游Diffusion数字人(23):字节最新表情+动作模仿视频生成DreamActor-M1

之前有很多动作模仿或者表情模仿的工作,但是如果要在实际使用中进行电影级的复刻工作,仅仅表情或动作模仿还不够,需要表情和动作一起模仿。最近字节跳动提出了一个表情+动作模仿视频生成DreamActor-M1。

24、畅游Diffusion数字人(24):基于CogVideoX的表情驱动视频生成技术SkyReels-A1

用传统的3DMM方法做表情驱动局限性非常大,现有的方法仍然会遇到身份失真、背景不稳定和不切实际的面部动态等问题,特别是在纯头部动画场景中,并且不同的身体比例通常会导致视觉不一致或不自然的关节。这篇博客介绍使用CogVideoX作为基础模型的唯一表情驱动生成的工作SkyReels-A1,能够完美解决之前3DMM的问题。

25、畅游Diffusion数字人(25):长时间高分辨率音频驱动数字人技术Hallo2

时至今日,以长时间和高分辨率为卖点的数字人技术依旧很少。这篇博客解读一篇经典的论文,也是Hallo系列的力作之一Hallo2: Long-Duration and High-Resolution Audio-driven Portrait Image Animation。

26、畅游Diffusion数字人(26):腾讯音频驱动数字人技术Sonic

之前绝大多数Diffusion数字人都是基于AnimateDiff基础模型的,基于SVD基础模型的非常少。最近腾讯发布了基于SVD的数字人技术Sonic,效果非常好,甚至比基于CogVideox的Hallo3的还要惊艳,值得深入研究。

27、畅游Diffusion数字人(27):解读字节跳动提出主题定制视频生成技术Phantom

主题定制视频生成,特别是zero-shot主题定制视频生成,一直是当前领域的一个难点,之前的方法效果很差。字节跳动提出了一个技术主题定制视频生成技术Phantom,效果相比于之前的技术进步非常显著。这篇博客详细解读一下这一工作。

28、畅游Diffusion数字人(28):InstantID原班人马提出个性化人物定制InstantCharacter

InstantX实验室又推出大作啦,这次是InstantID的原作者联合腾讯混元提出了个性化人物定制的论文《InstantCharacter:Personalize Any Characters with a Scalable Diffusion Transformer Framework》。这个任务比ID保持难度大,更具有挑战性。这篇博客详细解读一下InstantCharacter的原理。

29、畅游Diffusion数字人(29):腾讯混元团队提出数字人表情控制HunyuanPortrait

之前解读过很多经典的表情控制的工作,如Echomimic、Follow-your-Emoji等。最近讯混元团队提出数字人表情控制HunyuanPortrait,这个工作在效果上明显超越了之前的工作,这篇博客详细解读一下这篇论文。

30、畅游Diffusion数字人(30):情绪化数字人视频生成

仅从音频生成此类运动极具挑战性,因为它在音频和运动之间存在一对多的相关性。运动视频的情绪是多元化的选择,之前的工作很少考虑情绪化的数字人生成。今天解读一个最新的工作FLOAT,可以生成制定情绪化的数字人视频。

31、畅游Diffusion数字人(31):FantasyPortrait打造全新面部驱动引擎

从静态图像生成富有表现力的面部动画是一项具有挑战性的任务。以往依赖显式几何先验(如人脸关键点或三维形状模型 3DMM)的方法,在跨身份迁移时容易产生伪影,且难以捕捉细腻的情感。此外,现有方法普遍不支持多角色动画生成,因为来自不同角色的驱动特征往往会相互干扰,进一步加大任务的复杂度。为了解决这些问题,阿里巴巴提出了 FantasyPortrait,一个基于扩散变换器的框架,能够在单角色和多角色场景中生成高保真、情感丰富的面部动画。

畅游Diffusion数字人(26):腾讯音频驱动数字人技术Sonic 之前绝大多数Diffusion数字人都是基于AnimateDiff基础模型的,基于SVD基础模型的非常少。最近腾讯发布了基于SVD的数字人技术Sonic,效果非常好,甚至比基于CogVideox的Hallo3的还要惊艳,值得深入研究。 918 阅读·14 点赞·7 收藏 阅读详情

相关推荐

畅游Diffusion数字人(18):使用Diffusion Models生成FLAME数字人DiffPoseTalk

上一篇博客《畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression》讲了如何FLAME用来表达人脸和表情的优势,这篇博客介绍一下如何用Diffusion Models生成FLAME数字人。

沉迷单车的追风少年 651

畅游Diffusion数字人(22):CVPR2025解读首个基于DiT的数字人Hallo3

之前介绍过很多基于Unet的数字人工作,这些工作受限于基模的能力,在人物的动态性和生动性上非常有限。这篇博客介绍Hallo3,这是第一个基于DiT的数字人工作。

沉迷单车的追风少年 780

畅游Diffusion数字人(11):解锁最强大的SMPL模型

越来越多的数字人技术里用到了SMPL技术,其中最常用的就是去年年底又OpenMMLab出品的SMPLer-X。这篇博客就从原始论文《SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation》出发讲解一下原理。

沉迷单车的追风少年 1678

畅游Diffusion数字人(8):基于DiT的人像保持视频数字人生成

人像保持视频生成是数字人领域一大难点,特别是不需要后训练的方法。虽然现在可灵等商业工具有类似的功能,但是都需要被LoRA后训练。因此一个Train-free的方法意义重大。本篇博客介绍新鲜出炉CVPR2025《Identity-Preserving Text-to-Video Generation by Frequency Decomposition》。

沉迷单车的追风少年 920

畅游Diffusion数字人(7):基于UNet的人像保持视频数字人生成ID-Animator

在数字人视频生成领域中身份保持是一个核心问题,如何生成指定身份的高保真视频呢?这比生成指定主题的视频难度大很多,因为人类的ID不仅细致而且敏感,稍微有一丝丝特征不像就很明显。这篇博客介绍一种目前开源的最好方法之一《ID-Animator: Zero-Shot Identity-Preserving Human Video Generation》。

沉迷单车的追风少年 881

畅游Diffusion数字人(29):腾讯混元团队提出数字人表情控制HunyuanPortrait

之前解读过很多经典的表情控制的工作,如Echomimic、Follow-your-Emoji等。最近讯混元团队提出数字人表情控制HunyuanPortrait,这个工作在效果上明显超越了之前的工作,这篇博客详细解读一下这篇论文。

沉迷单车的追风少年 877

畅游Diffusion数字人(10):据文本或音频自动生成说话和移动的数字人技术

谷歌提出了一种根据文本或音频自动生成说话和移动的人的视频的方法,是后来Echomimic2、CyberHost等技术的鼻祖,这篇博客详细解读谷歌这篇经典的工作《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》。

沉迷单车的追风少年 1044

畅游Diffusion数字人(30):情绪化数字人视频生成

仅从音频生成此类运动极具挑战性,因为它在音频和运动之间存在一对多的相关性。运动视频的情绪是多元化的选择,之前的工作很少考虑情绪化的数字人生成。今天解读一个最新的工作FLOAT,可以生成制定情绪化的数字人视频。

沉迷单车的追风少年 1283

畅游Diffusion数字人(20):FLAME代码解读与实现

​ 之前的博客《畅游Diffusion数字人(17):更强大的人脸和表情表达方法 FLAME:Learning a model of facial shape and expression》讲解了FLAME的原理,这篇博客主要讲解一下FLAME的代码实现。

沉迷单车的追风少年 1135

畅游Diffusion数字人(19):NIPS 2024 Oral实时音频驱动数字人 VASA-1

今天要介绍微软亚洲研究院的一篇NIPS 2024论文,在公开的rebuttle阶段宣布即将开源模型,时至今日依然没有开源引发热议。今天笔者就详细解读一下这篇论文,和读者们一起学习一下。

沉迷单车的追风少年 679

畅游Diffusion数字人(12):基于DiT架构的虚拟试衣技术

介绍虚拟人试衣技术的论文和博客很多,都是基于Unet结构的模型。时间来到2025年,已经是DiT模型的天下。因此本篇博客介绍基于DiT架构的虚拟试衣技术,希望能给读者们带来启发。

沉迷单车的追风少年 837

畅游Diffusion数字人(25):长时间高分辨率音频驱动数字人技术Hallo2

时至今日,以长时间和高分辨率为卖点的数字人技术依旧很少。这篇博客解读一篇经典的论文,也是Hallo系列的力作之一Hallo2: Long-Duration and High-Resolution Audio-driven Portrait Image Animation。

沉迷单车的追风少年 568

畅游Diffusion数字人(16):由音乐驱动跳舞视频生成

从Pose到跳舞视频生成的工作非常多,但是还没有直接从音乐驱动生成的工作。最近字节跳动提出了MuseDance,无需复杂的动作引导输入(如姿势或深度序列),从而使不同专业水平的用户都能轻松进行灵活且富有创意的视频生成。

沉迷单车的追风少年 1017

畅游Diffusion数字人(9):主题ID可控视频数字人生成技术VCD

在生成模型领域,针对特定身份(ID)创建内容已经引起了极大的兴趣。在文本到图像生成(T2I)领域,以主题驱动的内容生成已经取得了巨大的进展,使图像中的ID可控。然而,将其扩展到视频生成领域尚未得到很好的探索。今天分享的这个工作,提出了一个简单而有效的主题ID可控视频生成框架,称为Video Custom Diffusion(VCD)。

沉迷单车的追风少年 733

Unity插件 - SALSA LipSync Suite

语音驱动表情插件

碎碎念android eMMC【转】

本文转载自:https://blog.csdn.net/Fybon/article/details/44242549 一、/dev/blockroot@:/dev/block #lsbootdevicemmcblk0mmcblk0p1mmcblk0p10…….mmcblk0p18mmcblk0p19mmcblk0p2mmcblk0p20……mmcblk0p29mmcblk0p3mmcblk0p3...

zzb2760715357的博客 383

从零搭建一个虚拟ECU:手把手用Autosar CP模块模拟汽车灯控系统(基于Vector工具链)

本文详细介绍了如何使用Vector工具链从零搭建一个基于Autosar CP架构的虚拟ECU系统,模拟汽车灯光控制功能。通过环境搭建、模块配置、通信栈设置到灯光控制逻辑实现的全流程指导,帮助开发者掌握Autosar CP模块术语的实际应用,并提供了系统集成与测试的实用方案。

weixin_42628688的博客 318

【数学基础】基于欧拉角表达的旋转顺序

欧拉角旋转顺序

FalschxMico 1385

开源数显表

开源数显表,广泛应用于车床、铣床、磨床、镗床、火花机、线切割等。市面上此类液晶数显表多数都是基于此项目。 一、基本配置 硬件 主控:STM32F407VGT6 LCD:群创AT070TN92 显示驱动:RA8875 光栅尺:3 x 输入(X/Y/Z) 串口:1 x MAX3232 继电器:2 x 输出 存储:AT24C64 模拟输入:LM324C 电源:AC 220V 软件 工程版本:Keil 5 STM32库:V1.4.0 图形界面:uCGUI 多语言支持:中文、英文 二、项目文

m0_70934529的博客 441

5G协议栈逆向工程:基于开源模拟器的核心网信令分析实战

本文详细介绍了基于开源模拟器Free5GC和UERANSIM的5G协议栈逆向工程实战,涵盖核心网信令分析、环境搭建、认证协议解析及安全漏洞验证。通过NGAP/NAS信令交互解密和异常流量注入测试,帮助研究人员深入理解5G网络安全机制,并提供实用的安全加固建议。

weixin_29250573的博客 680

【100%通过率】华为机试真题 Python 实现【对称美学】【2022.11 Q4 新题】

对称就是最大的美学,现有一道关于对称字符串的美学。 已知: 第1个字符串:R 第2个字符串:BR 第3个字符串:RBBR 第4个字符串:BRRBRBBR 第5个字符串:RBBRBRRBBRRBRBBR相信你已经发现规律了,没错! 就是第i个字符串=第i-1号字符串的取反+第i-1号字符串。取反即(R->B,B->R); 现在告诉你n和k,让你求得第n个字符串的第k个字符是多少。(k的编号从0开始)

MISAYAONE的博客 1万+

华为od 面试八股文_测试/测试开发_01_含答案

华为od面试八股文_测试/测试开发_01_含答案

MISAYAONE的博客 3826

直捣黄龙~

这篇文章描述了一个矩阵寻路问题,要求计算从起点到终点的最短路径数量及长度。主要思路是通过BFS算法解决:首先标记哨兵警戒区域为禁区,然后从起点出发进行广度优先搜索,记录每个位置的最短步数和路径条数。当到达终点时,输出路径数和步数;若不可达则返回(0,0)。算法使用队列实现BFS,同时处理路径统计和步数记录,适用于网格寻路类问题。

面试高手的博客 221

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上一篇: 畅游Diffusion数字人(6): JoyHallo: Digital human model for Mandarin
下一篇: 表征对齐在训练DiT模型中的重要性
沉迷单车的追风少年
沉迷单车的追风少年 优质创作者: 人工智能技术领域 优质创作者: 人工智能技术领域 领域专家: C/C++技术领域 领域专家: C/C++技术领域
博客等级 码龄9年 3万+粉丝 1015原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址