Monodepth:基于左右一致性的无监督单目深度估计,单目估计的起步-k学长深度学习专栏

本文来源:k学长的深度学习宝库,点击查看源码&详细教程。深度学习,从入门到进阶,你想要的,都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。

在这里插入图片描述
1、Monodepth 的背景和动机
1.1、背景
在计算机视觉里,“深度”(Depth)指的是场景中物体距离相机的远近。 想象你用手机拍一张街景照片:虽然照片是二维的,但我们人类能直观感受到哪些车更近、哪些建筑更远。这是因为我们的大脑利用了各种视觉线索,比如 大小对比(远处车看起来更小)、遮挡关系(近处的东西挡住远处)、阴影和光照等。
对于机器来说,理解深度也非常重要,特别是在以下场景中:
自动驾驶:汽车要知道行人、车辆与自己的距离;
机器人:机械臂需要估计物体深度来完成抓取;
AR/VR:虚拟物体需要准确插入现实世界场景中;
1.2、传统做法的挑战
历史上,获取深度的方法主要有两类:
硬件测量:比如用激光雷达(LiDAR)直接打点测距。 缺点是昂贵、笨重,并且在复杂场景下精度有限。
多视角方法:比如用双目相机(像人眼)或者多张不同角度的照片,通过几何计算得到深度。
用一个通俗的比喻来解释“双目相机/多视角几何计算得到深度”的过程
为什么需要两只眼睛?
想象一下你用一只眼睛看世界,东西是“平”的,很难判断远近。打开两只眼睛,你就能感受到深度。这是因为左右眼看到的画面略有差别(比如近处的物体在左眼画面里偏左,在右眼画面里偏右)。

核心原理:视差
这种左右画面的差别叫 “视差”。 举个例子:

把手指放在眼前,然后左右眼轮流闭眼。你会发现手指相对背景位置“跳来跳去”。
跳动的大小就是视差。越近的物体跳得越厉害,越远的物体几乎不跳。
所以,物体的距离可以通过视差来推算。

几何计算的过程(通俗版)
用相机来说就是:

已知:两台相机的相对位置(“基线长度”,就像两只眼睛之间的距离)。
拍摄:得到两张略有差别的照片。
找点:在两张照片里,找到同一个物体上的点(比如同一只小猫的鼻子)。
测视差:看这个点在左图和右图里的水平位置差了多少。
套公式:根据三角形几何关系,用公式算出深度(距离相机多远)。
但这需要 多台相机 或者 视频序列,而且必须校准严格。
在深度学习兴起后,有人尝试直接训练神经网络,从单张图像里预测深度。但这类方法通常需要 大量真实的深度标注数据(图像+精确的深度值),而这些数据获取起来极为困难。 比如要训练一个自动驾驶模型,需要为成千上万张街景图片提供精确的像素级深度信息,这在现实中几乎不可行。

1.3、Monodepth 的动机
作者提出了一个新想法:
能不能只用普通的双目相机拍摄的左右图像,而不需要昂贵的激光雷达深度标注,就让模型学会预测单张图像的深度?

关键点在于:

从左图生成右图(或者反过来)其实本质上就是“图像重建”问题;
如果模型能成功做到这一点,说明它学会了图像里“远近关系”的规律,也就是深度。
当说“从左图生成右图(或反过来)是图像重建”时,意思是:

如果模型只看了一张眼睛的图(比如左眼),就能把另一只眼睛应该看到的图(右眼)画出来。
这等于它在脑子里“重建”了场景的三维结构。
为什么这说明模型学会了深度?
因为要把左眼图变成右眼图,它必须知道:

哪些物体离得近(要偏移很多)
哪些物体离得远(偏移很少)
这正是 远近关系/深度 的规律。 所以,如果模型能做到双目图的互相生成,就说明它已经“看懂了深度”。

👉 用更简单的比喻:

就像你闭上一只眼睛,如果你能凭经验想象另一只眼睛看到的画面,说明你其实已经理解了物体在空间里的远近位置。

因此,Monodepth 的核心动机就是: 👉 把深度预测转化为图像重建问题,用双目图像训练,让模型学会单目深度估计,而无需真实深度标注。

1.4、打个形象的比喻
你可以把 Monodepth 想象成一个 “学画” 的过程:
老师给它看一张左眼拍的照片(左图),要求它凭想象画出右眼应该看到的画面(右图)。
如果它画得像模像样,说明它理解了哪些东西近、哪些远。
久而久之,它学会了在只看一张图时,也能脑补出场景的三维结构。
这就是 Monodepth 想要解决的核心问题: 让机器像人一样,从单眼图像里“看出”立体感。

1.5、Monodepth 的核心思想
Monodepth 的关键点就是: 利用双目相机的左右图像,把“深度估计”转化为“图像重建”问题。
具体来说:
输入:一张左图像(或者右图像);
预测:模型输出这张图的每个像素的“视差图”(disparity map);
视差可以理解为“两个眼睛看到的同一个点的水平偏移量”;
视差和深度成反比:物体越近,偏移越大;物体越远,偏移越小。
重建:通过预测的视差,把左图“挪动”一下,生成右图;或者反过来。
监督:拿生成的图像和真实的右图(相机拍的)比较,差异越小,说明模型越好。
👉 总结一下:模型通过图像重建的准确性,来间接学习深度信息,而完全不需要激光雷达的深度标注。
2、Monodepth 的最大创新点
1、如果要用一句话概括:
Monodepth 最大的创新点,就是把“单目深度估计”转化为一个“无监督的图像重建问题”,并引入左右一致性约束来提升几何精度。
左右一致性约束是啥?
单靠上面的“图像重建”可能会有歧义:

某些纹理少或重复的地方(比如白墙、天空),网络可能随便预测一个深度,也能凑合把图像对齐。
这样得到的深度会很不稳定。
所以作者引入了一个额外的约束:

既然我能从 左图预测深度(得到左→右的视差),
也能从 右图预测深度(得到右→左的视差),
那么这两个视差应该是互相一致的。
举个例子:

假设左图里某个像素通过预测视差,落在右图的某个位置。
那么从右图预测的视差,再“跳回”左图时,应该能回到原来的位置。
如果跳不回去,就说明预测的深度不合理。
这就是 左右一致性约束(Left-Right Consistency Constraint)。

2、三种策略
你站在马路边,用 左眼 和 右眼 各拍了一张照片。现在你的任务是: 👉 只给 AI 一张照片(比如左眼图),让它学会“补出另一只眼睛看到的画面”。
这个过程中就有三种策略(对应图里的三列):
image.png
图中共同元素先认一下
Input:底部红/蓝框,分别是左图 Il与右图 Ir(双目相机拍的一对校正图像)。
CNN:紫色“沙漏”,输入图像经编码器-解码器得到视差图(绿色框 d)。视差越大表示物体越近。
Sampler:橙色带 ⊗ 的模块,是双线性采样器(来自 STN),用“视差”去从源图采样来生成目标图,形成可微的反向映射(backward warping)。
Output / Target:输出是重建的图 I~,与真实的目标图 I 做外观匹配损失(像素 L1 + SSIM);还会加视差平滑损失与(如果有)左右一致性损失

Naïve(天真的方法)
做法:AI 看左眼照片,直接尝试画出右眼的样子。
问题:它画出来的右眼图看上去还行,但其实它心里想的是“右眼坐标系”,跟左眼输入没完全对齐。
形象比喻:就像一个学生照着别人的画来临摹,但没对准纸,画偏了,位置坐标全乱了。
后果:AI 在训练时好像表现不错,但一旦只给它一只眼(左图)去预测深度,就会乱套,没法直接用。
No LR(没有左右一致性)
做法:这次换个角度,AI 不再直接画右眼,而是用左眼图去推测深度,再从右眼图里“拼”出左眼。
优点:这样学到的结果至少和左眼输入对齐了(坐标对上了)。
问题:但 AI 有时候会“投机取巧”——比如马路边有个柱子,右眼其实看不到后面的墙,它还是硬生生把纹理“抹上去”,导致画面出现拉花或鬼影。
形象比喻:学生画画时不会的地方就“瞎补”,结果边界模糊、图像歪掉。
Ours(论文的方法)
做法:论文的方法最聪明:
AI 只看左眼照片,但它一次性要画出两份深度——既要能合成右眼画面,也要能合成回左眼画面。
左右两份预测还要互相对照,必须匹配上,否则会被惩罚。
优点:这样一来,AI 不光要让画看起来像,还要保证左右两张画在空间上对得上。
形象比喻:就像画立体画的学生,老师要求:
“你得同时画出左眼和右眼的透视图”;
“而且这两张画必须对得上号”。 这样学生就不能再瞎蒙,而是必须真正理解物体的远近关系。
总结一句话
Naïve:图像坐标对不上,预测不能用。
No LR:坐标对上了,但容易瞎补出错。
Ours:双眼互相监督,既对齐又一致,学到真正的立体几何。

3、Monodepth 的网络结构与损失函数设计
image.png

  1. 编码器(左边绿色方块) → 相当于眼睛的大脑前端
    输入:一张单目照片(左眼图像或者右眼图像)。
    功能:就像人类大脑的“初级视觉皮层”,把照片里的各种边缘、颜色、纹理等特征提取出来。
    输出:一个大“特征图”,大小是 H × W × D。
    H、W → 图像的高和宽(但可能被缩小过)。
    D → 特征维度,表示每个像素位置上提取了多少“特征描述”(比如 64 种特征)。
    👉 通俗理解:编码器把一张照片,变成了“包含很多隐藏信息的特征版照片”。
  2. 解码器(中间紫色方块们) → 相当于大脑在猜“物体有多远”
    功能:接收编码器提取的特征,再一步步“还原”空间细节。
    输出:预测的 视差图(disparity map)。
    紫色方块就是解码器预测的结果:
    dˡ:左图的视差
    dʳ:右图的视差
    👉 通俗理解:解码器就像是在看照片后,尝试给每个像素点一个“远近标签”(近的视差大,远的视差小)。
    👉 为什么要同时预测左和右?
    因为这样才能互相对照,保证预测合理(这就是“左右一致性约束”的基础)。
  3. 重建与监督(右边彩色部分) → 相当于自我检查:我预测的远近对不对?
    橙色方块:采样 / 重建模块。
    原理:把预测的视差当作“桥”,去另一张图像里找对应像素,并“重建”出目标图。
    工具:这里用的是 双线性采样器(Sampler, 来自 STN),它能平滑地采样,并且过程是“可微”的(这样误差能反传回去训练)。
    彩色部分的输出:
    生成的“重建图” Ĩ(网络预测出来的)。
    与真实图 I 对比,计算损失(误差),包括:
    外观匹配损失 (L1 + SSIM) → 看图像重建得像不像。
    视差平滑损失 → 让深度预测不要乱跳。
    左右一致性损失 → 保证 dˡ 和 dʳ 的预测对得上。
    👉 通俗理解:
    网络先猜“物体远近”,再用这个猜测去“拼出另一只眼睛的画面”。
    如果拼得像,就说明猜得对;如果拼得不像,网络就要调整自己。

4、外观匹配损失 Cap
图的左上角标注了三种关键损失函数,每种损失对应一种直觉约束:
直觉:合成的图要和真实图“看起来一样”。
image.png
实现方式:用像素差 (L1) + 结构相似度指标 (SSIM)。
L1 损失(像素差)
含义:就是 逐像素对比两张图的亮度差异。
公式上:L1 = |I_real − I_recon|
举例:
如果真实图某个像素亮度是 100,重建图预测出来是 90,那误差就是 10。
这种误差会被累积起来,形成整体的 L1 损失。
👉 直观理解:L1 就像“对位对表”,看每个像素值差多少。它要求重建图和原图在颜色上尽量接近。
SSIM(结构相似度指标, Structural Similarity Index)
含义:不是单纯看像素差,而是从更高层次的结构、对比度、纹理来比较两张图。
范围:0 ~ 1,越接近 1 说明越相似。
优势:
有些地方亮度稍有偏差,但整体的边缘、形状还在,这时候 L1 可能给出很大惩罚,而 SSIM 能“容忍”这种小偏差。
它更关注“这两张图的结构是不是一致”。
👉 直观理解:SSIM 更像人眼在判断两张图片是不是“看起来一样”,而不是死板逐像素比较。
为什么要 L1 + SSIM 一起用?
L1:保证像素级别的准确。
SSIM:保证整体结构和感知效果。
两者结合,既严格要求像素相近,又能确保图像结构不跑偏。
👉 就像老师批改作业:
L1 是逐字对答案(扣字面分)。
SSIM 是看整体意思对不对(结构合理分)。
两者结合才能全面反映“像不像”。

5、视差平滑损失 Cds
如果你看一张真实的深度图,大部分区域(比如墙面、地面、天空)都是 连续、平滑 的,不会出现“一个像素远、下一个像素突然很近”的跳跃。
所以 Monodepth 在训练时加了个 平滑约束:希望预测的视差图在相邻像素之间变化要小。
👉 就像画地形图:
正常情况 → 像山坡,缓慢变化。
特殊情况 → 碰到“悬崖”(物体边界),可以突然变化。
image.png
为什么要乘上 e−∣∂I∣?
直接要求“所有地方都平滑”会出问题:物体边界本来就该突变,但你硬要拉平,会导致边缘模糊。
所以用图像梯度作为“参考”:
图像没边界 → 强约束(要平滑)。
图像有边界 → 弱约束(允许突变)。
👉 就像“山坡 vs 悬崖”:

草地上要平滑过渡。
悬崖边缘允许突然掉下去。
视差平滑损失就是: 惩罚相邻像素视差差异,但在图像边缘处放宽要求。 这样网络预测出来的深度图既平滑,又能在物体边界处保持清晰。

6、 左右一致性损失 Clr
👉 左右一致性损失,就是让网络“自己和自己对话”,保证左右预测的结果能对上。
image.png

  1. 直觉出发
    人眼看东西:左眼和右眼看到的画面虽然有差异,但它们对同一个物体的远近判断是一致的。
    如果左眼说“这只猫离我 2 米”,右眼却说“离我 5 米”,显然就不合理。
    👉 所以 Monodepth 强调:左视差图和右视差图要一致,否则深度预测就不符合几何规律。
  2. 公式怎么做?
    假设:
    左图预测的视差是 d^l,右图预测的视差是 d^rr。
    从左图某个像素 (i,j)出发,加上视差 di,jl,能定位到右图的一个像素位置。
    那么:
    在这个对应位置上,右图的预测视差 dr 应该能“跳回”到左图的原位置。
    如果跳不回来,就说明两边预测不一致,要惩罚。

7、流程串联(结合图)
按照图片流程串起来,就是:
输入左图 → 编码器提取特征。
解码器预测视差 dl和 dr。
用预测的视差,把左图合成右图 (I~r),用右图合成左图 (I~l)。
计算三类损失:
Cap:合成图和真实图是否像;
Cds:视差图是否平滑自然;
Clr:左右预测是否一致。
反向传播,更新网络参数。
最终,网络就学会了:从单张图像中预测合理的深度(视差),而且不需要激光雷达的标注数据。

4、Monodepth 的主要缺陷(来自原论文结论与讨论)
遮挡边界伪影
只靠光度重建训练,遮挡处两眼看不到同一像素,容易出“拉花/虚影”。作者明确把“显式遮挡推理”列为改进方向。
有些地方左眼能看到,右眼看不到(比如电线杆后面的背景),模型硬要“补”,结果会出鬼影。
比喻:就像你画一幅画,桌子后面的部分没看到,你硬想当然地画上去,画歪了。

镜面/透明体失真

  1. 光度一致性假设
    Monodepth 的核心训练思路是:

假设场景里的表面都是 朗伯面(Lambertian surface),即表面看起来颜色一致,不随角度变化。
所以从左眼和右眼看过去,同一个点的颜色、亮度应该是一样的。
这样才成立 光度一致性损失:用视差把右图采样过来,和左图像素比对,看差不差。
2. 问题:非朗伯面(镜面 / 透明体)
但现实世界里很多表面不是朗伯的:

玻璃:透过它看到的是背后的景物,而不是玻璃本身。左眼和右眼透过去的角度不同 → 背景的折射不同 → 两边像素颜色对不上。
水面:会有反射、折射,左右眼看到的波纹、倒影可能完全不同。
镜子 / 光亮金属:你看到的是“另一边的景象”,而且反射角度敏感,左右眼差别很大。
👉 在这些情况下:光度一致性假设被破坏了。

Monodepth 论文里提到:
对于这种情况,简单的像素差 (L1) 或 SSIM 已经不够用了。
作者建议用 更复杂、更鲁棒的相似性度量,比如:
多尺度特征相似性(不是直接比像素,而是比高层特征)。
或者结合语义信息(知道“这里是玻璃”,就别太依赖光度损失)。
有些后续工作还会用 Mask,把这些区域权重降低。

域/标定差异敏感
不同数据集(相机内参、基线、分辨率)跨域时数值表现会掉,需要在目标域微调。
如果训练数据和测试数据的相机参数(比如焦距、分辨率)不同,效果会掉。

5、后续的哪些模型是如何基于此进行改进
Monodepth → Monodepth2(Godard et al., 2019)
主要改进:
自监督从双目扩展到视频序列:不仅用左右眼,还用前后帧做监督,进一步摆脱双目数据的限制。
更精细的重建损失:引入多尺度、多区域的损失设计,更鲁棒。
自动遮挡处理:在光度一致性里,遮挡会带来噪声,Monodepth2 提出了遮挡感知的损失。
👉 通俗理解:从“必须有双目”升级到“单目视频也能训练”。
Stereo/Mono + Self-Supervised 方向
很多工作发现:利用时序信息(视频)能进一步提高稳定性。
SfMLearner (Zhou et al., 2017):预测相机位姿 + 深度,同时训练,开创了“单目视频自监督”的思路。
Later works (比如 MegaDepth, DDVO):改进了位姿估计和优化方法,让网络更稳。
👉 通俗理解:网络一边学“物体多远”,一边学“自己往哪走”。
改进损失函数
Monodepth 的核心损失是:光度一致性 + 视差平滑 + 左右一致性。
后来很多研究改进了这部分:
遮挡感知 (Occlusion-aware loss):解决物体遮挡导致的重建失败。
更鲁棒的相似性度量:替代 L1+SSIM,比如用特征空间的相似性。
边界感知平滑:让深度在边缘更锐利。
👉 通俗理解:让网络少被“玻璃、反射、遮挡”骗。
融合语义与深度
一些工作引入 语义分割(比如知道哪里是车、哪里是天空),帮助深度估计。
代表:Semantic Monodepth (Klingner et al., 2020)。
👉 通俗理解:知道“这是一辆车”后,深度预测会更合理。
更强的网络结构
使用 更强的编码器(ResNet, EfficientNet, Transformer),替代原始的简单 CNN。
PackNet-SfM (Guizilini et al., 2020):通过特殊卷积结构保留更多几何信息。
最近有 Transformer-based 方法(比如 DPT, AdaBins),利用全局建模获得更平滑深度。
👉 通俗理解:从“小模型”升级到“大模型 + Transformer”,预测更精准。

6、模型结果
用了哪个数据集?
作者主要在 KITTI 数据集上做实验。
使用的是 KITTI Stereo benchmark 的子集(也叫 KITTI raw dataset 的子集)。
具体来说:
训练:使用 Eigen 等人定义的训练划分(常见的 split),大约 23k 左右训练图像。
测试:在 KITTI 官方的 Eigen split 测试集(697 张图)上评测。
同时,他们还在 KITTI 官方的 online stereo benchmark 上提交了结果,与其他方法比较。
论文里主要用了以下标准深度估计指标:
Abs Rel:平均相对误差
Sq Rel:平方相对误差
RMSE:均方根误差
RMSE log:log 空间的 RMSE
δ < 1.25, δ < 1.25², δ < 1.25³:预测值和真值在一定容差内的比例

本文来源:k学长的深度学习宝库,点击查看源码&详细教程。深度学习,从入门到进阶,你想要的,都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。

相关推荐

小微企业营销数字化落地:deepshow基于多模态 AI 的全域内容自动化生产链路设计

流量成本持续上涨背景下,中小微企业营销数字化转型痛点集中于内容生产效率低、流量渠道单一。本文介绍一套面向中小企业的多模态 AI 自动化内容生产闭环架构deepshow,集成短剧生成、数字人口播、大模型搜索索引三大模块,实现短视频内容全流程自动化产出与 AI 搜索流量占位,降低小微企业新媒体运营人力门槛。

252

深度学习和机器学习到底有啥区别?零基础先学哪个?一篇说透k学长的深度学习宝库

机器学习与深度学习的区别及学习路径指南 摘要:机器学习(ML)和深度学习(DL)是AI领域的核心分支,二者为包含关系(ML包含DL)。ML依赖人工特征工程,适合结构化数据和中小规模任务;DL通过神经网络自动提取特征,擅长非结构化数据和大规模场景。零基础者建议先学ML,掌握特征工程、基础算法(如线性回归、决策树)及数学原理(线性代数、概率统计),再过渡到DL。典型学习周期约6个月,需依次掌握Python数据处理、ML算法实现、神经网络基础,最终完成CV/NLP实战项目。避免直接跳学DL、忽视数学基础等常见误区

433

一键追爆款数字人口播短视频市场调研报告

摘要:AI数字人口播短视频生成工具正成为内容营销新趋势,帮助企业解决真人出镜成本高、更新频率难以持续等痛点。Deepshow等产品通过打通"爆款拆解-脚本生成-数字人口播-矩阵输出"全链路,将短视频生产升级为AI驱动的流水线。相比单纯数字人生成工具,这类系统更注重商业转化,适合本地生活商家、制造业老板、招商团队等结果导向型客户。核心优势在于降低人工依赖、实现内容标准化生产,并能支持矩阵化运营和行业化复制,形成可持续的内容资产。

552

DeepShow数字人口播软件怎么选:企业评估功能、成本、数据安全要看什么?

选择DeepShow这类数字人软件,本质上是在为企业挑选一位“虚拟员工”,更是在为品牌构建一套可复用的“数字资产”。唯有在功能上实现“拟人化”突破,在安全上做到万无一失,在成本上算清长期账,才能让数字人真正成为企业智能化升级的“第二引擎”。数字人口播不再是“噱头”,而是正在快速渗透各行各业,成为企业的标配基础设施-1。前两年,数字人常被诟病为“眼神呆滞”的僵尸录播。评估功能时,企业需要关注的是:这款软件是否能让数字人真正“活”起来?如何判断一款软件是真正的“技术心脏”还是徒有其表的“录播工具”?

392

超级IP迭代、数字人口播爆发、DeepShow赋能:2026年内容产业的工业化拐点

**摘要:**2026年,中国直播用户规模预计达7.73亿,但增长率仅0.1%,行业从流量竞争转向"技术+供应链"比拼。超级IP向数字化分身演进,数字人口播成为基础设施,DeepShow技术驱动产业变革,实现极简内容生成、实时互动和数据反哺。未来,技术赋能将重塑内容生态,平台竞争转向技术服务能力,从业者需把握数字资产管理和技术应用机遇,回归创意与供应链本质竞争。

497

deepshow 5.0:一次真正打破算力门槛的技术突破 AI口播短视频智能体进入“全民可用”时代

【摘要】deepshow 5.0推出无需GPU的AI口播短视频系统,突破行业应用门槛。该系统将短视频生产全流程自动化,从脚本生成到视频输出形成完整闭环,显著提升企业内容产能。通过降低硬件要求和部署难度,使AI短视频生产能力首次实现规模化普及,适用于MCN机构、品牌营销、教育培训等多个场景。这一技术突破标志着AI正从辅助工具转变为新型内容生产基础设施,推动企业从人工制作转向系统化生产模式。(149字)

603

基于深度学习的水果图像识别研究【k学长深度学习宝库】

本文基于Fruits-360数据集,设计了一个轻量级CNN模型实现对5种水果(苹果、葡萄、梨、香蕉、樱桃)的图像分类。模型采用3层卷积结构,通过数据增强和Adam优化器训练5轮,在验证集上取得良好效果。实验表明模型对简单背景图像识别准确率超过90%,但对复杂环境鲁棒性有限。分析显示该结构适用于小规模分类任务,但对其他数据集需调整。未来可优化网络结构、应用迁移学习并提升部署能力。研究为水果智能识别提供了可行方案。

861

用CNN,transformer,CNN-transfomer三种模型完成故障诊断【k学长深度学习宝库】

本文研究基于深度学习的隔离型DC-DC变换器故障诊断方法。针对DAB变换器开关管和二极管故障,构建包含八类单管故障和六类双管故障的仿真数据集,每组数据包含四个电压信号。研究采用CNN、Transformer及CNN-Transformer混合模型进行故障分类,实现端到端的特征提取与诊断。实验结果表明,所提方法能有效识别多种故障类型,准确率超过90%。该研究为电力电子设备智能诊断提供了新思路,有助于提升新能源系统可靠性。全文包含故障建模、特征提取、网络优化等关键技术,并通过大量仿真验证了方法的有效性。

839

bert实现网络暴力分析模型【k学长深度学习专栏】

中文网络暴力文本检测系统是一个基于深度学习技术的自然语言处理应用,专门用于识别中文社交媒体、论坛和网络平台中的网络暴力内容。该系统采用预训练语言模型BERT作为核心架构,通过监督学习方式对文本进行二分类(暴力/非暴力),并提供了全面的评估和可视化功能。深度学习,从入门到进阶,你想要的,都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。深度学习,从入门到进阶,你想要的,都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。预训练模型适配:专为中文文本优化,支持多种BERT变体。

553

基于Transformer的无人机对地突防轨迹预测方法研究【k学长深度学习宝库】

本文介绍了一个基于深度学习的无人机轨迹预测系统。该系统采用多模态神经网络架构,通过处理历史飞行数据(包括三维坐标和速度)来预测未来轨迹。系统包含数据预处理、模型训练、性能评估和可视化四大模块,支持滑动窗口技术处理序列数据。评估指标包括MSE、RMSE和MAE,并提供三维轨迹图等可视化工具。系统适用于空中交通管理等场景,但对数据质量和计算资源有一定要求。详情可访问k学长的深度学习宝库获取源码和教程。

891

k学长的深度学习宝库:YOLOv11改进:WTConv小波卷积提升大感受野与检测精度(ECCV 2024)

本文介绍了一种新型小波卷积层(WTConv),通过小波变换解决CNN大感受野带来的参数膨胀问题。WTConv利用多频率响应扩展感受野,参数仅对数增长,显著提升了特征提取效率。实验表明,在YOLOv11中应用WTConv构建的C3k2模块,相比基础模型减少了11.4万参数和0.2GFLOPs计算量,实现了有效的轻量化。该方法参数增长平缓、感受野扩大且形状偏差提升,为CNN改进提供了高效易集成的解决方案。

1044

技术前沿 | AMD ROCm开发者生态落地中国,k学长深度学习宝库带你玩转开源AI开发

AMD携手Datawhale与魔搭社区共建"ROCm开发者专区",加速中国AI开发生态本地化进程。此次合作通过开源软件栈降低硬件门槛,结合头部社区资源培育开发者群体,反哺硬件产品市场渗透。"深度学习宝库"作为唯一受邀AI教育品牌亮相,凸显其在开发者培训环节的关键价值,成为连接技术供给与社区平台的重要桥梁。这一战略布局标志着AMD以开发者为中心的开放生态进入实质性落地阶段。

370

LSTM模型实现光伏发电功率的预测完整数据集代码详细注释

本文介绍了一个基于LSTM的光伏发电功率预测项目。项目通过处理风速、温度等气象数据和电力历史数据,构建了多层LSTM模型(隐藏层64单元)来预测未来发电功率。创新点包括:1)采用差异化的缺失值处理策略;2)使用24小时滑动窗口构建时间序列;3)结合标准化和特征选择优化数据质量。模型训练使用Adam优化器和MSE损失函数,通过验证集评估性能。结果显示该方案能有效预测连续时间序列值,为光伏发电预测提供参考。项目源码和详细教程可在"k学长的深度学习宝库"获取。

1484

基于bert预训练的微博情感分析6分类模型

本文介绍了一个基于BERT预训练模型的微博文本情感分类系统,能够识别愤怒、开心、中性、悲伤、惊讶和恐惧六种情感。项目采用PyTorch和Hugging Face Transformers框架,利用BERT模型捕捉中文文本的上下文语义,相比传统RNN/LSTM模型表现更优。系统包含数据预处理、模型训练与验证流程,支持模型本地化保存以便后续部署。创新点包括使用预训练语言模型提升小数据泛化能力,实现细粒度六分类,并提供了模型优化方向如尝试其他中文预训练模型、超参数调优和数据增强等。项目配套完整教程和资源,适合深度

1092

基于Word2Vec和LSTM实现微博评论情感分析

本文介绍了一个基于LSTM的中文情感分析项目,通过深度学习技术对社交媒体文本进行情感分类。项目使用jieba进行中文分词和停用词过滤,采用Word2Vec生成词向量作为模型输入。LSTM模型架构包含嵌入层、LSTM层和全连接层,使用交叉熵损失函数和Adam优化器进行训练。创新点包括优化的数据预处理流程、自定义词向量生成和多层LSTM设计。实验结果显示,该模型能有效识别微博文本的情感倾向(正面/中性/负面),可应用于用户情感分析和市场研究。项目提供了完整的数据预处理、模型训练和评估代码。

1203

结合 Swin Transformer 与 LSTM 的残差自回归模型,用于高精度光学波前时序预测与相位重建

本文提出SwinLSTM模型,将Swin-Transformer融入LSTM细胞内部,通过窗口注意力机制替代传统卷积进行时空融合。创新点包括:1)在门控前使用Swin block进行空间-上下文交互;2)采用残差预测框架输出变化量Δ,提升对光学波前信号的建模能力;3)实现可控教师强制策略,使训练与评估逻辑一致;4)构建面向Zernike系数序列的端到端处理流程,支持从系数到相位图的可视化转换。实验表明,该方法在建模光学波前等时空信号时,相比传统ConvLSTM能更好地捕获长程依赖关系。完整实现代码已在k学长

660

从零开始构建多模态大模型MLLMfromScratch

本项目从零实现了一个多模态大模型(MLLM),包含Transformer基础架构、Vision Transformer(ViT)视觉模型、GPT-style语言模型(LLM)及多模态融合模块。项目采用模块化设计,完全手工实现核心组件,不依赖现有框架。实验结果显示:ViT在CIFAR-10上达到分类准确率;LLM生成了莎士比亚风格的文本;MLLM实现了基本的"看图说话"功能,但生成描述与真实标注存在差距。项目完整实现了训练和推理流程,提供了单元测试验证和实验结果分析,展示了从底层构建深度学

1116

MiDaS:迈向鲁棒的单目深度估计:混合数据集实现零样本跨数据集迁移,零样本泛化能力”极强,广泛用作预训练 backbone

摘要:MiDaS模型通过跨数据集混合训练和尺度不变损失函数,解决了单目深度估计的数据依赖与泛化难题。其采用ResNet编码器+轻量解码器架构,融合3D电影等多样化数据,显著提升零样本泛化能力。尽管在细节预测和绝对尺度上存在局限,但催生了DPT、AdaBins等改进模型,推动深度估计从相对预测向绝对度量发展,最终演化为Depth Anything等通用型解决方案。该研究为计算机视觉中的三维感知提供了重要范式。(149字)

681

Monodepth2:自监督单目深度估计的改进-k学长深度学习专栏

摘要:Monodepth v2针对v1版本在无相机运动、遮挡和分辨率不足等场景下的局限性,提出了三大创新方法:最小重投影损失避免遮挡误差,自动掩码排除无效训练数据,全分辨率多尺度预测提升细节精度。尽管在反射区域和复杂边界仍存在缺陷,但该模型显著提升了自监督深度估计的鲁棒性。后续DPT、MiDaS等改进模型通过引入Transformer、多数据集训练等技术进一步提升了性能。更多深度学习资源可访问k学长的深度学习宝库获取。

1151

SAM (Segment Anything Model):万物皆可分割-k学长深度学习专栏

摘要: Segment Anything Model (SAM) 是首个通用分割基础模型,通过大规模预训练(SA-1B数据集,含11亿掩码)实现强大的零样本泛化能力。其核心创新包括:1)可提示分割(点、框等输入生成掩码);2)三模块架构(图像编码器ViT-Huge、提示编码器、轻量解码器);3)实时交互设计。然而,SAM存在高分辨率/小目标处理不足、计算开销大、专业领域泛化有限等缺陷。后续改进模型(如MobileSAM、HQ-SAM、MedSAM)针对轻量化、边界精度、跨领域适配等方向优化,推动分割技术向更

1410

Mask2Former:用于通用图像分割的掩码注意力掩码变换器,通用分割架构(语义!实例!全景)-k学长深度学习专栏

本文提出Mask2Former,一种基于masked attention的统一分割框架。研究背景源于现有分割任务(语义/实例/全景)的割裂处理,MaskFormer虽提出统一范式但掩码生成能力有限。核心创新包括:1)masked attention机制增强query与像素特征的交互;2)多尺度特征解码器设计;3)端到端任务无关训练。实验表明其在三类分割任务中均达SOTA,但存在计算开销大、小目标分割不足等缺陷。后续工作如MaskDINO、Open-Vocabulary版本等进一步优化了检测能力和开放词汇分割

1373

SegFormer:使用Transformer进行语义分割,简单而高效的设计-k学长深度学习专栏

SegFormer是一种高效简洁的语义分割框架,通过分层Transformer编码器(MiT)提取多尺度特征,结合极简MLP解码器实现全局与局部信息融合。其创新点在于:1)MiT编码器融合CNN多尺度特性和Transformer全局建模;2)轻量级解码器仅用MLP实现特征融合,无需复杂结构。该模型在多个基准测试中达到SOTA,兼具高效性和泛化能力,但也存在边界细节刻画不足、高分辨率计算压力等缺陷。后续改进模型如EdgeSegFormer、MobileSegFormer等针对性地优化了边界精度和计算效率。

863

nnU-Net:基于unet的医学图像分割自适应框架,自动配置超参数与结构-k学长深度学习专栏

本文介绍了nnU-Net这一医学图像分割框架的创新设计与应用价值。针对传统医学分割方法泛化性差、调参复杂的问题,nnU-Net通过自配置pipeline实现了网络结构、预处理、训练策略的自动化适配。核心创新包括:1)基于数据特性的自配置网络(2D/3D U-Net及级联组合);2)标准化的训练与推理流程;3)自动模型选择与集成。实验表明,该框架在MSD多数据集上取得领先性能。虽然存在计算成本高、依赖启发式规则等局限,但启发了后续改进方向,如结合Transformer、轻量化设计等。nnU-Net的价值在于将

792

Swin-UNet:使用 Swin Transformer 替代卷积块,扩大感受野-k学长深度学习专栏

本文提出Swin-UNet,首个纯Transformer架构的医学图像分割网络。通过将Swin Transformer与U-Net对称结构结合,利用移位窗口注意力机制实现全局依赖建模,同时保留跳跃连接以保持局部细节。创新性地采用Patch Merging/Expanding完成上下采样,摆脱了对CNN的依赖。实验表明该方法在医学分割任务中优于混合架构模型,但仍存在依赖预训练、仅支持2D图像、计算效率随分辨率提升而下降等局限。该研究为纯Transformer在医学图像处理中的应用提供了新思路。

1272

TransUNet:Transformer 成为医学图像分割的强大编码器,Transformer 编码器 + U-Net 解码器-k学长深度学习专栏

本文提出TransUNet模型,首次将Transformer与U-Net结合用于医学图像分割。模型采用CNN提取局部特征后送入Transformer编码全局信息,通过U-Net式跳跃连接和级联上采样恢复细节。实验表明其在多器官CT和心脏MRI分割任务上优于传统方法。但存在计算开销大、依赖标注数据、边界恢复不够精细等缺陷,且3D扩展困难,限制了临床应用。该研究为医学图像分割提供了新思路,但仍需优化计算效率和细节处理能力。

1673

HRNet:深度高分辨率表示学习用于人体姿态估计-k学长深度学习专栏

HRNet是一种高分辨率网络架构,专为人体姿态估计设计。其核心创新在于全程保持高分辨率表征,通过并行多分辨率子网络和重复的多尺度融合机制,实现了更精准的关键点定位。相比传统方法,HRNet避免了高分辨率信息的丢失,使预测结果既清晰又准确。然而,该模型存在计算量大、结构复杂等缺陷,难以部署到轻量级场景。后续研究围绕轻量化改进、多人场景优化、Transformer融合等方向展开,并将HRNet的高分辨率思想拓展到语义分割、目标检测等其他视觉任务中。HRNet在精度上表现优异,但在实际应用中需权衡计算成本和性能需

874

U-Net++:嵌套密集跳跃连接,多尺度融合增强特征表达,医学影像分割的unet创新-k学长深度学习专栏

医学图像分割模型UNet++的创新与局限 UNet++是针对医学图像分割需求提出的改进模型,通过嵌套密集跳跃连接和深度监督机制解决了U-Net存在的语义鸿沟问题。其核心创新包括:1)重新设计跳跃路径,通过逐级卷积缩小编码器与解码器特征间的语义差距;2)采用密集连接优化梯度流动;3)引入多尺度深度监督提升训练稳定性。实验显示其在多个医学数据集上IoU指标平均提升3.9%。但该模型存在计算成本高、实现复杂、训练资源需求大等缺陷。后续改进包括UNet3+的全尺度连接、Attention机制引入、轻量化改造及Tra

1432

ResUNet:U-Net 中加入残差块-k学长深度学习专栏

摘要:ResUNet是一种结合U-Net和残差学习的深度学习模型,用于航拍道路提取任务。该模型通过U-Net的"沙漏"结构实现特征提取与细节恢复,并引入残差块的"短路连接"解决深层网络训练难题。其创新点在于用残差块替换普通卷积层,形成双重信息通道,使浅层细节与深层语义特征更好融合。相比传统U-Net,ResUNet具有训练更轻松、信息流通更顺畅、参数更少性能更强三大优势,特别适合处理道路提取中的拓扑复杂性、尺度多样性和类内差异等挑战。模型结构包含编码器(特征压缩)和解

1023

Attention U-Net:引入注意力门机制,胰腺影像分割必看经典-k学长深度学习专栏

它的核心是加入了“注意力机制”,让模型更敏感地捕捉前景像素(比如我们要分割的目标区域)。注意力U-Net就像戴上“透视镜”,先看大图大致方向(编码),然后聚焦猫的局部细节(注意力门),最后把猫完整画出来(解码)。输入:模型接收一个输入图像,尺寸通常表示为 H×W×D H \times W \times D H×W×D(高度、宽度、深度),深度可能代表通道数(如RGB或医学影像的模态)。每层都会用卷积(W)和激活函数(比如ReLU)处理数据,同时图像尺寸会缩小一半(比如从H1到H4,尺寸变成原来的1/8)。

707

DeepLab v3+:基于空洞可分离卷积的编码器解码器在语义分割中的应用-k学长深度学习专栏

DeepLab v3+是一种先进的语义分割模型,通过融合空洞卷积、ASPP模块和轻量解码器,解决了多尺度上下文感知与边界细化的矛盾。其创新点包括:1)利用ASPP模块捕捉多尺度语义信息;2)引入解码器结构恢复边界细节;3)采用深度可分离卷积提升效率。该模型采用"编码器-解码器"架构,编码器负责全局语义理解,解码器专注于边界优化。然而存在计算复杂度高、边界细节有限、上下文建模固定等缺陷。后续改进模型在轻量化、边界增强、上下文建模等方面进行了优化,如BiSeNet、HRNet和Transfo

1159
上一篇: SAM (Segment Anything Model):万物皆可分割-k学长深度学习专栏
下一篇: Monodepth2:自监督单目深度估计的改进-k学长深度学习专栏
AI短视频智能体deepshow
AI短视频智能体deepshow 宁波有一信息科技有限公司CSDN官方账号 宁波有一信息科技有限公司CSDN官方账号
博客等级 码龄2年 3630粉丝 261原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址