图像金字塔在基于特征点SLAM中的作用,以及ORB-SLAM中的应用详解,如何解决特征点尺度不变性

OpenCV角点检测—ORB(8) ORB特征提取 1.1 ORB算法概述 1.1.1 相关概念认识 1.1.2 ORB类相关源码分析 1.1.3 实例:ORB算法描述和匹配 阅读详情
AI摘要

本文探讨了图像金字塔在视觉SLAM中的作用,详细解析了如何通过构建图像金字塔实现尺度不变性,从而在不同距离下稳定提取特征点,确保跨尺度特征匹配。

图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低1。

上述是百度百科关于图像金字塔的定义,看完觉得也不咋形象。我们先看一张金字塔的示意图:
在这里插入图片描述
下面我从图像金字塔在SLAM中的应用中,实际的理解一下它,并且看一下它是怎么应用在SLAM中的特征点提取上的。

在SLAM中图像金字塔的应用,主要是用来解决尺度不变性问题。尺度不变性由构建图像金字塔,并在金字塔的每一层上检测角点来实现2。

下面我以ORB-SLAM2中的处理金字塔的方式进行探究。

首先先把图片一步一步缩小到前一张的 1 1.2 \frac{1}{1.2} 1.21​,这样我们就可总共可以得到8张图片,这8张图片的效果如下:

注意:以下图片在手机端可能观看时,效果不佳,建议电脑端看,更直观!

第0层(原图)
在这里插入图片描述

第1层
在这里插入图片描述

第2层
在这里插入图片描述

第3层
在这里插入图片描述
第4层
在这里插入图片描述

第5层
在这里插入图片描述
第6层
在这里插入图片描述

第7层
在这里插入图片描述
上面就是按照我们预定缩放比产生的图像金字塔,连续观察这8张图,我们发现我们似乎离场景越来越远,第7层图片中的人小的已经快看不清了,显然通过这种方法只要一张图片就能制造出简单的深度效果。

按说我们离场景远了,看到的内容会更多,但是记录一张图片之后,在缩放的过程中,没法去补充内容进去,所以图片虽然制造出了深度变化的效果,但是画面尺寸也变小了,这一点你自己可以想一下。

现在我们直观的看到了图像金字塔的效果了,如果我们还想让它更加接近于真实的视觉效果,我们是不是还可以给它加点儿模糊效果啊,想象一下我们看东西的时候,越近的是不是越清楚啊,越远的越模糊。

既然是讲在SLAM中的应用,那我就给你看一个SLAM的例子,在SLAM中为了达到特征点的尺度不变性,我们常常对图片做图像金字塔,然后分别对每一层图片提取特征点,为什么要这样做呢?

我们想象一下,我们在一定距离下看到场景当中的一个人,但是当我们往后退100米再观察的时候,那个人就变成了了一个点了,可能就被检测成了关键点,所以为了满足拍摄一张图片涵盖多个观测距离,我们就通过图像金字塔缩放图片,然后分别提取关键点,这样就可以产生更多的点,涵盖更多的尺度。

下面我把ORB-SLAM2图像金字塔中提取的关键点图片拿出来看一下,如下系列图:

第0层
在这里插入图片描述

第1层在这里插入图片描述

第2层
在这里插入图片描述第3层
在这里插入图片描述
第4层
在这里插入图片描述
第5层
在这里插入图片描述
第6层
在这里插入图片描述
第7层
在这里插入图片描述
观察上面的几张图我们可以很容易发现,通过这样的金字塔之后,我们的关键点提取的更多,而且也产生出了在不同距离上提取特征点的效果,这样就可以保证特征点尺度不变性,也就是说我在一个距离上拍摄的图片,我下一次在这个距离的更远的地方拍摄的图片,也依然可以匹配到很多特征点,是不是就解决了尺度导致的特征点匹配问题啦!


  1. 图像金字塔,百度百科 ↩︎

  2. 《视觉SLAM十四讲 从理论到实践》,P135页 ↩︎

ORB SLAM中图像金字塔的构建 图像金字塔是同一幅图像在不同尺度下的集合,包括图像的上采样和下采样。opencv中使用pyrDown/pyrUp和resize都可以达到缩放图像的目的,区别是前者是先高斯模糊然后采样,后者通过插值的方法实现。resize可以将源图像精准的转化为指定尺寸的图像。在我们经常看到的SIFT特征提取中,构建高斯金字塔是它实现特征提取的基础,但是并不是所有的多尺度变换都要基于高斯模糊,比如orb slam中... 阅读详情

相关推荐

一步步带你看懂orbslam2源码--orb特征点提取(二)

回顾:   上一节我们主要讲解了SLAM的基本分类,具体场景应用点以及目前现有的部分开源方案.最后讲解了ORB-SLAM2的总体框架和主要贡献.   由于整个系统都是基于ORB特征点进行运行的,因此本章节将主要讲解ORB特征点的原理以及根据orb-slam2源码讲解实现细节. 理论环节 ORB特征点的原理   特征点,顾名思义就是图片中具备明显特征的点.在许多学者长期的研究下,著名的特征点...

Mr.Sliver的博客 1万+

图像金字塔的作用,ORBSLAM2金字塔理解

下面是ORBSLAM2提取特征点的效果0-7层金字塔,这里只展示了0-7层全部特征点,仅第0、2、5、7层特征点,可以看到有种离着桌子越来越远的感觉(近大远小)。原始图中红色的可乐易拉罐瓶上有很多特征点,在但在第7层的金字塔图像上整个瓶底就是一个特征点,这符合我们正常的视觉。但是这里的视野没有变的越来越大,这是因为金字塔图像是仅是经过下采样得到,而不是真实的相机后退。 思考问题1:图像金字塔的尺度不变性体现在哪里? 我们常常理解的尺度不变性是指一个东西我近看是它远看还...

a894943069的博客 2128

ORB_SLAM2 原理、论文解读、代码流程

分析了算法原理,和某些重要策略的用意 汇总了代码流程,文件间的调用关系 分析了部分代码,和某些流程的用意

Adam_DOGG的博客 1万+

数字图像处理学习笔记(三):ORB算法(尺度不变特征变换)Oriented FAST and Rotated BRIEF

数字图像处理学习笔记(三):ORB算法(尺度不变特征变换)Oriented FAST and Rotated BRIEF 一、概述 ORB的全称是Oriented FAST and Rotated BRIEF,是目前来说非常好的能够进行的实时的图像特征提取和描述的算法,它改进了FAST特征提取算法,并使用速度极快的二进制描述子BRIEF。 针对FAST特征提取的算法的一些确定,ORB也做了相应的...

Leon_Chen的博客 7721

一起自学SLAM算法:3.4 图像特征点提取

特征点提取算法能帮助计算机获取图像的区域特征信息,并应用于图像识别、图像匹配、三维重建、物体跟踪等领域。在实际工程中,具有很高的应用价值。在图像领域,特征点(feature points)也常常被称为关键点(key points)或兴趣点(interest points)。特征点的提取有多种算法,可以从图像纹理信息来提取,也可以通过图像区域灰度统计信息来,或者通过频谱变化、小波变换等变换后在变换空间进行提取。本节将对最常用的SIFT(scale invariant feature transform,尺度不

机器人研究猿-CSDN 6190

ORB-SLAM策略思考之ORB特征点提取

ORB-SLAM中特征点提取策略

cai_niao_lu的博客 1434

ORB_SLAM2中特征提取之图像金字塔尺度不变性理解

本文参考:泡泡机器人提供的带注释的ORB_SLAM2源代码 转载本文请注明出处: 在orb_slam2中,为了实现特征尺度不变性采用了图像金字塔,金字塔的缩放因子为1.2,。其思路就是对原始图形(第0层)依次进行1/1.2缩放比例进行降采样得到共计8张图片(包括原始图像),然后分别对得到的图像进行特征提取,并记录特征所在金字塔的第几层,这样得到一帧图像的特征点,如图1所示。 现在假设在第二层中...

RobotLife的博客 1万+

ORB-SLAM2从理论到代码实现(三):ORB特征提取和匹配理论和代码详解

欢迎交流,本人邮箱jinbo666888@qq.com 我将在写Tracking.cc的博客前,先写一下ORBextractor.cc、ORBmatcher.cc和Frame.cc。 三 特征提取和匹配 1. 理论知识     特征点由关键点(Key-point)和描述子(Descriptor)两部分组成。ORB特征点(Oriented FAST and Rotated BRIEF)是由O...

qq_20123207的博客 1万+

ORB-SLAM3 细读单目初始化过程(上)

学习ORBSLAM3单目视觉SLAM中,发现有很多知识点需要展开和深入,同时又需要对系统有整体的认知,为了强化记忆,记录该系列笔记,为自己图方便,也希望对大家有所启发。 因为知识有限,因此先记录初始化过程中的重要节点,并非全部细节,如果需要看代码的话,建议直接去看作者的源代码。 上一次的笔记 ORB-SLAM3 单目初始化过程剖析1 TrackMonocular->GrabImageMonocular 记录了GrabImageMonocular,调用它的函数TrackMonocular是ORBSLAM单目视

浪浪山已在身后 4467

orb-slam中的orb特征

ORB是Oriented FAST and Rotated BRIEF(oFAST and rBRIEF)的简称,ORB的名字已经说明了其来源。ORB特征是采用FAST方法来检测提取特征,但FAST特征本身是不具有方向性的,所以在ORB特征中添加对特征方向的计算;另外,ORB采用BRIEF方法计算特征描述子,BRIEF的优点在于速度,orb针对BRIEF描绘子不具备旋转不变性和对噪声敏感的问题进行了修正。

Fishmemory的博客 7238

ORB特征匹配

个人博客:http://www.chenjianqu.com/ 原文链接:http://www.chenjianqu.com/show-88.html 接<SLAM基本概念> ORB特征由关键点和描述子两部分组成,关键点称为“Oriented FAST”,是一种改进的FAST 角点。它的描述子称为BRIEF(Binary Robust Independent Elem...

陈建驱的博客 5710

ORB-SLAM学习总结

ORB-SLAM学习总结

雪中冰雨 1万+

ORB-SLAM2从理论到代码实现(三):ORB特征提取和匹配理论和代码详解_orb交易模型

将图像金字塔每层的一张图像使用不同参数做高斯模糊,使得金字塔的每层含有多张高斯模糊图像,将金字塔每层多张图像合称为一组(Octave),金字塔每层只有一组图像,组数和金字塔层数相等,使用下列公式计算,每组含有多张(也叫层Interval)图像。为了提高效率,可以采用额外的加速办法。具体操作为,对于每个像素,直接检测邻域圆上的第 1,5,9,13 个像素的亮度。如,对于大小为512*512的图像,金字塔上各层图像的大小如表3.1所示,当塔顶图像为4*4时,n=7,当塔顶图像为2*2时,n=8。

2501_90210090的博客 1210

视觉里程计:特征点法(ORB特征)

文章目录1 特征点2 ORB特征2.1 FAST关键点2.2 BRIEF描述子3 特征匹配 视觉里程计(也称SLAM的前端)根据相邻图像的信息估计出粗略的相机运动,给后端提供较好的初始值。视觉里程计主要分大类:特征点法和直接法。其中特征点法是主流方法。优点是:稳定、对光照和动态物体不敏感的优势,目前方案比较成熟。 1 特征点 视觉里程计的核心问题是:如何根据图像估计相机运动。如果直接从矩阵层面考虑...

不积跬步,无以至千里! 3507

【OpenCV】第十一章: 图像金字塔

一、什么是图像金字塔 二、为什么要生成图像金字塔,图像金字塔能干啥? 三、理论基础:下采样、上采样、滤波器 四、上下采样API 五、高斯金字塔 六、拉普拉斯金字塔

因为热爱所以坚持 6519

【SystemVerilog项目实践】4.AHB-SRAMC(验证计划)

验证计划

托马斯的博客 3667

ORB_SLAM 中特征提取代码介绍

ORB_SLAM特征提取部分的详细介绍

saber_altolia的博客 7276

《Mac 配置 Codex App 代理完整指南:端口检测 + launchctl 设置 + 取消代理》

本文详细介绍 Mac 上 Codex App 代理配置完整流程,包括如何查看代理端口、如何使用 launchctl 设置 HTTP_PROXY / HTTPS_PROXY、如何验证代理是否生效以及如何取消代理配置。适用于 Mac Codex 代理、Mac HTTP_PROXY 设置、Mac ChatGPT 代理等开发环境场景。

weixin_50029578的博客 5392

ORB-SLAM2源码阅读(一)-----ORB特征提取

1.ORB-SLAM的一大创新点在于系统的所有模块都使用了同一种特征:ORB,这样构造的系统更加简单、稳健。2.本文首先介绍了原版的ORB特征,之后又介绍了ORB-SLAM对ORB特征的改进。3.相较与SIFT、SURF,ORB在CPU下就可以获得实时性能,并且具有尺度(一定的)、旋转不变性,而且提高了BRIEF描述子的抗噪能力。4.ORB的速度是SIFT的100倍,SURF的10倍。一定的尺度不变性:利用图像金子塔实现,由于金字塔层数有限,因此只能在一定范围保证尺度的不变性。

chuangkeiss的博客 2381

RK3568 解决MIPI屏幕开机只显示uboot logo的问题

之前写过一篇文章介绍了RK3568驱动MIPI屏幕的方法,这次产品迭代,硬件改版,选型的新的屏幕了。所以再次开启调试屏幕的过程。本以为会和上次一样会轻车熟路,事情总是事与愿违,同样的路,遇到新的坑。

fhqlongteng的博客 5430

17、深入分析Freebase数据集:特征、挑战与类型系统构建

本文深入分析了Freebase数据集的特征、数据建模的挑战以及类型系统的构建方法。Freebase作为知识图谱的重要资源,以RDF三元组形式提供了丰富的结构化知识。文章重点探讨了反向三元组、中介节点(CVT节点)以及非主题三元组对链接预测任务的影响,并通过实验展示了不同类型处理策略对模型性能的作用。此外,文章详细介绍了如何构建一个显式的类型系统,以提升链接预测的准确性,并展望了未来可能的研究方向。

css33的专栏 294

ORB_SLAM2特征点提取策略及描述子的计算

推荐一下计算机视觉life所发布的文件,里面包含了源码的详细注解、PPT等材料。下载链接如下: https://github.com/electech6/ORBSLAM2_detailed_comments OpenCV自带的库函数与ORB_SLAM2特征点提取策略效果对比 在提取特征点的时候,传统的ORB特征点提取策略会使得提取出的特征点扎堆出现,使得依据路标点建立的轨迹精度差,可靠性差。提取均匀分布的特征点,可提高ORB_SLAM2的精度。 OpenCV库自带的函数处理效果 可见提取的FAST特征点基本

weixin_43828675的博客 2182

解决Windows 10中图标无文字显示的问题

在Windows 10操作系统中,有时候会出现图标显示正常,但文字却无法显示的情况。本文将介绍一种可能的解决方法,帮助您解决Windows 10中图标无文字显示的问题。希望本文提供的方法能够帮助您解决Windows 10中图标无文字显示的问题。如果问题仍然存在,建议您尝试其他的解决方法,或者联系Windows 10的技术支持团队,以获取进一步的帮助。图标无文字显示的问题可能与系统字体设置有关。完成上述步骤后,您的Windows 10系统中的图标应该显示文字了。步骤 3: 重置字体设置。

DevProZ的博客 2826
上一篇: 解读《视觉SLAM十四讲》,带你一步一步入门视觉SLAM—— 第 6 讲 非线性优化
下一篇: 解读《视觉SLAM十四讲》,带你一步一步入门视觉SLAM—— 第 7 讲视觉里程计1 ( 上 )
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址