ORB-SLAM3代码详解(二)ORB特征提取2.1--金字塔构建---【src】-【ORBextractor.cc】(ComputePyramid)

ORB-SLAM2源码逐行解析系列(十一):ORB-SLAM2中的关键帧 ​ 函数的目的是为当前关键帧新建或更新与其共视的关键帧的连接权重,因此主要是更新当前关键帧所属变量mConnectedKeyFrameWeights里面共视关键帧的权重。​ 成员变量mConnectedKeyFrameWeights中存放的是与当前关键帧共视的关键帧及对应的权重,因此需要遍历mConnectedKeyFrameWeights中的每个元素,调用EraseConnection删除其与当前关键帧的联系。(2)为该待删除关键帧的子关键帧重新寻找合适的父关键帧。(1)重新排序的作用。 阅读详情
AI摘要

本文围绕ORB特征提取器中ComputePyramid函数模块,介绍图像金字塔构建。先阐述基本概念,包括向下、向上取样及生成步骤;接着说明代码原理,涉及图像金字塔、尺度空间等理论及相关公式;最后解析原代码流程,指出构建金字塔对ORB算法检测关键点、提高特征匹配性能很重要。

图像金字塔构建(ComputePyramid函数)

ORB_SLAM3-master\src\ORBextractor.cc–ComputePyramid函数模块
1、基本概念
2、代码原理

1、基本概念

在这里插入图片描述

图像金字塔是指一组图像且不同分辨率的子图集合,它是图像多尺度表达的一种,以多分辨率来解释图像的结构,主要用于图像的分割或压缩。一幅图像的金字塔是一系列以金字塔性质排列的分辨率逐步降低,且来源于同一张原始图的图像集合,如下图所示,它包括了五层图像,将这一层一层的图像比喻成金字塔。图像金字塔可以通过梯次向下采样获得,直到达到某个终止条件才停止采样,在向下采样中,层次越高,分辨率越低。

在这里插入图片描述
  生成图像金字塔主要包括两种方式——向下取样,向上取样,在上图中:
.将level0级别的图像转换为 level1,level2,level3,level4,图像分辨率不断降低的过程称为向下取样
将level4级别的图像转换为 level3,level2,level1,leve0,图像分辨率不断增大的过程称为向上取样

获得图像金子塔一般包括两个步骤:
1,利用低通滤波器平滑图像
2,对平滑图像进行抽样(采样)
图像金字塔原理不是很难,详细解析请参考如下链接:
OpenCV计算机视觉学习(7)——图像金字塔(高斯金字塔,拉普拉斯金字塔,图像缩放resize函数)

2、代码原理


1). 图像金字塔原理

  • 数学原理:
    图像金字塔是一种多分辨率表示方法,通过将图像不断缩小,可以获得不同分辨率的图像。金字塔的每一层图像在宽度和高度上都按照一定的缩放因子(scale)缩小。

  • 公式:
    如果输入图像的分辨率为 ( W \times H ),第 ( l ) 层金字塔图像的分辨率为:
    W l = round ( W ⋅ s l ) , H l = round ( H ⋅ s l ) W_l = \text{round}(W \cdot s^l), \quad H_l = \text{round}(H \cdot s^l) Wl​=round(W⋅sl),Hl​=round(H⋅sl)
    其中,( s ) 是缩放因子(通常 ( s < 1 )),( l ) 是金字塔层数。


2). 尺度空间理论

  • 数学原理:
    ORB 特征提取算法需要检测不同尺度的关键点,为此采用尺度空间理论。在不同尺度下观察图像,可以发现更多的特征点。通过缩小图像以模拟“远距离观察”的效果。

3). 图像缩放

  • 数学原理:
    使用图像插值算法将上一层金字塔的图像缩小为当前层的尺寸,代码中采用 双线性插值 方法:

  • 双线性插值公式:
    I ( x , y ) = ( 1 − a ) ( 1 − b ) I ( i , j ) + a ( 1 − b ) I ( i + 1 , j ) + ( 1 − a ) b I ( i , j + 1 ) + a b I ( i + 1 , j + 1 ) I(x, y) = (1 - a)(1 - b) I(i, j) + a(1 - b) I(i+1, j) + (1 - a)b I(i, j+1) + ab I(i+1, j+1) I(x,y)=(1−a)(1−b)I(i,j)+a(1−b)I(i+1,j)+(1−a)bI(i,j+1)+abI(i+1,j+1)
    其中,( (i, j) ) 是像素的左上角,( a ) 和 ( b ) 是水平和垂直方向的小数部分。


4). 边界扩展

  • 公式:
    如果原图像的宽度和高度分别为 ( W ) 和 ( H ),并且扩展边界的大小为 ( \text{EDGE_THRESHOLD} ),那么边界扩展后的图像尺寸为:
    W extended = W + 2 ⋅ EDGE_THRESHOLD , H extended = H + 2 ⋅ EDGE_THRESHOLD W_{\text{extended}} = W + 2 \cdot \text{EDGE\_THRESHOLD}, \quad H_{\text{extended}} = H + 2 \cdot \text{EDGE\_THRESHOLD} Wextended​=W+2⋅EDGE_THRESHOLD,Hextended​=H+2⋅EDGE_THRESHOLD
    其中, W extended W_{\text{extended}} Wextended​和 H extended H_{\text{extended}} Hextended​分别表示扩展后的图像宽度和高度。 W W W

5). 金字塔反射性与隔离性(BORDER_ISOLATED)

  • 数学原理:
    在边界扩展时,反射模式(BORDER_REFLECT_101)会确保边缘值对称;隔离模式(BORDER_ISOLATED)则避免边缘与其他图像区域的数据混合。

6). 金字塔存储与裁剪

  • 公式:
    每一层金字塔只需要保留核心图像区域(去掉边界)。设原图像的宽度和高度分别为 ( W ) 和 ( H ),边界扩展大小为 ( \text{EDGE_THRESHOLD} ),那么金字塔核心区域的尺寸为:
    W core = W − 2 ⋅ EDGE_THRESHOLD , H core = H − 2 ⋅ EDGE_THRESHOLD W_{\text{core}} = W - 2 \cdot \text{EDGE\_THRESHOLD}, \quad H_{\text{core}} = H - 2 \cdot \text{EDGE\_THRESHOLD} Wcore​=W−2⋅EDGE_THRESHOLD,Hcore​=H−2⋅EDGE_THRESHOLD
    其中, W core W_{\text{core}} Wcore​ 和 H core H_{\text{core}} Hcore​分别表示去掉边界后的图像宽度和高度。

$$

3、原代码

代码解析

这段代码是ORB特征提取器中用于构建图像金字塔的部分。图像金字塔是一系列不同尺度的图像,这对于在不同尺度上检测关键点至关重要。以下是代码的详细解释:

void ORBextractor::ComputePyramid(cv::Mat image)
{
    for (int level = 0; level < nlevels; ++level)
    {
        float scale = mvInvScaleFactor[level];  // 获取当前层的尺度因子
        Size sz(cvRound((float)image.cols*scale), cvRound((float)image.rows*scale));  // 计算当前层图像的尺寸
        Size wholeSize(sz.width + EDGE_THRESHOLD*2, sz.height + EDGE_THRESHOLD*2);  // 计算整个图像的尺寸,包括边缘扩展
        Mat temp(wholeSize, image.type()), masktemp;  // 创建一个新的Mat对象temp,用于存储带有边界的图像
        mvImagePyramid[level] = temp(Rect(EDGE_THRESHOLD, EDGE_THRESHOLD, sz.width, sz.height));  // 将temp中对应当前层尺寸的区域赋值给金字塔的当前层

        // Compute the resized image
        if( level != 0 )
        {
            resize(mvImagePyramid[level-1], mvImagePyramid[level], sz, 0, 0, INTER_LINEAR);  // 使用线性插值将上一层图像缩放到当前层的尺寸

            copyMakeBorder(mvImagePyramid[level], temp, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, BORDER_REFLECT_101+BORDER_ISOLATED);  // 将缩放后的图像复制到temp中,并添加边界
        }
        else
        {
            copyMakeBorder(image, temp, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, BORDER_REFLECT_101);  // 直接将原始图像复制到temp中,并添加边界
        }
    }
}

代码流程

1). 循环遍历金字塔的每一层:

  • for (int level = 0; level < nlevels; ++level):这个循环遍历图像金字塔的每一层,nlevels是金字塔的层数。

2). 计算尺度和尺寸:

  • float scale = mvInvScaleFactor[level]:获取当前层的尺度因子,这个尺度因子用于缩小图像。
  • Size sz(cvRound((float)image.cols*scale), cvRound((float)image.rows*scale)):计算当前层图像的尺寸,使用尺度因子缩放原始图像的宽度和高度。

3). 计算整个图像的尺寸:

  • Size wholeSize(sz.width + EDGE_THRESHOLD*2, sz.height + EDGE_THRESHOLD*2):计算整个图像的尺寸,包括边缘扩展。EDGE_THRESHOLD是一个常量,用于在图像周围添加边界。

4). 创建新的Mat对象:

  • Mat temp(wholeSize, image.type()), masktemp;:创建一个新的Mat对象temp,用于存储带有边界的图像。

5). 赋值给金字塔的当前层:

  • mvImagePyramid[level] = temp(Rect(EDGE_THRESHOLD, EDGE_THRESHOLD, sz.width, sz.height)):将temp中对应当前层尺寸的区域赋值给金字塔的当前层。

6). 缩放和边界扩展:

  • 如果当前层不是第一层,使用线性插值将上一层图像缩放到当前层的尺寸,并添加边界。
  • 如果当前层是第一层,直接将原始图像复制到temp中,并添加边界。

总结

这段代码是ORB特征提取器中构建图像金字塔的关键部分。通过构建图像金字塔,ORB算法能够在不同尺度上检测关键点,这对于提高特征匹配的鲁棒性和准确性至关重要。图像金字塔的每一层都通过缩放和边界扩展来生成,为后续的特征检测和描述子提取提供了基础。

ORB-SLAM3:单目+imu 详细代码解读 imu+单目 阅读详情

相关推荐

ORB-SLAM3代码详解----基本框架解析及ORB特征提取

一、ORB-SLAM3结构解析 输入【Frame and IMU】:frame可以是单目,双目和RGB-D,外加一个IMU,视觉出来的图像,主要是使用ORB算法进行特征提取,IMU的数据主要是用来做积分。 Tracking :和ORB-SLAM2的第一个区别。在跟踪模块Tracking ,之前是只根据图像视觉的算法做的,在ORB-SLAM3中,计入加入了IMU的作用。 处理传感器信息并实时计算当前帧在激活地图中的姿态。同时该模块也决定了是否将当前帧作为关键帧。在视觉-惯...

YOULANSHENGMENG的博客 2万+

ORB-SLAM3整体流程详解

在之前,作者曾经转过一篇《》的文章。那篇文章中提到了ORB-SLAM3是一个支持视觉、视觉加惯导、混合地图的SLAM系统,可以在单目,双目和RGB-D相机上利用针孔或者鱼眼模型运行。与ORB-SLAM2相比,ORB-SLAM3在处理大视差和长时间未观测到的场景时效果更好。它还提供了更准确的帧间运动估计和更快的处理速度。此外,ORB-SLAM3还支持更多的传感器,包括RGB-D摄像头和车载LIDAR。ORB-SLAM3的代码结构也比ORB-SLAM2更加简洁,使得它更容易理解和扩展。

lovely_yoshino的博客 2万+

视觉SLAM开源算法ORB-SLAM3 原理与代码解析

主讲人:刘国庆 地图点:PWP_WPW​ Covisibility Graph共视图中的连接权重,边权 Essential Graph本质图:保留共视图中边权大于某阈值的边 Spanning Tree:只保留权重最大的连接边 Altas(地图集) 数据关联(Data Association) 短期数据关联、中期数据关联、长期数据关联、多地图关联 EPnP算法中有一个假设是相机模型需要是针孔模型。 极线矫正对双目安装要求高。 鱼眼相机看得更广,长焦距相机看得更远。 重叠区域,无重叠区域。 重投影误差,像素,投

YMWM_的博客 2362

ORB-SLAM3代码详解(一)----代码整体框架

原理五花八门,不如花点时间搞懂代码!(建议看完《视觉SLAM十四讲》再来看我的这个)首先介绍一下整体框架:这是 ORB-SLAM3 系统的主要组件框架图。图中展示了 ORB-SLAM3 的各个关键模块及其交互关系。这张图展示了ORB-SLAM3系统如何通过这些模块实现SLAM功能,包括跟踪、局部建图、回环检测与地图合并,以及全局优化。

qq_50719698的博客 7971

ORB-SLAM3 代码解读

ORB-SLAM(四)追踪 作者的程序分为两种模式:SLAM模式和Localization模式。SLAM模式中,三个线程全部都在工作,即在定位也在建图。而Localization模式中,只有Tracking线程在工作,即只定位,输出追踪结果(姿态),不会更新地图和关键帧。Localization模式主要用于已经有场景地图的情况下(在SLAM模式下完成建图后可以无缝切换到Localization模式)。Localization模式下追踪方法涉及到的关键函数是一样的,只是策略有所不同。 ...

惊鸿一博 8152

手把手带你死磕ORBSLAM3源代码(一)目录详解

ORB-SLAM3是一种基于特征点的稀疏实时单目SLAM(Simultaneous Localization and Mapping)系统。它是ORB-SLAM系列模型的第三代版本,用于在无人机、机器人和增强现实等领域中进行实时定位和建图。ORB-SLAM3使用了一种特征点提取和描述算法,称为ORB(Oriented FAST and Rotated BRIEF)。该算法能够提取图像中的稳定特征,并将其用于地图建立和相机定位。

anananajiushiwo的博客 2306

orb-slam3 代码解析

【代码】orb-slam3 代码解析。

weixin_41150257的博客 1411

ORB-SLAM3代码详解 - 第 01 篇 · 系统总览与三线程架构

本篇建立 ORB-SLAM3 的全局结构视图:数据从何处进入、在哪些线程之间如何流动、最终存储到何处。后续 17 篇均是对本篇所述各模块的展开。源码基于commit4452a3c,引用行号以此为准。

PX4-SLAM-PNC 1049

ORB-SLAM2 从理论到代码实现(三):ORB 特征提取和匹配理论和代码详解

摘要:ORB特征点由Oriented FAST角点和BRIEF描述子组成,具有计算速度快(SIFT的100倍,SURF的10倍)的特点。FAST角点检测通过比较像素亮度快速定位特征点,ORB通过构建高斯金字塔实现尺度不变性,并利用灰度质心法确定特征点方向。BRIEF描述子通过二进制编码描述特征点,匹配时采用汉明距离。ORB-SLAM2中通过ORBextractor类实现特征提取,包括图像金字塔构建、FAST角点检测、非极大值抑制、四叉树均匀分布特征点等步骤,最终通过BRIEF描述子和汉明距离完成特征匹配。

人无远虑,必有近忧 4152

手把手带你死磕ORBSLAM3源代码(九)System.h代码分析

System库是orbslam3直接调用的库,内部调用了众多其它库。

anananajiushiwo的博客 1363

手把手带你死磕ORBSLAM3源代码(二十五)Tracking.cc ParseORBParamFile介绍

这段代码是一个名为的函数,它的主要目的是从一个OpenCV的对象中解析ORB(Oriented FAST and Rotated BRIEF)特征提取器的参数。这些参数用于配置ORB特征提取器。 以下是对代码的详细解释:1. 函数定义:这是一个成员函数,属于类。它接受一个引用参数,类型为,用于存储从文件中读取的数据。 2. 变量定义: 3. 解析参数: 对于每一个需要的ORB参数,代码都从中查找相应的节点,并检查节点是否为空以及是否具有正确的数据类型(例如整数或浮点数)。如果找到并验证了参数,就将

anananajiushiwo的博客 1143

SLAM前端中的GPU加速——以vins-fusion-gpu和ORB_SLAM2_CUDA为例

内存管理流和事件图像处理特征检测几何检测:CannyEdgeDetector, Hough系列, CornersDetector光流计算:多种光流算法(Brox, Farneback, PyrLK, TV-L1等)立体视觉:多种立体匹配算法(BM, SGM, Belief Propagation等)背景减除:多种背景建模算法(MOG, MOG2, GMG, FGD)对象检测匹配与分类系统工具下表整理了的主要成员函数及其作用,部分函数继承自基类或。分类函数名主要作用创建与销毁create。

自主无人机 PX4 ROS SLAM 路径规划 MVS等技术分享 1260

ORB_SLAM3源码(附带详细注释)

ORB_SLAM3源码(附带详细注释)

ORB_SLAM2_ROS源码解读:特征提取与回环检测算法实现

ORB_SLAM2_ROS是一个基于ROS的ORB-SLAM2实现,它通过结合ORB特征提取与回环检测算法,为机器人提供实时的视觉SLAM能力。本文将深入解析其核心算法实现,帮助开发者理解如何从图像中提取关键特征并实现精准的回环检测。 ## 一、ORB特征提取:从图像到关键点的高效转换 ORB特征提取是ORB_SLAM2的基础,其实现位于`orb_slam2/src/ORBextractor.

gitblog_00219的博客 211

23. STM32F103C8T6 ADC采集光敏电阻传感器模块光照强度实战

本文详细介绍了如何使用STM32F103C8T6的ADC模块采集光敏电阻传感器的光照强度。通过硬件接线、核心原理讲解、四步代码配置(GPIO、ADC模式、使能校准、数据滤波)以及串口验证,手把手指导完成从模拟信号到数字值的完整实战流程,并重点提示了ADC时钟分频等关键配置要点。

weixin_42300144的博客 223

遥感图像处理实战:DOTA数据集旋转框转YOLO格式全流程解析(附代码)

本文详细解析了将DOTA遥感数据集的旋转框标注转换为YOLO格式的全流程。针对遥感图像中物体朝向任意性的特点,文章重点阐述了将旋转框转换为外接水平框的数学原理与代码实现,并提供了批量转换脚本和可视化验证方法,帮助开发者高效处理数据,为基于YOLO的遥感目标检测项目奠定基础。

weixin_29082143的博客 405

图像金字塔的作用,ORBSLAM2金字塔理解

下面是ORBSLAM2提取特征点的效果0-7层金字塔,这里只展示了0-7层全部特征点,仅第0、2、5、7层特征点,可以看到有种离着桌子越来越远的感觉(近大远小)。原始图中红色的可乐易拉罐瓶上有很多特征点,在但在第7层的金字塔图像上整个瓶底就是一个特征点,这符合我们正常的视觉。但是这里的视野没有变的越来越大,这是因为金字塔图像是仅是经过下采样得到,而不是真实的相机后退。 思考问题1:图像金字塔的尺度不变性体现在哪里? 我们常常理解的尺度不变性是指一个东西我近看是它远看还...

a894943069的博客 2128

Debian 11 下用hostapd+dnsmasq搭建WiFi热点:从命令行到实战(避坑指南)

本文详细介绍了在Debian 11系统上,使用hostapd和dnsmasq从命令行搭建稳定WiFi热点的完整实战流程。内容涵盖环境准备、无线网卡AP模式检查、服务深度配置,并重点提供了从服务启动失败到客户端无法上网等常见问题的系统性排错指南,帮助用户避开配置陷阱,成功创建可用的无线接入点。

CAT789的专栏 781

ORBSLAM3代码笔记——特征点提取

ORBSLAM3前端源代码分析————特征点的提取

qq_34716695的博客 1881

保姆级避坑指南:用Docker在Ubuntu 22.04上部署Isaac Sim 5.1.0,搞定宇树G1仿真环境

本文提供了一份详细的保姆级避坑指南,帮助用户在Ubuntu 22.04上通过Docker部署Isaac Sim 5.1.0,并成功搭建宇树G1仿真环境。文章涵盖了环境准备、Docker与NVIDIA容器工具包的配置、Isaac Sim镜像的定制化拉取与配置,以及宇树G1仿真环境的实战调试,旨在帮助开发者高效解决部署过程中的常见问题。

weixin_33728268的博客 210

CloudCompare点云滤波实战:三种植被去除技术的对比与应用

本文详细对比了CloudCompare中三种植被去除技术(低通滤波、CSF滤波和坡度法)的实战应用与效果。通过具体案例和参数优化建议,帮助用户根据地形特征选择最佳滤波方法,提升点云数据处理精度和效率,特别适用于复杂场景下的植被去除需求。

weixin_30689307的博客 87

ORB-SLAM2源码解读

在这一优化过程中,我们实际上把上一帧之前建立的那些地图点作为了先验的信息,通过相机模型把这些地图点转化到当前帧的平面上,作为。

weixin_46101998的博客 856

FMQL开发环境实战:从零构建国产FPGA SoC的软件基石

本文详细解析了构建国产复旦微FMQL FPGA SoC软件开发环境的完整流程。针对开发者在环境搭建中遇到的核心痛点,文章深入剖析了Procise、IAR与Vivado三大工具的协同角色与版本选择,提供了从软件下载、安装避坑到核心配置的实战指南,并总结了常见问题的排查方法,旨在帮助开发者高效跨过FMQL开发的“第一道坎”。

weixin_29215391的博客 132
上一篇: ORB-SLAM3代码详解(二)ORB特征提取2.0-12个核心函数概述---【src】-【ORBextractor.cc】
下一篇: ORB-SLAM3代码详解(二)ORB特征提取2.2-八叉树---【src】-【ORBextractor.cc】OctTree函数和传统方法对比
@征服
博客等级 码龄6年 2897粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址