图像金字塔构建(ComputePyramid函数)
ORB_SLAM3-master\src\ORBextractor.cc–ComputePyramid函数模块
1、基本概念
2、代码原理
1、基本概念

图像金字塔是指一组图像且不同分辨率的子图集合,它是图像多尺度表达的一种,以多分辨率来解释图像的结构,主要用于图像的分割或压缩。一幅图像的金字塔是一系列以金字塔性质排列的分辨率逐步降低,且来源于同一张原始图的图像集合,如下图所示,它包括了五层图像,将这一层一层的图像比喻成金字塔。图像金字塔可以通过梯次向下采样获得,直到达到某个终止条件才停止采样,在向下采样中,层次越高,分辨率越低。

生成图像金字塔主要包括两种方式——向下取样,向上取样,在上图中:
.将level0级别的图像转换为 level1,level2,level3,level4,图像分辨率不断降低的过程称为向下取样
将level4级别的图像转换为 level3,level2,level1,leve0,图像分辨率不断增大的过程称为向上取样
获得图像金子塔一般包括两个步骤:
1,利用低通滤波器平滑图像
2,对平滑图像进行抽样(采样)
图像金字塔原理不是很难,详细解析请参考如下链接:
OpenCV计算机视觉学习(7)——图像金字塔(高斯金字塔,拉普拉斯金字塔,图像缩放resize函数)
2、代码原理
1). 图像金字塔原理
-
数学原理:
图像金字塔是一种多分辨率表示方法,通过将图像不断缩小,可以获得不同分辨率的图像。金字塔的每一层图像在宽度和高度上都按照一定的缩放因子(scale)缩小。 -
公式:
如果输入图像的分辨率为 ( W \times H ),第 ( l ) 层金字塔图像的分辨率为:
W l = round ( W ⋅ s l ) , H l = round ( H ⋅ s l ) W_l = \text{round}(W \cdot s^l), \quad H_l = \text{round}(H \cdot s^l) Wl=round(W⋅sl),Hl=round(H⋅sl)
其中,( s ) 是缩放因子(通常 ( s < 1 )),( l ) 是金字塔层数。
2). 尺度空间理论
- 数学原理:
ORB 特征提取算法需要检测不同尺度的关键点,为此采用尺度空间理论。在不同尺度下观察图像,可以发现更多的特征点。通过缩小图像以模拟“远距离观察”的效果。
3). 图像缩放
-
数学原理:
使用图像插值算法将上一层金字塔的图像缩小为当前层的尺寸,代码中采用 双线性插值 方法: -
双线性插值公式:
I ( x , y ) = ( 1 − a ) ( 1 − b ) I ( i , j ) + a ( 1 − b ) I ( i + 1 , j ) + ( 1 − a ) b I ( i , j + 1 ) + a b I ( i + 1 , j + 1 ) I(x, y) = (1 - a)(1 - b) I(i, j) + a(1 - b) I(i+1, j) + (1 - a)b I(i, j+1) + ab I(i+1, j+1) I(x,y)=(1−a)(1−b)I(i,j)+a(1−b)I(i+1,j)+(1−a)bI(i,j+1)+abI(i+1,j+1)
其中,( (i, j) ) 是像素的左上角,( a ) 和 ( b ) 是水平和垂直方向的小数部分。
4). 边界扩展
- 公式:
如果原图像的宽度和高度分别为 ( W ) 和 ( H ),并且扩展边界的大小为 ( \text{EDGE_THRESHOLD} ),那么边界扩展后的图像尺寸为:
W extended = W + 2 ⋅ EDGE_THRESHOLD , H extended = H + 2 ⋅ EDGE_THRESHOLD W_{\text{extended}} = W + 2 \cdot \text{EDGE\_THRESHOLD}, \quad H_{\text{extended}} = H + 2 \cdot \text{EDGE\_THRESHOLD} Wextended=W+2⋅EDGE_THRESHOLD,Hextended=H+2⋅EDGE_THRESHOLD
其中, W extended W_{\text{extended}} Wextended和 H extended H_{\text{extended}} Hextended分别表示扩展后的图像宽度和高度。 W W W
5). 金字塔反射性与隔离性(BORDER_ISOLATED)
- 数学原理:
在边界扩展时,反射模式(BORDER_REFLECT_101)会确保边缘值对称;隔离模式(BORDER_ISOLATED)则避免边缘与其他图像区域的数据混合。
6). 金字塔存储与裁剪
- 公式:
每一层金字塔只需要保留核心图像区域(去掉边界)。设原图像的宽度和高度分别为 ( W ) 和 ( H ),边界扩展大小为 ( \text{EDGE_THRESHOLD} ),那么金字塔核心区域的尺寸为:
W core = W − 2 ⋅ EDGE_THRESHOLD , H core = H − 2 ⋅ EDGE_THRESHOLD W_{\text{core}} = W - 2 \cdot \text{EDGE\_THRESHOLD}, \quad H_{\text{core}} = H - 2 \cdot \text{EDGE\_THRESHOLD} Wcore=W−2⋅EDGE_THRESHOLD,Hcore=H−2⋅EDGE_THRESHOLD
其中, W core W_{\text{core}} Wcore 和 H core H_{\text{core}} Hcore分别表示去掉边界后的图像宽度和高度。
$$
3、原代码
代码解析
这段代码是ORB特征提取器中用于构建图像金字塔的部分。图像金字塔是一系列不同尺度的图像,这对于在不同尺度上检测关键点至关重要。以下是代码的详细解释:
void ORBextractor::ComputePyramid(cv::Mat image)
{
for (int level = 0; level < nlevels; ++level)
{
float scale = mvInvScaleFactor[level]; // 获取当前层的尺度因子
Size sz(cvRound((float)image.cols*scale), cvRound((float)image.rows*scale)); // 计算当前层图像的尺寸
Size wholeSize(sz.width + EDGE_THRESHOLD*2, sz.height + EDGE_THRESHOLD*2); // 计算整个图像的尺寸,包括边缘扩展
Mat temp(wholeSize, image.type()), masktemp; // 创建一个新的Mat对象temp,用于存储带有边界的图像
mvImagePyramid[level] = temp(Rect(EDGE_THRESHOLD, EDGE_THRESHOLD, sz.width, sz.height)); // 将temp中对应当前层尺寸的区域赋值给金字塔的当前层
// Compute the resized image
if( level != 0 )
{
resize(mvImagePyramid[level-1], mvImagePyramid[level], sz, 0, 0, INTER_LINEAR); // 使用线性插值将上一层图像缩放到当前层的尺寸
copyMakeBorder(mvImagePyramid[level], temp, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, BORDER_REFLECT_101+BORDER_ISOLATED); // 将缩放后的图像复制到temp中,并添加边界
}
else
{
copyMakeBorder(image, temp, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, EDGE_THRESHOLD, BORDER_REFLECT_101); // 直接将原始图像复制到temp中,并添加边界
}
}
}
代码流程
1). 循环遍历金字塔的每一层:
for (int level = 0; level < nlevels; ++level):这个循环遍历图像金字塔的每一层,nlevels是金字塔的层数。
2). 计算尺度和尺寸:
float scale = mvInvScaleFactor[level]:获取当前层的尺度因子,这个尺度因子用于缩小图像。Size sz(cvRound((float)image.cols*scale), cvRound((float)image.rows*scale)):计算当前层图像的尺寸,使用尺度因子缩放原始图像的宽度和高度。
3). 计算整个图像的尺寸:
Size wholeSize(sz.width + EDGE_THRESHOLD*2, sz.height + EDGE_THRESHOLD*2):计算整个图像的尺寸,包括边缘扩展。EDGE_THRESHOLD是一个常量,用于在图像周围添加边界。
4). 创建新的Mat对象:
Mat temp(wholeSize, image.type()), masktemp;:创建一个新的Mat对象temp,用于存储带有边界的图像。
5). 赋值给金字塔的当前层:
mvImagePyramid[level] = temp(Rect(EDGE_THRESHOLD, EDGE_THRESHOLD, sz.width, sz.height)):将temp中对应当前层尺寸的区域赋值给金字塔的当前层。
6). 缩放和边界扩展:
- 如果当前层不是第一层,使用线性插值将上一层图像缩放到当前层的尺寸,并添加边界。
- 如果当前层是第一层,直接将原始图像复制到
temp中,并添加边界。
总结
这段代码是ORB特征提取器中构建图像金字塔的关键部分。通过构建图像金字塔,ORB算法能够在不同尺度上检测关键点,这对于提高特征匹配的鲁棒性和准确性至关重要。图像金字塔的每一层都通过缩放和边界扩展来生成,为后续的特征检测和描述子提取提供了基础。
2万+



被折叠的 条评论
为什么被折叠?



