特征点
特征点是图像中具有代表性的点,这些点在图像发生变化时,比如图像的旋转、缩放,将保持不变。图像中的角点和边缘相对来说更加“特别”,因为它们在不同的图像中辨识度更强。因此一种直观的提取特征的方式就是在图像之间辨认角点,并确定对应关系。角点的提取算法有Harris角点、FAST角点、GFTT角点,等等。但是在很多应用中角点不能满足需求,因为从远处看上去是角点的地方当相机离近时就不是角点了,或者当发生旋转时就认不出是角点了。因此研究人员设计了更加稳定的局部图像特征,如:SIFT、SURF、ORB等等。这些人工设计的特征点具有以下性质:
- 可重复性:相同的特征可以在不同的图像中找到
- 可区别性:不同的特征有不同的表达
- 高效率:同一图像中特征点的数量小于像素的数量
- 本地性:特征只与一小片图像区域有关
特征点是由关键点(Key-point)和描述子(Discriptor)组成,关键点是指该特征点在图像中的位置,描述子通常是一个向量,描述了该关键点周围的像素信息。
ORB特征
ORB特征由关键点与描述子组成。它的关键点称为“Oriented FAST”,是一种改进的FAST角点,它的描述子为BRIEF。
提取ORB特征分为如下两个步骤:
- oFAST角点提取:找出图像中的角点,与原来的FAST算法相比,ORB中计算了特征点的主方向,为BRIEF描述子增加了旋转不变性
- BRIEF描述子:对前一步找到的关键点周围的像素区域进行描述,由于BRIEF对于图像旋转十分敏感,因此ORB对BRIEF进行了改进,利用上一步计算出的方向信息增强BRIEF的旋转不变性。
oFAST角点提取
先来了解一下FAST关键点:有一个像素点p,快速的将p像素点的亮度与其周围16个像素点的亮度进行比较。这16个像素点将被划分为三类(比p点亮、比p点暗、与p点亮度相似)。如果超过8个像素点比p点更亮互更暗,则把p点作为一个关键点。
FAST角点没有方向信息,而且由于它取固定半径为3的圆因此也存在尺度问题(远看是角点,近看就不是角点了)。因此ORB算法使用了图像金字塔(image pyramid)来解决尺度问题。图像金子塔每往上一层就对图像进行一个固定倍率的缩放,较小的图像可以当作远景,如图:

ORB通过对图像的每一层进行关键点的提取从而部分解决了尺度问题。
在旋转方面,ORB根据关键点周围灰度值的变化为每个关键点分配一个方向。为了检测灰度值的变化ORB使用了图像灰度质心(intensity centroid),图像灰度质心假设一个点的灰度强度是偏离中心的,计算步骤如下:
-
在一个图像块(patch)中定义图像块的矩为:

-
通过矩找到图像块的质心

-
由图像块的中心O与质心O构建一个方向向量OC,所以特征点的方向可以定义为:

下图是一个例子:

通过以上的方法,FAST角点便具有了尺度与旋转的描述,提升了其在不同图像中的鲁棒性,因此ORB中这种改进的FAST称为Oriented FAST (oFAST)。
BRIEF 描述子(Binary robust independent elementary feature)
提取了oFAST关键点后需要对每一个关键点计算描述子。BRIEF是一种二进制描述子,描述向量由多个0和1组成。简而言之,每个关键点由一个128-512位的二进制字符串表示

二进制特征向量的每一位取0还是取1是由关键点周围两个随机像素(比如p和q)的大小关系决定的:如果p大于q则取1,反之取0。如果取128对这样的p和q,最后就得到一个128维由0和1组成的向量。由于是随机选取关键点附近的点对(p,q),BRIEF对高频噪声敏感,因此应该先对图像进行高斯滤波。ORB中这两个点(p,q)的选取是服从以图像块为中心的高斯分布的,并且选择的二进制特征向量维数为256维。
在BRIEF的论文原文中,点对(p和q)的采样有5种方式:
- 第一种(G I)服从均匀分布
- 第二次 (G II) 服从以图像块几何中心为中心的高斯分布
- 第三种 (G III)第一个采样点服从以图像块几何中心为中心的高斯分布,第二种服从以第一个采样点为中心的高斯分布
- 后面两种是极坐标采样
由于第二种方式效果更好,所以论文中使用的是第二种采样方式。原始的BRIEF描述子不具有旋转不变性(对旋转很敏感),因此在图像旋转时容易丢失。而ORB在关键点提取阶段计算了关键点的方向,所以利用方向信息计算旋转之后的“Steer BRIEF”特征,使描述子具有良好的旋转不变性。
下面我写了一段代码用于生成G I、G II 、G III中的采样坐标构成的 “模板”(pattern):
#include <iostream>
#include <stdlib.h>
#include <math.h>
#include <time.h>
using namespace std;
template<class T>
class Point
{
private:
T X;
T Y;
public:
T getX() {
return X;
}
T getY() {
return Y;
}
Point(){
X = (T)0;
Y = (T)0;
}
Point(T x, T y) {
X = x;
Y = y;
}
};
typedef Point<double> Point2f;
class Random
{
private:
const static int NSUM = 100;//N个独立同分布变量
constexpr static double PI = 3.141592654;
public:
static double gaussRand(void);//静态成员变量,使用类名调用
static double gaussRandBM(void);//通过Box-Muller算法生成一个高斯随机数
static Point2f randPointGauss();//产生一个中心为原点(均值为0),服从二维标准正态分布的采样点
static Point2f randPointGauss(Point2f center, double sd);//产生一个服从以center为中心点(均值),标准差为sd的高斯分布采样点
static Point2f randPointUniform(int a, int b);//服从均匀分布的采样坐标点
static int * Orb_PatternI(const int N, int a, int b);//产生由n个点对构成的pattern
static int * Orb_PatternII(const int N, double sd, int boundrySize);//产生由n个点对构成的pattern, 以原点为中心采集两次
static int * Orb_PatternIII(const int N, double sd, int boundrySize);
};
/**
* 利用中心极限定理,生成一个符合标准正太分布的随机数
* @return 返回一个double类型的符合高斯分布的随机数
*/
double Random::gaussRand() {
double x = 0;//用于求和
//产生NSUM个0-1之间的随机数求和
//srand((unsigned)time(NULL));
for (int i = 0; i < NSUM; i++) {
x += (double) rand() / (RAND_MAX+1.0);
}
x = (x - NSUM * 0.5) / sqrt(NSUM/12);//标准化,转化为标准正态分布
return x;
}
double Random::gaussRandBM() {
static double U, V;
static int phase = 0;
double z;
if(phase == 0)
{
U = rand() / (RAND_MAX + 1.0);
V = rand() / (RAND_MAX + 1.0);
z = sqrt(-2.0 * log(U))* sin(2.0 * PI * V);
}
else
{
z = sqrt(-2.0 * log(U)) * cos(2.0 * PI * V);
}
phase = 1 - phase;
return z;
}
Point2f Random::randPointUniform(int a, int b) {
Point2f p((rand() % (b-a+1))+ a,(rand() % (b-a+1))+ a);
return p;
}
Point2f Random::randPointGauss() {
Point2f p(gaussRandBM(),gaussRandBM());
return p;
}
Point2f Random::randPointGauss(Point2f center, double sd){
Point2f p(center.getX()+gaussRandBM()*sd,center.getY() + gaussRandBM() * sd);
return p;
}
int *Random::Orb_PatternI(const int N, int a, int b){
static int * orb_pattern;//延长生命周期
orb_pattern = new int[4*N];
for(int i = 0; i < 4 * N; i+=2) {
Point2f p1 = randPointUniform(a,b);
orb_pattern[i] = p1.getX();
orb_pattern[i + 1] = p1.getY();
}
return orb_pattern;
}
int * Random::Orb_PatternII(const int N, double sd, int boundrySize) {
static int * orb_pattern;//延长生命周期
orb_pattern = new int[4*N];
Point2f center(0,0);
for(int i = 0; i < 4 * N; i+=2) {
Point2f p1 = randPointGauss(center,sd/5.0);
if (p1.getX() < -boundrySize || p1.getY() < -boundrySize ||p1.getX() > boundrySize || p1.getY() > boundrySize) {
i-=2;
continue;
}
orb_pattern[i] = p1.getX();
orb_pattern[i + 1] = p1.getY();
}
return orb_pattern;
}
int * Random::Orb_PatternIII(const int N, double sd, int boundrySize) {
static int * orb_pattern;//延长生命周期
orb_pattern = new int[4*N];
Point2f center(0,0);
Point2f p1, p2;
for(int i = 0; i < 4 * N; i+=4) {
p1 = randPointGauss(center,sd/5.0);
if (p1.getX() < -boundrySize || p1.getY() < -boundrySize ||p1.getX() >= boundrySize-1 || p1.getY() >= boundrySize-1) {
i-=4;
continue;
}
orb_pattern[i] = p1.getX();
orb_pattern[i + 1] = p1.getY();
}
for(int i = 2; i < 4 * N; i+=4) {
p2 = randPointGauss(p1,sd/10.0);
if (p2.getX() < -boundrySize || p2.getY() < -boundrySize ||p2.getX() >= boundrySize-1 || p2.getY() >= boundrySize-1) {
i-=4;
continue;
}
orb_pattern[i] = p2.getX();
orb_pattern[i + 1] = p2.getY();
}
return orb_pattern;
}
int main() {
int * pattern = Random::Orb_PatternII(256,16,13);
for(int i = 0; i < 4*256; i+=4) {
cout<< pattern[i] << ","<< pattern[i+1] <<","<< pattern[i+2] <<","<< pattern[i+3] <<","<<endl; ;
}
// int * pattern = Random::Orb_PatternI(256,-13,13);
// for(int i = 0; i < 4*256; i+=4) {
// cout<< pattern[i] << ","<< pattern[i+1] <<","<< pattern[i+2] <<","<< pattern[i+3] <<","<<endl; ;
// }
}
BRIEF具有一个重要的特性,即每个位特征具有较大的方差,且均值接近0.5。 但是,一旦将其沿关键点方向定向,它就会失去此属性并变得更加分散。 大的方差使特征更具区分性,因为它对输入的响应不同。 另一个理想的特性是使二进制特征向量不相关,因为这样每一个向量都有助于结果。 为了解决所有这些问题,ORB在所有可能的二进制向量中进行贪婪搜索,以找到方差高且均值接近0.5且不相关的向量。 结果称为rBRIEF。
在OpenCV orb.cpp的源码中有这样一个数组bit_pattern_31_,如图:
这是orb使用某种学习算法(论文里有说明)训练好的256个点对,使用这256个点对的效果会比较好,当然也可以使用自己生成的随机采样点对。
特征匹配
不同图像之间提取完成特征点后就可以进行特征匹配,找到不同图像之间特征点的对应关系。最简单的匹配算法是暴力匹配 (Brute-Force Matcher):对图像I中的每一个特征点与图像II中的所有特征点测量描述子的距离,然后排序,取最近的一个作为匹配点。描述子距离表示两个特征点之间的相似程度。对于rBRIEF这种二进制描述子,通常使用汉明距离(Hamming distance):两个二进制串不同位数的个数。
实践
下面代码演示了opencv中ORB的使用方法:
#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <chrono>
3万+



被折叠的 条评论
为什么被折叠?



