ORB特征点匹配

特征点的检测与匹配(ORB,SIFT,SURFT比较)[opencv-python] 特征点的检测与匹配(ORB,SIFT,SURFT比较) 阅读详情


特征点

特征点是图像中具有代表性的点,这些点在图像发生变化时,比如图像的旋转、缩放,将保持不变。图像中的角点和边缘相对来说更加“特别”,因为它们在不同的图像中辨识度更强。因此一种直观的提取特征的方式就是在图像之间辨认角点,并确定对应关系。角点的提取算法有Harris角点、FAST角点、GFTT角点,等等。但是在很多应用中角点不能满足需求,因为从远处看上去是角点的地方当相机离近时就不是角点了,或者当发生旋转时就认不出是角点了。因此研究人员设计了更加稳定的局部图像特征,如:SIFT、SURF、ORB等等。这些人工设计的特征点具有以下性质:

  • 可重复性:相同的特征可以在不同的图像中找到
  • 可区别性:不同的特征有不同的表达
  • 高效率:同一图像中特征点的数量小于像素的数量
  • 本地性:特征只与一小片图像区域有关

特征点是由关键点(Key-point)和描述子(Discriptor)组成,关键点是指该特征点在图像中的位置,描述子通常是一个向量,描述了该关键点周围的像素信息。


ORB特征

ORB特征由关键点与描述子组成。它的关键点称为“Oriented FAST”,是一种改进的FAST角点,它的描述子为BRIEF。
提取ORB特征分为如下两个步骤:

  1. oFAST角点提取:找出图像中的角点,与原来的FAST算法相比,ORB中计算了特征点的主方向,为BRIEF描述子增加了旋转不变性
  2. BRIEF描述子:对前一步找到的关键点周围的像素区域进行描述,由于BRIEF对于图像旋转十分敏感,因此ORB对BRIEF进行了改进,利用上一步计算出的方向信息增强BRIEF的旋转不变性。

oFAST角点提取

先来了解一下FAST关键点:有一个像素点p,快速的将p像素点的亮度与其周围16个像素点的亮度进行比较。这16个像素点将被划分为三类(比p点亮、比p点暗、与p点亮度相似)。如果超过8个像素点比p点更亮互更暗,则把p点作为一个关键点。在这里插入图片描述
FAST角点没有方向信息,而且由于它取固定半径为3的圆因此也存在尺度问题(远看是角点,近看就不是角点了)。因此ORB算法使用了图像金字塔(image pyramid)来解决尺度问题。图像金子塔每往上一层就对图像进行一个固定倍率的缩放,较小的图像可以当作远景,如图:
在这里插入图片描述
ORB通过对图像的每一层进行关键点的提取从而部分解决了尺度问题。
在旋转方面,ORB根据关键点周围灰度值的变化为每个关键点分配一个方向。为了检测灰度值的变化ORB使用了图像灰度质心(intensity centroid),图像灰度质心假设一个点的灰度强度是偏离中心的,计算步骤如下:

  1. 在一个图像块(patch)中定义图像块的矩为:在这里插入图片描述

  2. 通过矩找到图像块的质心
    在这里插入图片描述

  3. 由图像块的中心O与质心O构建一个方向向量OC,所以特征点的方向可以定义为:
    在这里插入图片描述
    下图是一个例子:
    在这里插入图片描述
    通过以上的方法,FAST角点便具有了尺度与旋转的描述,提升了其在不同图像中的鲁棒性,因此ORB中这种改进的FAST称为Oriented FAST (oFAST)。

BRIEF 描述子(Binary robust independent elementary feature)

提取了oFAST关键点后需要对每一个关键点计算描述子。BRIEF是一种二进制描述子,描述向量由多个0和1组成。简而言之,每个关键点由一个128-512位的二进制字符串表示
在这里插入图片描述
二进制特征向量的每一位取0还是取1是由关键点周围两个随机像素(比如p和q)的大小关系决定的:如果p大于q则取1,反之取0。如果取128对这样的p和q,最后就得到一个128维由0和1组成的向量。由于是随机选取关键点附近的点对(p,q),BRIEF对高频噪声敏感,因此应该先对图像进行高斯滤波。ORB中这两个点(p,q)的选取是服从以图像块为中心的高斯分布的,并且选择的二进制特征向量维数为256维。
在BRIEF的论文原文中,点对(p和q)的采样有5种方式:在这里插入图片描述

  • 第一种(G I)服从均匀分布
  • 第二次 (G II) 服从以图像块几何中心为中心的高斯分布
  • 第三种 (G III)第一个采样点服从以图像块几何中心为中心的高斯分布,第二种服从以第一个采样点为中心的高斯分布
  • 后面两种是极坐标采样
    由于第二种方式效果更好,所以论文中使用的是第二种采样方式。原始的BRIEF描述子不具有旋转不变性(对旋转很敏感),因此在图像旋转时容易丢失。而ORB在关键点提取阶段计算了关键点的方向,所以利用方向信息计算旋转之后的“Steer BRIEF”特征,使描述子具有良好的旋转不变性。

下面我写了一段代码用于生成G I、G II 、G III中的采样坐标构成的 “模板”(pattern):

#include <iostream>
#include <stdlib.h>
#include <math.h>
#include <time.h>

using namespace std;

template<class T> 
class Point
{
   
   
    private:
        T X;
        T Y;
    public:
        T getX() {
   
   
            return X;
        }
        T getY() {
   
   
            return Y; 
        }
        Point(){
   
   
            X = (T)0;
            Y = (T)0;
        }
        Point(T x, T y) {
   
   
            X = x;
            Y = y;
        }
};

typedef Point<double> Point2f;

class Random 
{
   
   
    private:
        const static int NSUM = 100;//N个独立同分布变量
        constexpr static double PI = 3.141592654;
    public:
        static double gaussRand(void);//静态成员变量,使用类名调用
        static double gaussRandBM(void);//通过Box-Muller算法生成一个高斯随机数
        static Point2f randPointGauss();//产生一个中心为原点(均值为0),服从二维标准正态分布的采样点
        static Point2f randPointGauss(Point2f center, double sd);//产生一个服从以center为中心点(均值),标准差为sd的高斯分布采样点
        static Point2f randPointUniform(int a, int b);//服从均匀分布的采样坐标点
        static int * Orb_PatternI(const int N, int a, int b);//产生由n个点对构成的pattern
        static int * Orb_PatternII(const int N, double sd, int boundrySize);//产生由n个点对构成的pattern, 以原点为中心采集两次
        static int * Orb_PatternIII(const int N, double sd, int boundrySize);

};

/**
 *  利用中心极限定理,生成一个符合标准正太分布的随机数
 *  @return 返回一个double类型的符合高斯分布的随机数
 */
double Random::gaussRand() {
   
   
    double x = 0;//用于求和
    //产生NSUM个0-1之间的随机数求和
    //srand((unsigned)time(NULL)); 
    for (int i = 0; i < NSUM; i++) {
   
   
        x += (double) rand() / (RAND_MAX+1.0);
    }
    x = (x - NSUM * 0.5) / sqrt(NSUM/12);//标准化,转化为标准正态分布
    return x;
}

double Random::gaussRandBM() {
   
   
    static double U, V;
    static int phase = 0;
    double z;
    
    if(phase == 0)
    {
   
   
         U = rand() / (RAND_MAX + 1.0);
         V = rand() / (RAND_MAX + 1.0);
         z = sqrt(-2.0 * log(U))* sin(2.0 * PI * V);
    }
    else
    {
   
   
         z = sqrt(-2.0 * log(U)) * cos(2.0 * PI * V);
    }
    phase = 1 - phase;
    return z;
}

Point2f Random::randPointUniform(int a, int b) {
   
   
    Point2f p((rand() % (b-a+1))+ a,(rand() % (b-a+1))+ a);
    return p;
}

Point2f Random::randPointGauss() {
   
   
    Point2f p(gaussRandBM(),gaussRandBM());
    return p;
}

Point2f Random::randPointGauss(Point2f center, double sd){
   
   
    Point2f p(center.getX()+gaussRandBM()*sd,center.getY() + gaussRandBM() * sd);
    return p;
}

int *Random::Orb_PatternI(const int N, int a, int b){
   
   
    static int * orb_pattern;//延长生命周期
    orb_pattern = new int[4*N];
    for(int i = 0; i < 4 * N; i+=2) {
   
   
        Point2f p1 = randPointUniform(a,b);
        orb_pattern[i] = p1.getX();
        orb_pattern[i + 1] = p1.getY();
    }
    return orb_pattern;
}

int * Random::Orb_PatternII(const int N, double sd, int boundrySize) {
   
   
    static int * orb_pattern;//延长生命周期
    orb_pattern = new int[4*N];
    Point2f center(0,0);
    for(int i = 0; i < 4 * N; i+=2) {
   
   
        Point2f p1 = randPointGauss(center,sd/5.0);
        if (p1.getX() < -boundrySize || p1.getY() < -boundrySize ||p1.getX() > boundrySize || p1.getY() > boundrySize) {
   
   
            i-=2;
            continue;
        }
        orb_pattern[i] = p1.getX();
        orb_pattern[i + 1] = p1.getY();
    }
    return orb_pattern;
}

int * Random::Orb_PatternIII(const int N, double sd, int boundrySize) {
   
   
    static int * orb_pattern;//延长生命周期
    orb_pattern = new int[4*N];
    Point2f center(0,0);
    Point2f p1, p2;
    for(int i = 0; i < 4 * N; i+=4) {
   
   
        p1 = randPointGauss(center,sd/5.0);
        if (p1.getX() < -boundrySize || p1.getY() < -boundrySize ||p1.getX() >= boundrySize-1 || p1.getY() >= boundrySize-1) {
   
   
            i-=4;
            continue;
        }
        orb_pattern[i] = p1.getX();
        orb_pattern[i + 1] = p1.getY();
    }
    for(int i = 2; i < 4 * N; i+=4) {
   
   
        p2 = randPointGauss(p1,sd/10.0);
        if (p2.getX() < -boundrySize || p2.getY() < -boundrySize ||p2.getX() >= boundrySize-1 || p2.getY() >= boundrySize-1) {
   
   
            i-=4;
            continue;
        }
        orb_pattern[i] = p2.getX();
        orb_pattern[i + 1] = p2.getY();
    }
    return orb_pattern;
}

int main() {
   
   
    int * pattern = Random::Orb_PatternII(256,16,13);
     for(int i = 0; i < 4*256; i+=4) {
   
   
       cout<< pattern[i] << ","<< pattern[i+1] <<","<< pattern[i+2] <<","<< pattern[i+3] <<","<<endl; ;
    }
    // int * pattern = Random::Orb_PatternI(256,-13,13);
    //  for(int i = 0; i < 4*256; i+=4) {
   
   
    //    cout<< pattern[i] << ","<< pattern[i+1] <<","<< pattern[i+2] <<","<< pattern[i+3] <<","<<endl; ;
    // }
}

BRIEF具有一个重要的特性,即每个位特征具有较大的方差,且均值接近0.5。 但是,一旦将其沿关键点方向定向,它就会失去此属性并变得更加分散。 大的方差使特征更具区分性,因为它对输入的响应不同。 另一个理想的特性是使二进制特征向量不相关,因为这样每一个向量都有助于结果。 为了解决所有这些问题,ORB在所有可能的二进制向量中进行贪婪搜索,以找到方差高且均值接近0.5且不相关的向量。 结果称为rBRIEF。

在OpenCV orb.cpp的源码中有这样一个数组bit_pattern_31_,如图:在这里插入图片描述
这是orb使用某种学习算法(论文里有说明)训练好的256个点对,使用这256个点对的效果会比较好,当然也可以使用自己生成的随机采样点对。


特征匹配

不同图像之间提取完成特征点后就可以进行特征匹配,找到不同图像之间特征点的对应关系。最简单的匹配算法是暴力匹配 (Brute-Force Matcher):对图像I中的每一个特征点与图像II中的所有特征点测量描述子的距离,然后排序,取最近的一个作为匹配点。描述子距离表示两个特征点之间的相似程度。对于rBRIEF这种二进制描述子,通常使用汉明距离(Hamming distance):两个二进制串不同位数的个数。


实践

下面代码演示了opencv中ORB的使用方法:

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <chrono>

ORB-SLAM策略思考之ORB特征点匹配策略 有关ORB-SLAM中特征匹配的策略 阅读详情

相关推荐

Opencv下利用SIFT、SURF、ORB三种特征点实现图像匹配

Opencv下利用SIFT、SURF、ORB三种特征点实现图像匹配视频项目中要用到拼接,这里记录一下SIFT、SURF、ORB三种特征点。 本文不做过多的理论解释,只是利用opencv简单实现三种特征点匹配算法的验证(改进的部分暂未上传)。代码下载地址:Opencv下利用SIFT、SURF、ORB三种特征点实现图像匹配 环境: Windows下vs2010,opev2.4.9; 代码relea

2010yhh 3万+

ORB特征匹配

个人博客:http://www.chenjianqu.com/ 原文链接:http://www.chenjianqu.com/show-88.html 接<SLAM基本概念> ORB特征由关键点和描述子两部分组成,关键点称为“Oriented FAST”,是一种改进的FAST 角点。它的描述子称为BRIEF(Binary Robust Independent Elem...

陈建驱的博客 5710

3D视觉(四):ORB特征提取与匹配

3D视觉(四):ORB特征提取与匹配 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录3D视觉(四):ORB特征提取与匹配前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础

Twilight737的博客 7436

OpenCV中ORB特征点检测和匹配简单用法

ORB特征点检测和匹配

robinhjwy的博客 2万+

图像特征点提取及匹配的几种方法总结——基于C++和OPENCV实现SIFT、SURF、ORB、FAST

学习特征提取匹配以及图像融合

H19981118的博客 6043

opencv3.4.6 特征点匹配:ORB

ORB:Oriented FAST and Rotated BRIE ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来,并在它们原来的基础上做了改进与优化: 使用非最大值抑制,在一定区域内仅仅保留响应极大值的角点,避免FAST提取到的角点过于集中。FAST提取到的角点数量过多且不是很稳定,ORB中可以指定需要提取到的角点的数量N,然后对FAST提取到的角点分别计算Harri...

zfjBIT的专栏 2930

深入理解ORB特征点匹配技术

在计算机视觉领域,特征点匹配是图像识别和分析的关键步骤之一。它涉及识别两个或多个图像之间相似的特征点,为后续的图像配准、目标检测与跟踪、三维重建等任务提供基础。特征点匹配的准确性直接影响到整个系统的性能。角点作为图像中的一种重要特征点,因其在二维空间中具有独特的位置和方向信息,被广泛应用于图像识别、三维重建、视觉导航和运动跟踪等领域。角点检测不仅可以减少后续处理的数据量,而且能够提供更鲁棒的特征信息。在机器人视觉中,角点检测是定位和导航的关键,帮助机器人理解其所处环境的结构。

weixin_36178216的博客 1503

Ubuntu 24.04 LTS与Windows 11远程桌面连接:从xrdp闪退到xfce4桌面环境的实战排障

本文详细解决了在Ubuntu 24.04 LTS上使用xrdp连接Windows 11远程桌面时遇到的登录后闪退问题。通过分析日志,定位到默认GNOME桌面环境与xrdp的兼容性冲突,并提供了将桌面环境更换为轻量且兼容性更佳的XFCE4的完整实战解决方案,包括安装、关键配置修改及服务重启步骤,确保远程连接稳定可靠。

mango的博客 811

Linux CentOS 8系统离线升级内核版本

CentOS 8操作系统离线场景下升级内核版本

WQwinter的博客 3239

windchill安装搭建(保姆式)

保姆式搭建windchill 材料准备 Vmware工具,用来创建和打开虚拟机的工具 安装系统的镜像文件 数据库安装文件,这里是Oracle数据库 Windchill的安装包 Vmware工具,用来安装和打开虚拟机的软件 Windowsserver2008的镜像工具,用来安装虚拟机环境的系统,如果你有win2007或win2010的也可以,在做虚拟机时,需要先安装系统。 Oracle数据库安装包 Windchill11M030的安装包 (安装包如有需要可以私信邮箱发送) 虚拟机安装 安装虚拟机VMware

tr1294937662的博客 6225

【文章阅读+代码复现】Point-GNN

Brief 在3D点云语义分割方法中,GNN已经做了很多可用的方案,但是在目标检测上依旧是采用比较传统的CNN和稀疏卷积的组合,这一篇文章是研究了图卷积在3D检测的中的用法。来自卡内基梅隆大学。已经被CVPR2020接收. 这里是 paper 这里是 code Abstruct 一个采用GNN设计的3D目标检测框架 过程是先将点云场景编码成图结构,随后设计了一个叫point-GNN的网络结构,在...

有所为,有所成长 1万+

IGS精密星历高效获取与解析指南

本文详细介绍了IGS精密星历在高精度定位中的核心作用,对比了IGS Final、IGR和IGU等不同产品的精度与时效性差异。指南提供了从武汉大学、NASA CDDIS等数据中心高效下载数据的实战方法,并深入解析了SP3文件格式,帮助用户掌握精密星历的获取、解析与自动化处理技巧,以支持厘米级定位应用。

garlic的博客 844

深入解析USBlyzer抓包工具:从设备描述符到数据交互实战

本文深入解析了USBlyzer抓包工具在USB协议分析中的应用。从设备描述符的抓取与解读,到设置地址、配置描述符的实战分析,再到数据交互阶段的抓包技巧,文章通过具体案例详细展示了如何使用USBlyzer透视USB总线通信,是排查设备驱动问题、逆向分析通信协议和学习USB规范的实用指南。

weixin_29171087的博客 742

Redis从入门到精通专栏大纲

设计原则:Redis使用的黄金法则性能优化:生产环境调优checklist安全加固:Redis安全配置指南团队协作:Redis开发和运维规范。

苦哈哈的 C++ 程序员,写这个技术博客不是为了装逼,也不是为了立人设,是为了收割流量 848

基于Simulink进行步进电机的重复控制仿真建模

目的:通过引入一个周期延迟环节来补偿系统的周期性误差,从而提高系统对周期性参考信号或扰动的跟踪性能。方法内部模型原理:在控制器中嵌入一个与周期性信号相关的模型(例如周期延迟环节),以实现对周期性误差的零稳态误差控制。滤波器设计:为了避免高频噪声放大,通常会在重复控制器中加入低通滤波器。优势对周期性信号具有良好的跟踪性能。不需要精确的数学模型即可实现高性能控制。挑战:需要合理设计重复控制器的参数以避免系统不稳定。

MHD0815的博客 384

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: c++:internal compiler error:killked(program cclplus) 解决办法
下一篇: 图像梯度(Image Gradient)
消灭猕猴桃
博客等级 码龄11年 113粉丝 593原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址