特征提取:传统算法 VS 深度学习 !!

论文解析一: SuperPoint 一种自监督网络框架,能够同时提取特征点的位置以及描述子 ​ 对于特征点提取部分,网络先将维度( W / 8 , H / 8 , 128 )的特征处理为( W / 8 , H / 8 , 65 )大小,这里的65的含义是特征图的每一个像素表示原图8 × 8 的局部区域加上一个当局部区域不存在特征点时用于输出的Dustbin通道,通过。​ 对于特征描述子提取部分,同理,我们还是使用encoder层的输出(H,W,128)。,这一层是为了8×8的局部区域内没有特征点时,经过Softmax后64维的特征势必还是会有一个相对较大的值输出,但加入。后就可以避免这个问题。 阅读详情

文章目录


前言

特征提取是计算机视觉领域经久不衰的研究热点,总的来说,快速、准确、鲁棒的特征点提取是实现上层任务基本要求。

特征点是图像中梯度变化较为剧烈的像素,比如:角点、边缘等。FAST(Features from Accelerated Segment Test)是一种高速的角点检测算法;而尺度不变特征变换 SIFT(Scale-invariant feature transform)仍然可能是最著名的传统局部特征点。也是迄今使用最为广泛的一种特征。

特征提取一般包含特征点检测和描述子计算两个过程。描述子是一种度量特征相似度的手段,用来确定不同图像中对应空间同一物体,比如:BRIEF(Binary Robust Independent Elementary Features)描述子。可靠的特征提取应该包含以下特性:

(1)对图像的旋转和尺度变化具有不变性;

(2)对三维视角变化和光照变化具有很强的适应性;

(3)局部特征在遮挡和场景杂乱时仍保持不变性;

(4)特征之间相互区分的能力强,有利于匹配;

(5)数量较多,一般 500x500 的图像能提取出约 2000 个特征点。

近几年深度学习的兴起使得不少学者试图使用深度网络提取图像特征点,并且取得了阶段性的结果。图1给出了不同特征提取方法的特性。本文中的传统算法以ORB特征为例,深度学习以 SuperPoint 为例来阐述他们的原理并对比性能。

图1 不同的特征提取方法对比

1. 传统算法—ORB特征

尽管 SIFT 是特征提取中最著名的方法,但是因为其计算量较大而无法在一些实时应用照片使用。为了研究一种快速兼顾准确性的特征提取算法,Ethan Rublee等人在2011年提出了ORB特征:“ORB:An Efficient Alternative to SIFT or SURF”。ORB算法分为两部分,分别是特征点提取和特征点描述。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来,并在它们原来的基础上做了改进和优化。其速度是SIFT的100倍,是SURF的10倍。

Fast 特征提取

从图像中选取一点P,如图2。按以下步骤判断该点是不是特征点:以 P 为圆心画一个半径为 3 pixel 的圆;对圆周上的像素点进行灰度值比较,找出灰度值超过 l(P)+h 和低于 l(P)-h 的像素,其中 l(P)是P点的灰度, h 是给定的阈值;如果有连续 n 个像素满足条件,则认为 P 为特征点。一般 n 设置为 9。为了加快特征点的提取,首先检测1、9、5、13位置上的灰度值,如果P是特征点,那么这四个位置上有3个或3个以上的像素满足条件。如果不满足,则直接排除此点。

图2 FAST特征点判断示意图 

上述步骤检测出的FAST角点数量很大且不确定,因此ORB对其进行改进。对于目标数量K为个关键点,对原始FAST角点分别计算Harris响应值,,然后根据响应值来对特征点进行排序,选取前K个具有最大响应的角点作为最终的角点集合。除此之外,FAST不具有尺度不变性和旋转不变性。ORB算法构建了图像金字塔,对图像进行不同层次的降采样,获得不同分辨率的图像,并在金字塔的每一层上检测角点,从而获得多尺度特征。最后,利用灰度质心法计算特征点的主方向。作者使用矩来计算特征点半径范围内的质心,特征点坐标到质心形成一个向量作为该特征点的方向。矩定义如下:

计算图像的 0 和 1 阶矩:

则特征点的邻域质心为:

进一步得到特征点主方向:

描述子计算

BRIEF 算法计算出来的是一个二进制串的特征描述符,具有高速、低存储的特点。具体步骤是在一个特征点的邻域内,选择 n 对像素点 pi、qi(i=1,2,…,n)。然后比较每个点对的灰度值的大小。如果 I(pi)> I(qi) ,则生成二进制串中的 1,否则为0。所有的点对都进行比较,则生成长度为 n 的二进制串。一般 n 取128、256或512。另外,为了增加特征描述符的抗噪性,算法首先需要对图像进行高斯平滑处理。在选取点对的时候,作者测试了5种模式来寻找一种特征点匹配的最优模式(pattern)。

图3 测试分布方法

最终的结论是,第二种模式(b)可以取得较好的匹配结果。

2. 深度学习的方法——SuperPoint

深度学习解决特征点提取的思路是利用深度神经网络提取特征点而不是手工设计特征,它的特征检测性能与训练样本、网络结构紧密相关。一般分为特征检测模块和描述子模块。在这里以应用较为广泛的 SuperPoint 为例介绍该方法的主要思路。

该方法采用了自监督的全卷积网络框架,训练得到的特征点(keypoint)和描述子(descriptors)。自监督指的是该网络训练使用的数据集也是通过深度学习的方法构造的。该网络可分为三个部分(见图4),(a)是BaseDetector(特征点检测网络),(b)是真值自标定模块。(c)是SuperPoint网络,输出特征点和描述子。虽然是基于深度学习的框架,但是该方法在 Titan X GPU 上可以输出 70HZ 的检测结果,完全满足实时性的要求。

图4 SuperPoint 网络结构示意图

下面分别介绍一下三个部分:

BaseDetector 特征点检测

首先创建一个大规模的合成数据集:由渲染的三角形、四边形、线、立方体、棋盘和星星组成的合成数据,每个都有真实的角点位置。渲染合成图像后,将单应变换应用于每个图像以增加训练数据集。单应变换对应着变换后角点真实位置。为了增强其泛化能力,作者还在图片中人为添加了一些噪声和不具有特征点的形状,比如椭圆。该数据集用于训练 MagicPoint 卷积神经网络,即 BaseDetector 。注意这里检测出的特征点不是SuperPoint,还需要经过 Homographic Adaptation 操作。

图5 预训练示意图

特征性能检测如下表:

图6 MagicPoint 模型在检测简单几何形状的角点方面优于经典检测器

真值目标定

Homographic Adaptation 旨在实现兴趣点检测器的自我监督训练。它多次将输入图像进行单应变换,以帮助兴趣点检测器从许多不同的视点和尺度看到场景。以提高检测器的性能并生成伪真实特征点。

图7 Homographic Adaptation操作

Homographic Adaptation 可以提高卷积神经网络训练的特征点检测器的几何一致性。该过程可以反复重复,以不断自我监督和改进特征点检测器。在我们所有的实验中,我们将 Homographic Adaptation 与 MagicPoint 检测器结合使用后的模型称为 SuperPoint。

图8 Iterative Homographic Adaptation

SuperPoint 网络

SuperPoint 是全卷积神经网络架构,它在全尺寸图像上运行,并在单次前向传递中产生带有固定长度描述符的特征点检测(见图9)。该模型有一个共享的编码器来处理和减少输入图像的维数。在编码器之后,该架构分为两个解码器 “头”,它们学习特征任务的权重——一个用于特征检测,另一个用于描述子计算。大多数网络参数在两个任务之间共享,这与传统系统不同,传统系统首先检测兴趣点,然后计算描述符,并且缺乏在两个任务之间共享计算和表示的能力。

图 9  SuperPoint Decoders

SuperPoint 架构使用类似VGG编码器来降低图像的维度。编码器由卷积层、通过池化的空间下采样和非线性激活函数组成。解码器对图片的每个像素都计算一个概率,这个概率表示的就是其为特征点的可能性大小。

描述子输出网络也是一个解码器。先学习半稠密的描述子(不使用稠密的方式是为了减少计算量和内存),然后进行双三次插值算法(bicubic interpolation)得到完整描述子,最后再使用 L2 标准化(L2-normalizes)得到单位长度的描述。

最终损失是两个中间损失的总和:一个用于兴趣点检测器Lp,另一个用于描述符Ld。我们使用成对的合成图像,它们具有真实特征点位置和来自与两幅图像相关的随机生成的单应性 H 的地面实况对应关系。同时优化两个损失,如图4(c)所示,使用 λ 来平衡最终的损失:

实验效果对比:

图10 不同的特征检测方法定性比较

图 11 检测器和描述符性能的相关指标

结论

在特征检测上,传统方法通过大量经验设计出了特征检测方法和描述子。尽管这些特征在光照变化剧烈,旋转幅度大等情况下还存在鲁棒问题,但仍然是目前应用最多、最成熟的方法,比如ORB-SLAM使用的ORB特征、VINS-Mono使用的FAST特征等都是传统的特征点。深度学习的方法在特征检测上表现出了优异的性能,但是:

(1)存在模型不可解释性的问题;

(2)在检测和匹配精度上仍然没有超过最经典的SIFT算法;

(3)大部分深度学习的方案在CPU上运实时性差,需要GPU的加速;

(4)训练需要大量不同场景的图像数据,训练困难。

本文最后的 Homograpyhy Estimation 指标,SuperPiont 超过了传统算法,但是评估的是单应变换精度。单应变换在并不能涵盖所有的图像变换。比如具有一般性质的基础矩阵或者本质矩阵的变换,SurperPoint 表现可能不如传统方法。

参考资料:新机器视觉

(本文仅用于学术分享,如有侵权,请联系后台作删文处理)

superPoint学习 superpoint是用于提取特征点,主要使用CNN。 网络架构 采用编码解码的方式,提取特征点和计算描述子实际是两个网络,编码部分共用一个网络(就是简单的卷积池化,三次池化后,将图片分辨率降为H/8 * W/8,通道数为128),之后各自使用自己的网络。 提取特征点 1.先用256个33的卷积核将输入升维到H/8 * W/8 * 256,再用65个11的卷积核降维成H/8 * W/8 * 65.这里的思想:我们要提取特征点,是要将feature_map还原到HW的分辨率才可以提取,也就是前面编码后面就要 阅读详情

相关推荐

深度学习知识点全面总结

本文详细介绍深度学习概念及原理,参考网上相关资料汇总,内容包含众多章节,包括神经网络基础及常见深度学习网络结构介绍,用于个人学习总结,适合深度学习初学者学习。同时介绍机器学习常见的分类算法:SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法:感知机、SVM、人工神经网络、决策树、逻辑回归.........

专注大数据与人工智能技术分享,欢迎私信加群互相学习! 39万+

视觉SLAM总结——SuperPoint / SuperGlue

视觉SLAM总结——super pixel/super clue/super map

weixin_44580210的博客 3万+

图形学基础知识:着色(三)Rendering Pipeline与Shader

管线(Pipeline) 什么是管线? 管线我们可以理解为流水线,流水线大家都懂,就是工厂里面生产东西的一整套流程。例如饮料厂要生产饮料,需要洗瓶子,倒饮料,加盖,包装等等,这一整套过程就是流水线。那么我们要把一个三维场景渲染成一幅二维的图像,同样需要一个先干嘛再干嘛然后干嘛最后干嘛的过程,这个过程或流水线,我们就称之为管线。 实时渲染管线(Real-time Rendering Pipeline) 通过前面几篇的学习,我们知道了要把一个三维场景渲染成一幅二维的图像大致分为以下几个步骤: M.

王王王渣渣的博客 2535

SuperPoint和SuperGlue 的算法介绍及学习应用经验分享

SuperPoint和SuperGlue 的算法介绍

weixin_46050242的博客 1万+

AI与Agent赋能下的软件测试变革:面向未来测试工程师的工作方法论

AI Agent 软件测试 测试 software testing test

测试技师的自我修养 1241

英飞凌功率MOSFET SPICE 瞬态仿真不收敛问题解决(基于TINA)

英飞凌功率MOSFET SPICE仿真容易出现不收敛问题,这个对于IGBT和SIC的管子应该是一样的,在瞬态仿真分析中,出现如下图所示的报错,Convergence problem。spice是为线性电路设计的,例如运算放大器、线性电源等,不是专门仿真开关电路的。在瞬态仿真时,仿真器是要不断迭代求解的,开关快速的跳变,容易在迭代式出现不收敛的问题。,由于时间步长减少,会消耗更多的计算机内存,如果运行多次内存消耗过大,会报“Out of memory”.解决方法是:报错工程,重启软件,内存重新计算。

miaoxiaokeji的博客 2310

特征提取:传统算法 vs 深度学习

特征点是图像中梯度变化较为剧烈的像素,比如:角点、边缘等。FAST(Features from Accelerated Segment Test)是一种高速的角点检测算法;而尺度不变特征变换SIFT(Scale-invariant feature transform)仍然可能是最著名的传统局部特征点。也是迄今使用最为广泛的一种特征。特征提取一般包含特征点检测和描述子计算两个过程。

小舟的博客 2459

台积电技术研发实力

台积电技术研发实力 台积电在半导体行业的地位毋庸置疑。他们究竟有多强大,大部分读者了解得可能非常片面。从最新公布的2019年财报里,看看台积电的真正实力。 一、台积电在市场上的地位 根据公司财报,台积公司在先进制程技术、特殊制程技术,以及先进封装技术的发展上持续领先全球集成电路制造服务领域,2019年的市场占有率为52%。台积公司总体营收以地区划分(主要依据客户营运总部所在地),来自北美市场的营收占台积公司总体营收的60%、日本与中国大陆以外的亚太市场占9%、中国大陆市场占20%、欧洲、中东及非洲市场占6

吴建明wujianming_110117 1905

【深度学习】特征提取:传统算法 vs 深度学习

编者荐语特征提取是计算机视觉中的一个重要主题。不论是SLAM、SFM、三维重建等重要应用的底层都是建立在特征点跨图像可靠地提取和匹配之上。特征提取是计算机视觉领域经久不衰的研究热点,总的来说,快速、准确、鲁棒的特征点提取是实现上层任务基本要求。特征点是图像中梯度变化较为剧烈的像素,比如:角点、边缘等。FAST(Features from Accelerated Segment Test)是一种高...

fengdu78的博客 2488

嵌入式工程师必学(118):MCU的硬件定时器和中断

大多数微处理器都有一个或多个可编程硬件定时器,这些定时器包括对中断的支持。可以有不同类型的计时器,用于不同的应用程序。例如,LPC1768 具有四个 32 位通用定时器、一个看门狗定时器、一个重复中断定时器、一个系统滴答定时器、一个正交编码器接口、6 个 PWM 输出和一个支持中断的实时时钟。硬件定时器用于计时和计数作,允许处理器在 timer 进程运行时继续执行其他进程。硬件定时器是一种使用 clock 信号来增加 register 的电路。

码农17年的博客 215

3D目标检测(PointPillars)(⭐⭐)—— 使用激光雷达点云检测车辆/行人/骑行者。技术栈:OpenPCDet、KITTI、Waymo数据集

OpenPCDet是由香港中文大学(深圳)和商汤科技联合开源的3D目标检测工具箱,基于PyTorch实现。它并非简单的代码库,而是一个模块化、可扩展的研究平台,目前支持超过15种主流算法(PointPillars、SECOND、PV-RCNN、PartA2、Voxel R-CNN等),并统一了KITTI、Waymo、nuScenes等数据集的接口。设计哲学Dataset:数据加载与预处理(点云读取、数据增强)Model:网络架构(支柱编码、骨干、检测头)Optimizer:优化器与学习率调度Tester。

2201_76125393的博客 28

深度学习 VS 传统计算机视觉

点击上方“小白学视觉”,选择加"星标"或“置顶” 重磅干货,第一时间送达 本文转载自:机器之心作者:Niall O’ Mahony等 |参与:魔王、张倩深度学习崛起后...

小白学视觉 6140

手把手保姆级|Python爬取微信公众号文章完整版,反反爬策略拉满,附可运行完整代码(永久可用)

做Python爬虫的朋友都知道,爬取微信公众号文章 绝对是爬虫领域的「香饽饽」也是「硬骨头」。一方面,微信公众号的文章是极具价值的数据源:不管是自媒体从业者做竞品分析、新媒体运营者整理干货、还是个人学习收集资料,都需要批量爬取公众号文章;另一方面,微信的反爬机制堪称全网最严苛之一 ——腾讯对微信生态的风控做到了极致,动态渲染页面、高频IP封禁、Cookie短时效失效、请求头严格校验、自动化工具秒识别、频繁请求直接拉黑,这些反爬手段让90%的爬虫新手望而却步:要么爬了几篇就被封IP,要么Cookie失效爬取中

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2638

【机器学习】特征提取:传统算法 vs 深度学习

点击上方“机器学习初学者”,选择加"星标"或“置顶”编者荐语特征提取是计算机视觉中的一个重要主题。不论是SLAM、SFM、三维重建等重要应用的底层都是建立在特征点跨图像可靠地提取和匹配之上。转载自丨深蓝AI特征提取是计算机视觉领域经久不衰的研究热点,总的来说,快速、准确、鲁棒的特征点提取是实现上层任务基本要求。特征点是图像中梯度变化较为剧烈的像素,比如:角点、边缘等。FAST(Features ...

fengdu78的博客 1127

DeepSmote:一种深度SMOTE方法

DeepSmote 一种全新的将深度学习与Smote相结合的过采样方法! 目前在许多领域已经被使用,值得大家关注学习!

走在深度学习前沿的小宋 1448

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

CV中,传统视觉算法 vs 深度学习算法

计算机视觉中, 传统视觉算法,侧重于提取,识别容易量化的特征:颜色、面积、圆度、矩形度,角度、长度等。 深度学习算法,侧重于难于量化的特征:例如瑕疵。 当年汽车刚刚发明的时候,还没有马车跑的快,遭到了人们的怀疑和嘲笑,但这并不能影响汽车,这个伟大的发明,就此走向人类的历史。 Andrew Ng的Deap learning课程,听到Andrew Ng讲课的时候说了一句“Deep Learning是一个更多偏向于市场宣传的名字...方便媒体报道...方便传播...”。 深度学习的确能把传统

迟来大师的博客 2427

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

传统SIFT vs SuperPoint:特征提取效率全面对比

SIFT:由David Lowe在2004年提出,通过高斯差分(DoG)检测关键点,并生成128维描述子。它的优势在于对尺度、旋转和光照变化具有鲁棒性。SuperPoint:基于深度学习的特征提取方法,通过卷积神经网络(CNN)直接预测关键点和描述子。相比SIFT,它在速度和适应性上表现更优。SuperPoint凭借深度学习优势,在效率和精度上全面超越传统SIFT,尤其适合实时性要求高的场景。通过自动化对比工具,开发者可以直观评估不同算法的表现,从而选择最适合的方案。

EmeraldWolf23的博客 848

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

目标检测算法回顾之传统算法

基于传统的目标检测算法主要可以分为基于特征和基于分割两个方向。

xiaobaizaza_Ry的博客 1万+

论文笔记:传统CV和深度学习方法的比较

来自《Deep Learning vs. Traditional Computer Vision》 摘要: 深度学习推动了数字图像处理领域的极限。 但是,这并不是说传统计算机视觉技术已经过时了。 本文将分析每种方法的优缺点。 本文的目的是促进有关是否应保留经典计算机视觉技术知识的讨论。 本文还将探讨如何将计算机视觉的两个方面结合起来。 评论了几种最近的混合方法论,这些方法论证明了改善计算机视觉...

鲜花会生锈 1万+

03目标检测-传统方法与深度学习算法对比

目标检测“是当前计算机视觉和机器学习领域的研究热点。从Viola-Jones Detector、DPM等冷兵器时代的智慧到当今RCNN、YOLO等深度学习土壤孕育下的GPU暴力美学,整个目标检测的发展可谓是计算机视觉领域的一部浓缩史。整个目标检测的发展历程已经总结在了下图中:可以看出,在2012年之前,在目标检测领域还是以传统手工特征的检测算法为主,但是随着卷积神经网络(CNN)在2012年的兴起,目标检测开始了在深度学习下的暴力美学。在深度学习下,目标检测的效果比传统手工特征效果好太多。

qq_41946216的博客 4571
上一篇: 图像处理:使用Numpy和OpenCV实现傅里叶和逆傅里叶变换
下一篇: 一文搞懂 蒸馏、量化、MoE 和 MHA !!
JOYCE_Leo16
博客等级 码龄5年 2万+粉丝 229原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JOYCE_Leo16

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址