目录
摘要
ORB-SLAM3是第一个能够让单目、立体和RGB-D相机和针孔和鱼眼镜头模型解耦进行视觉、视觉惯性和多地图SLAM的系统。第一个主要的创新是一个基于特征的紧密集成视觉惯性SLAM系统,它完全依赖于最大后验概率(MAP)估计,甚至在IMU初始化阶段也是如此。第二个主要的创新是一个多地图系统,它依赖于一种新的位置识别方法和改进的召回。多亏了它,ORB-SLAM3能够在长时间的不良视觉信息下生存:当它丢失时,它会启动一个新的地图,当重新访问地图区域时,它将与以前的地图无缝地合并。与只使用最后几秒信息的视觉里程计系统相比,ORB-SLAM3也是第一个能够在所有算法阶段重用所有先前信息的系统。这允许在BA优化中使用历史的共视关键帧,即使这些关键帧来自很久以前的地图或者不同子图。该系统在小型和大型,室内和室外环境中都能稳定地运行,并且比以前的方法精确2到5倍。
引言
当视觉帧跟踪丢失以后,orbslam3会重新记录一个新的地图,如果再次进入之前的地图区域,会与之前的地图合并。
ORB-SLAM3是基于ORB-SLAM和ORBSLAM Visual-Inertial构建,支持抑制轨迹精度发散的短期,中期和长期的数据关联。ORB-SLAM3在次基础上,更进一步,支持历史地图的复用。从而,真正达到一个全局的slam系统:建立一个地图实现精确的定位。
- 单、双目的vo/vio slam系统,并支持鱼眼相机。
- 地图复用,拥有合并地图的功能。
- 高召回的地点识别(占用较低的计算资源换得高召回与精度)
- 不限制相机模型,只需提供投影、反投影和Jacobian函数(常用的针孔与鱼眼模型)
相关工作
视觉SLAM
视觉惯性SLAM
多地图SLAM
系统概览
-
Atlas(一个由一系列非连接的地图组成的多地图系统)
其中包含一个活动的地图与许多非活动地图。活动地图与用于当前帧tracking线程的定位,同时会增加关键帧。该系统建立了一个独特的DBow2关键帧数据库,用于重定位 、回环 、合并地图等操作。 -
跟踪线程
给活动的地图提供新的帧,最小化重投影误差(单帧),决定当前帧是否成为关键帧。VI模式中,通过IMU残差计算本体的速度与IMU bias。如果跟踪丢失,尝试在Atals所有地图中重定位,如果成功那个地图将成为活动的。如果几帧过后失败,则重新开始一个新的地图。 -
局部地图线程
添加新的关键帧与MapPoint到活动的地图中,删除冗余,利用滑动窗口通过BA更新地图。VI模式中IMU的参数在这个线程初始化与更新,使用的是作者提出的最大后验估计技术。 -
回环与地图融合线程
每添加一个关键帧,就探测活动的地图与其他地图的共有区域,如果检测到,执行回环矫正,如果不属于同一个地图,则将他们融合成一个。在矫正后另开一个线程进行整体的BA进一步更新地图且不影响实时性。检测回环的同时,完成有共视子图地图的合并等操作,这也是作者强调最终能生成一个全局一致地图的原因。
相机模型
以往的ORB-SLAM算法假定为针孔像机模型,现在希望通过提取与摄像机模型相关的所有属性和投影函数来解耦相机模型和slam算法,从而使得系统可以使用任何摄像机模型。 在ORB-SLAM3中,除了针孔模型外,还提供了鱼眼模型。
重定位
ORB-SLAM通过设置基于EPNP算法的透视n点求解器来解决重新定位问题,本文采用最大似然的PNP算法(MLPNP),可以独立于所使用的摄像机模型。 相机模型只需要提供一个从像素的空间点的重投影函数,就可以使用重定位。
双目相机
大多数双目视觉SLAM系统都是假设左右两帧已经进行过极线校正, 即这两幅图像都被转换为针孔投影,使用相同的焦距,图像平面共平面并与水平极线对齐,这样图像中的特征可以很容易地在另一个图像中的同一行附件来匹配,以降低特征搜索区域。 然而,校正立体图像的包含了很多限制,很多情况下是不合适的,如鱼眼相机中图像会被过度裁剪,失去大视场的优点,降低了鲁棒性。
由于这个原因,我们的系统不依赖于图像恢复,考虑到立体声钻机作为两个单目摄像机,它们之间具有:
(1)恒定的相对 S e ( 3 ) Se(3) Se(3)变换,
(2)可选地,一个观察场景相同部分的公共图像区域, 这些约束允许算法在对极约束和BA优化时有效地估计地图。
视觉惯性SLAM
基础
ORBSLAM-VI假设的是针孔模型,且初始化太慢,在一些有挑战性的传感器上会失败。而orbslam3里面基于上面的工作提出了一个快速准确的IMU初始化技术,可用于针孔/鱼眼的单双目惯性视觉slam。
ORBSLAM3需要计算优化的有body位姿 T i Ti Ti,速度 v i vi
2万+



被折叠的 条评论
为什么被折叠?



