ORB-SLAM3:单目+imu 详细代码解读

ORB-SLAM3论文翻译 引言     当视觉帧跟踪丢失以后,orbslam3会重新记录一个新的地图,如果再次进入之前的地图区域,会与之前的地图合并。 相关工作 系统概览 相机模型     以往的ORB-SLAM算法假定为针孔像机模型,现在希望通过提取与摄像机模型相关的所有属性和投影函数来解耦相机模型和slam算法,从而使得系统可以使用任何摄像机模型。 在ORB-SLAM3中,除了针孔模型外,还提供了鱼眼模型。 重定位     ORB-SLAM通过设置基于EPNP算法的透视n点求解器来解决重新定位问题,本文采用最大似然的PNP算 阅读详情
AI摘要

本文详细解析了ORB-SLAM3系统的工作流程,从数据输入到最终位姿估计,涵盖了初始化、跟踪、位姿优化等多个核心环节,并深入探讨了IMU预积分等关键技术。

输入文件

./Examples/Monocular-Inertial/mono_inertial_euroc
./Vocabulary/ORBvoc.txt
./Examples/Monocular-Inertial/EuRoC.yaml 存储相机/imu等初始化参数
./Datasets/EuRoC/MH01
./Examples/Monocular-Inertial/EuRoC_TimeStamps/MH01.txt 存相机时间戳
dataset-MH01_monoi

imu0/data.csv中存储imu数据,时间戳,陀螺仪x y z,加速度x y z

#timestamp [ns],w_RS_S_x [rad s^-1],w_RS_S_y [rad s^-1],w_RS_S_z [rad s^-1],a_RS_S_x [m s^-2],a_RS_S_y [m s^-2],a_RS_S_z [m s^-2]
1403636579758555392,-0.099134701513277898,0.14730578886832138,0.02722713633111154,8.1476917083333333,-0.37592158333333331,-2.4026292499999999

cam0/data.csv中存储相机数据,时间戳,图片名字

#timestamp [ns],filename
1403636579763555584,1403636579763555584.png

两个相机的时间戳之间大概会有10个imu数据

入口函数/框架结构

【1】Examples/Monocular-Inertial/mono_inertial_euroc.cc

主要功能:
(1)读入数据,得到时间戳、所有帧、帧间imu数据
(2)新建System函数,执行TrackMonocular()

// Create SLAM system. It initializes all system threads and gets ready to process frames.
ORB_SLAM3::System SLAM(argv[1],argv[2],ORB_SLAM3::System::IMU_MONOCULAR, true);//

//执行重点,输入图片帧,和对应图片帧的imu数据(10个左右),这两个数据在此文件中处理读出
SLAM.TrackMonocular(im,tframe,vImuMeas); // TODO change to monocular_inertial

【2】system.cc --- TrackMonocular()

主要功能:
(1)执行GrabImageMonocular()
(2)返回相机位姿


   // 如果是单目+imu模式,把IMU数据存储到mlQueueImuData中
   if (mSensor == System::IMU_MONOCULAR)
       for(size_t i_imu = 0; i_imu < vImuMeas.size(); i_imu++)
           mpTracker->GrabImuData
ORB-SLAM3代码详解----基本框架解析及ORB特征提取 一、ORB-SLAM3结构解析 输入【Frame and IMU】:frame可以是单目,双目和RGB-D,外加一个IMU,视觉出来的图像,主要是使用ORB算法进行特征提取,IMU的数据主要是用来做积分。 Tracking :和ORB-SLAM2的第一个区别。在跟踪模块Tracking ,之前是只根据图像视觉的算法做的,在ORB-SLAM3中,计入加入了IMU的作用。 处理传感器信息并实时计算当前帧在激活地图中的姿态。同时该模块也决定了是否将当前帧作为关键帧。在视觉-惯... 阅读详情

相关推荐

视觉SLAM开源算法ORB-SLAM3 原理与代码解析

主讲人:刘国庆 地图点:PWP_WPW​ Covisibility Graph共视图中的连接权重,边权 Essential Graph本质图:保留共视图中边权大于某阈值的边 Spanning Tree:只保留权重最大的连接边 Altas(地图集) 数据关联(Data Association) 短期数据关联、中期数据关联、长期数据关联、多地图关联 EPnP算法中有一个假设是相机模型需要是针孔模型。 极线矫正对双目安装要求高。 鱼眼相机看得更广,长焦距相机看得更远。 重叠区域,无重叠区域。 重投影误差,像素,投

YMWM_的博客 2362

ORB-SLAM3论文解读

ORB-SLAM3论文解读ORB-SLAM3论文解读主要的创新点数据关联模型系统整体 ORB-SLAM3论文解读 ORB-SLAM1和2的作者Juan已经毕业了,其工作仍然由同一课题组的Carlos继续完成并撰写论文和代码,这次论文同样对应着开源代码,youtube演示效果惊人,很多场景下无需大量修改即可直接使用,可谓是工作党的KPI,学生党的SCI。 废话少说,直入主题。ORB-SLAM3与前两次作品相比,引入和视觉惯性和多地图模式的SLAM。其算法支持的传感器也有单目、双目、RGBD相机等。在相机的成像

weixin_47658743的博客 1万+

基于ROS下的安卓手机图像和IMU跑ORB-SLAM3

接之前文章继续,手上没有现成的单目+IMU硬件,但是安卓手机几乎人人都有。因此,本文讲下如何用手机跑ORB-SLAM3的Mono和Mono_Inertial。 1. 手机与PC通信 基于ROS下的信息发布和订阅,手机和PC在一个局域网下进行信息(image和IMU)传输。 手机APK参考了github上的2个开源Android_Camera-IMU和android_ros_sensors,基于ros_java生成安卓APP,下载安装任一个APP到安卓手机,界面分别是这样: 手机和PC连一个无

h_372101的博客 1万+

ORB_SLAM2、ORB_SLAM3跑EuRoc&KITTI数据集及evo评估

ORB_SLAM2 ORB_SLAM3 为使结果能在evo中进行评估,需要修改文件夹下system.cc文件中的第638行和第647行,把1e9*pKF改成pKF,改完示例如下: f << setprecision(6) << pKF->mTimeStamp << " " << setprecision(9) << t.at<float>(0) << " " << t.at<float&

weixin_59058976的博客 1万+

【ORB-SLAM3论文翻译】ORB-SLAM3:一个精确的视觉、视觉惯性和多地图SLAM的开源库(注:带着原文看,很多公式和变量不好输入)

文章目录摘要1. 简介二、使用步骤1.引入库2.读入数据总结 摘要 本论文展示了ORB-SLAM3,第一个可以使用针孔、鱼眼相机运行视觉、视觉惯性和多地图,且支持单目、双目和RGBD相机的SLAM系统。 第一个主要新颖的点是基于特征点高密度融合的视觉惯性导航系统完全依赖于最大后验概率估计,包括在IMU初始化阶段。故,此系统可以鲁棒地实时运行在不同大小的室内外环境下,并且精度与以前的解决方法相比提高了2~10倍。 第二个主要新颖的点是一个依赖于高召回率的位置识别方法的多地图系统。由于这个特点,ORB-SLA

weixin_46135347的博客 7043

ORB-SLAM3 代码解读

ORB-SLAM(四)追踪 作者的程序分为两种模式:SLAM模式和Localization模式。SLAM模式中,三个线程全部都在工作,即在定位也在建图。而Localization模式中,只有Tracking线程在工作,即只定位,输出追踪结果(姿态),不会更新地图和关键帧。Localization模式主要用于已经有场景地图的情况下(在SLAM模式下完成建图后可以无缝切换到Localization模式)。Localization模式下追踪方法涉及到的关键函数是一样的,只是策略有所不同。 ...

惊鸿一博 8152

ORB_SLAM3源码(附带详细注释)

ORB_SLAM3源码(附带详细注释)

国产射频直采收发器CX8242KA测试1

CX8242KA/CX8242KAN是一款集成了14比特,12 GSPSDAC和14比特,3GSPSADC的双通道,宽带、射频直采收发器芯片,该器件支持高达6GHz射频信号的直接采样输入和输出,集成了片内高性能采样钟模块,采样时钟Jitter

RFSOC的博客 9176

PTPX功耗分析实战——从脚本配置到报告解读

本文详细介绍了PTPX功耗分析的全流程,从脚本配置到报告解读,帮助工程师快速掌握芯片设计中的功耗估算技术。文章涵盖了环境搭建、波形文件处理、功耗报告解析等关键环节,并提供了实战经验和优化建议,特别适合需要提升PTPX功耗分析效率的开发者。

weixin_29248313的博客 286

2024“华为杯”中国研究生数学建模竞赛(A题)深度剖析_数学建模完整过程+详细思路+代码全解析

目标是优化风力涡轮机的功率调度,使其在给定的实时风速数据下,最小化涡轮机关键组件(如塔架和主轴)的疲劳损伤。问题的挑战在于,考虑通信延迟和测量噪声的同时,要确保功率输出与风速变化的响应快速且准确。

2401_82549447的博客 6635

用PyTorch复现经典:手把手教你用Double DQN训练AI玩转打砖块(附完整代码与调参心得)

本文详细介绍了如何使用PyTorch实现Double DQN算法,训练AI智能体玩转经典雅达利游戏Breakout(打砖块)。从环境配置、帧预处理到网络架构设计和经验回放机制,全面解析了强化学习在游戏AI中的应用。文章还提供了关键调参技巧和实战优化方案,帮助开发者快速掌握Double DQN的核心实现与性能优化方法。

weixin_30596165的博客 230

SNN目标识别MNIST

总体来说这篇论文提出的方法用了多种更精密的细节,如LIF膜电位公式,三种STDP方法,但我觉得还可以有很大的改进,比如输入层全连接到兴奋层,兴奋层通过抑制层实现的侧向抑制,抑制层不参与学习等等。尤其是兴奋层通过抑制层实现侧向抑制这里,当神经元兴奋时,通过抑制层再倒回兴奋层,所抑制的已经经过一了一段时间的延迟。如有错误,请不吝赐教。

m0_74982304的博客 1266

【WRF-Chem工具】pyVPRM 计算大气与陆地植被之间的 CO₂ 交换通量

pyVPRM 计算大气与陆地植被之间的 CO₂ 交换通量

WW、forever的博客 212

2023年全国职业院校技能大赛 网络系统管理服务模块 Linux部分讲解

网络系统管理,Linux,服务部署,Chinaskills,2023国赛

weixin_62926639的博客 1551

手把手完整实现STM32+ESP8266+机智云平台+手机APP应用——第一节-机智云平台搭建+所需硬件及接线说明+ESP8266烧录机智云固件

本节介绍如何在机智云平台创建自己的项目,介绍使用的硬件及接线说明,以及ESP8266烧录机智云固件过程。下一节进行机智云移植并编写STM32程序实现远程温湿度显示与控制灯照明,以及机智云APP配网。实现完整的物联网应用,STM32+ESP8266+机智云平台+手机APP应用。

嵌入式阿齐Archie 2万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: ORB-SLAM3测试:数据集(单目/双目/imu)& ROS (D435 T265)
下一篇: vscode:CmakeList编写+编译调试+第三方库链接
dueen1123
博客等级 码龄9年 3734粉丝 54原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址