1. 项目概述:为什么立体相机校准是机器视觉的基石
在机器视觉和三维重建领域,立体相机系统就像我们人类的双眼,通过两个略有差异的视角来感知世界的深度。但和天生校准好的双眼不同,任何一对工业相机在组装后,其物理位置、角度和镜头畸变都存在微小的、不可避免的差异。如果不进行精确的校准,那么从左右图像计算出的深度信息就会像失焦的望远镜,数据失真,后续的测距、三维建模、SLAM(同步定位与地图构建)都会建立在错误的基础上。这个将两个相机“对齐”到同一个世界坐标系,并精确标定其内外参数的过程,就是立体相机校准。
OpenCV作为计算机视觉领域的“瑞士军刀”,其 calib3d 模块提供了强大而完整的立体相机校准工具链。对于C++开发者而言,这意味着我们无需从零开始推导复杂的数学公式(如张正友标定法),而是可以站在巨人的肩膀上,专注于解决实际问题。我曾在多个机器人导航和工业检测项目中深度应用这套流程,实测下来,一套严谨的校准流程可以将立体视觉的测距精度从厘米级提升到毫米级,这是从“能用”到“好用”的关键一跃。
这个开源利器解决的核心问题是: 将一对物理上不完美的相机,通过数学建模和优化,转化为一个可精确推算三维坐标的测量系统 。它适合所有希望涉足三维视觉的开发者、机器人工程师以及相关领域的研究者。无论你是想做一个自动避障的小车,还是开发一个产品体积测量系统,立体校准都是你必须跨越的第一道技术门槛。
2. 立体校准的核心原理与OpenCV实现拆解
立体校准不是一个单一的操作,而是一个包含多个步骤的流水线。理解每一步背后的“为什么”,比记住API调用更重要。
2.1 单目标定:奠定每个相机的“独特性”档案
在进行立体校准前,必须首先对左右两个相机分别进行单目标定。你可以把这理解为给每个相机建立一份“身份证”,记录其独有的光学特性。
- 内参(Intrinsic Parameters) :描述相机自身的属性,与它的位置和朝向无关。
- 焦距(fx, fy)和主点(cx, cy) :构成了相机的内参矩阵。为什么fx和fy可能不同?因为相机传感器的像素不一定是完美的正方形,可能存在微小的纵横比差异。主点理论上在图像中心,但镜头组装偏差会导致其实际位置偏移。
- 畸变系数(k1, k2, p1, p2, [k3]) :这是校准要解决的核心问题之一。镜头并非理想的针孔模型,会导致图像扭曲。径向畸变(k1, k2, k3)使直线变弯(桶形或枕形畸变),切向畸变(p1, p2)则由于镜头与传感器不平行导致。OpenCV使用Brown-Conrady模型来刻画这些畸变。
- 外参(Extrinsic Parameters) :描述相机在世界坐标系中的位置和姿态。在单目标定中,外参指的是标定板坐标系到相机坐标系的变换(旋转矩阵R和平移向量t)。
OpenCV使用张正友标定法,通过让相机从不同角度观察一个已知尺寸的平面标定板(如棋盘格),来求解这些参数。其函数 cv::calibrateCamera() 的核心输入是一系列从不同视角拍摄的标定板角点图像坐标及其对应的三维世界坐标(假设标定板在Z=0平面上)。算法通过最小化重投影误差(将计算出的三维点再投影回图像,与检测到的角点坐标的差值)来优化所有参数。
实操心得 :单目标定的质量直接决定立体校准的上限。务必确保标定板图像覆盖整个视野的各个角落和倾斜角度,特别是图像的四个边角。如果标定板只在图像中心区域晃动,边角的畸变将无法被正确校正。
2.2 立体标定:求解双瞳之间的“空间关系”
在获得左右相机的内参和各自相对于标定板的外参后,立体标定的目标是找到连接两个相机的空间变换关系。
- 核心关系 :对于空间中的同一个点P,它在左右相机坐标系下的坐标可以通过一个旋转矩阵 R 和一个平移向量 T 进行关联。即:
P_right = R * P_left + T。这里的 T 尤为重要,其模长就是两个相机光心之间的距离,称为 基线(Baseline) 。基线是后续三角测距的基准,其精度至关重要。 - OpenCV实现 :函数
cv::stereoCalibrate()承担此任。它同时利用左右相机对同一标定板拍摄的多组同步图像对。算法不仅优化左右相机各自的内参和畸变系数(可选择固定或微调),更重要的是,它求解出连接两个相机的旋转矩阵 R 和平移向量 T ,以及两个额外的矩阵: 本质矩阵E 和 基础矩阵F 。
2.3 立体校正:将复杂问题转化为简单搜索
得到 R 和 T 后,理论上我们就可以进行三角测距了。但直接计算非常复杂,因为对于左图的一个点,需要在右图对应的 极线 (一条斜线)上搜索匹配点。立体校正的目的,就是通过图像变换,将两个相机的成像平面“重投影”到同一个平面上,并且让它们的行完全对齐。
- 校正过程 :OpenCV的
cv::stereoRectify()函数根据 R 和 T ,计算出一对 重投影矩阵 。应用这些矩阵和之前求得的畸变系数,通过cv::initUndistortRectifyMap()生成映射表,再使用cv::remap()函数对原始图像进行变换。 - 校正后效果 :校正后的左右图像,看起来就像两个完全平行的相机拍摄的。此时,左图中的一点,其在右图中的对应点 必定位于同一水平扫描线上 。这将对极线的二维搜索问题,简化为一维的水平线搜索问题,极大提升了后续立体匹配的效率和可靠性。
2.4 立体匹配与三维重建:从像素到坐标
这是校准的最终目的。在校正后的图像对上,通过立体匹配算法(如SGBM、BM)为左图的每个像素在右图上找到对应的像素,计算其 视差 。视差d就是同一个点在左右图像上水平坐标的差值。
根据校正后的几何关系,一个简单的相似三角形公式就可以将视差转换为深度(Z坐标): Z = (f * B) / d 其中, f 是焦距(通常取 (fx_left + fx_right)/2 ), B 是基线长度(即平移向量 T 的模长), d 是视差。
深度Z结合像素坐标(u, v),就可以通过反投影计算出该点的三维坐标(X, Y, Z)。OpenCV的 cv::reprojectImageTo3D() 函数可以一次性完成这个操作,生成一幅与输入图像同尺寸的三维点云图。
3. 从零到一的完整C++实操流程
下面,我将结合一个典型的项目流程,详细拆解每一步的C++代码实现和关键参数。假设我们使用标准的棋盘格标定板。
3.1 环境准备与数据采集
工具链 :
- OpenCV :建议使用4.x版本。从源码编译时,务必勾选
OPENCV_ENABLE_NONFREE(如果你打算用SIFT/SURF等专利算法)和WITH_QT(便于开发调试界面)。
7677



被折叠的 条评论
为什么被折叠?



