0. 简要
立体相机标定是立体视觉深度测量的重要步骤,相机标定的精度很大程度上决定了深度的精度,因此掌握立体相机的标定算法和过程至关重要。由于相机标定原理可以在网上找到很多相关资料,因此本文不展开讲原理部分,感兴趣的同学可以移步到https://blog.csdn.net/rs_lys/article/details/118661215理解原理,本文主要讲如何利用Opencv进行立体相机标定,首先对用到的函数展开讲解,最后附上标定的代码。
1. 函数
stereoCalibrate:标定立体相机
#include <opencv2/calib3d.hpp>
double cv::stereoCalibrate ( InputArrayOfArrays objectPoints,
InputArrayOfArrays imagePoints1,
InputArrayOfArrays imagePoints2,
InputOutputArray cameraMatrix1,
InputOutputArray distCoeffs1,
InputOutputArray cameraMatrix2,
InputOutputArray distCoeffs2,
Size imageSize,
InputOutputArray R,
InputOutputArray T,
OutputArray E,
OutputArray F,
OutputArray perViewErrors,
int flags = CALIB_FIX_INTRINSIC,
TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 1e-6)
)
参数:
- objectPoints:
Vector of vectorsof the calibration pattern points. - imagePoints1:
Vector of vectorsof the projections of the calibration pattern points, observed by thefirst camera. - imagePoints2:
Vector of vectorsof the projections of the calibration pattern points, observed by thesecond camera. - cameraMatrix1:
Input/outputfirst cameramatrix,Opencv没有考虑倾斜因子 - distCoeffs1:
Input/output vectorof distortion coefficients (k1,k2,p1,p2[,k3[,k4,k5,k6[,s1,s2,s3,s4[,τx,τy]]]]) of 4, 5, 8, 12 or 14 elements. 输出向量的长度取决于flags - cameraMatrix2:
Input/outputsecond cameramatrix. - distCoeffs2:
Input/outputlens distortion coefficients for the second camera. - imageSize:图像尺寸,(width, height)
- R:
Output rotation matrixbetween the 1st and the 2nd camera coordinate systems. - T:
Output translation vectorbetween the coordinate systems of the cameras. - E:
Output essential matrix. - F:
Output fundamental matrix. - perViewErrors:
Output vectorof theRMS re-projection errorestimatedfor each pattern view. - flags:Different flags that may be zero or a combination of the following values:
- CALIB_FIX_INTRINSIC:固定内参和畸变,只优化R、T、E、F
- CALIB_USE_INTRINSIC_GUESS:根据指定的flags优化部分或全部内参,并提供初始值
- CALIB_USE_EXTRINSIC_GUESS:根据提供的外参初始值进一步优化外参,否则R, T被初始化为两个视图的中值
- CALIB_FIX_PRINCIPAL_POINT:固定主点
- CALIB_FIX_FOCAL_LENGTH:固定焦距
- CALIB_FIX_ASPECT_RATIO:固定fx / fy,优化fy
- CALIB_SAME_FOCAL_LENGTH:施加约束,使得fx_0=fx_1, fy_0=fy_1
- CALIB_ZERO_TANGENT_DIST:将切向畸变固定为零
- CALIB_FIX_K1,…,CALIB_FIX_K6:固定畸变系数k1,…k6。如果设置CALIB_USE_INTRINSIC_GUESS,则畸变系数固定为传入的distCoeffs向量,否则固定为零
- CALIB_RATIONAL_MODEL:启用系数k4, k5和k6。如果设置这个标志,则畸变将计算并返回8个系数,如果没有设置标志,函数只计算并返回5个失真系数。
- CALIB_THIN_PRISM_MODEL:启用系数s1、s2、s3、s4。如果设置这个标志,标定函数使用薄棱镜模型并返回12个系数。如果没有设置标志,函数只计算并返回5个失真系数。
- CALIB_FIX_S1_S2_S3_S4:在优化过程中,薄棱镜畸变系数s1、s2、s3、s4不发生变化。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
- CALIB_TILTED_MODEL:启用系数tauX和tauY。如果设置这个标志,标定函数使用倾斜传感器模型并返回14个系数。如果没有设置标志,函数只计算并返回5个失真系数。
- CALIB_FIX_TAUX_TAUY:优化过程中不改变倾斜传感器模型的系数tauX和tauY。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
- criteria:算法迭代终止条件
除了立体相关信息外,该函数还可以对两个摄像头各进行单目标定。然而,由于参数空间的高维性和输入数据中的噪声,函数可能会偏离正确的解。建议先使用calibrateCamera单独标定每个相机的内参和畸变,然后将CALIB_FIX_INTRINSIC标志连同计算的内部参数一起传递给函数,以达到更高的标定精度。否则,如果一次性估计所有参数,那么限制一些参数是有意义的,例如,传递CALIB_SAME_FOCAL_LENGTH和CALIB_ZERO_TANGENT_DIST标志,这通常是一个合理的假设。
与calibrateCamera类似,该函数将两个相机的所有可用视图中所有点的总重投影误差降至最低。该函数返回重投影错误的最终值。
calibrateCamera:单目标定
#include <opencv2/calib3d.hpp>
double cv::calibrateCamera ( InputArrayOfArrays objectPoints,
InputArrayOfArrays imagePoints,
Size imageSize,
InputOutputArray cameraMatrix,
InputOutputArray distCoeffs,
OutputArrayOfArrays rvecs,
OutputArrayOfArrays tvecs,
OutputArray stdDeviationsIntrinsics,
OutputArray stdDeviationsExtrinsics,
OutputArray perViewErrors,
int flags = 0,
TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON)
)
参数:
- objectPoints:
Vector of vectorsof the calibration pattern points.如果是一个平面标定板,那么所有的vectors都是相同的 - imagePoints:
vector of vectorsof the projections of calibration pattern points (e.g.std::vector<std::vector<cv::Vec2f>>). imagePoints.size()must be equal toobjectPoints.size(), and imagePoints[i].size()must be equal toobjectPoints[i].size() for each i. - imageSize:图像尺寸,(width, height)
- cameraMatrix:
Output 3x3 floating-point camera matrix - distCoeffs:
Output vectorof distortion coefficients (k1,k2,p1,p2[,k3[,k4,k5,k6[,s1,s2,s3,s4[,τx,τy]]]]) of 4, 5, 8, 12 or 14 elements. - rvecs:
Output vector of rotation vectors(see Rodrigues ) estimated for each pattern view (e.g.std::vector<cv::Mat>>). - tvecs:
Output vector of translation vectorsestimated for each pattern view. - stdDeviationsIntrinsics:
Output vector of standard deviations estimated for intrinsic parameters.Order of deviations values: (fx,fy,cx,cy,k1,k2,p1,p2,k3,k4,k5,k6,s1,s2,s3,s4,τx,τy) If one of parameters is not estimated, it’s deviation is equals to zero. - stdDeviationsExtrinsics:
Output vector of standard deviations estimated for extrinsic parameters.Order of deviations values: (R1,T1,…,RM,TM) where M is number of pattern views, Ri,Ti are concatenated 1x3 vectors. - perViewErrors:
Output vectorof theRMS re-projection errorestimatedfor each pattern view. - flags:Different flags that may be zero or a combination of the following values:
- CALIB_USE_INTRINSIC_GUESS:cameraMatrix包含fx, fy, cx, cy的有效初始值,并进一步优化。否则,(cx, cy)初始设置为图像中心(使用imageSize),焦距以最小二乘方式计算。注意,如果内参数已知,就不需要用这个函数来估计外参数。使用
solvePnP代替。 - CALIB_FIX_PRINCIPAL_POINT:全局优化过程中不改变主点。当设置CALIB_USE_INTRINSIC_GUESS时,它会停留在中心或者不同的位置,这取决于cameraMatrix是否包含有效初始值。
- CALIB_FIX_ASPECT_RATIO:函数只考虑fy作为自由参数。fx/fy的比率与输入的摄像矩阵保持相同。当没有设置CALIB_USE_INTRINSIC_GUESS时,fx和fy的实际输入值将被忽略,只计算它们的比率并进一步使用。
- CALIB_ZERO_TANGENT_DIST:切向失真系数(p1,p2)固定为零
- CALIB_FIX_K1,…,CALIB_FIX_K6:在优化过程中,相应的径向畸变系数不发生变化。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
- CALIB_RATIONAL_MODEL:启用系数k4、k5、k6。如果设置了标志,标定函数使用合理的模型并返回8个系数。如果没有设置标志,函数只计算并返回5个失真系数。
- CALIB_THIN_PRISM_MODEL:启用系数s1、s2、s3、s4。如果设置这个标志,标定函数使用薄棱镜模型并返回12个系数。如果没有设置标志,函数只计算并返回5个失真系数。
- CALIB_FIX_S1_S2_S3_S4:在优化过程中,薄棱镜畸变系数s1、s2、s3、s4不发生变化。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
- CALIB_TILTED_MODEL:启用系数tauX和tauY。如果设置这个标志,标定函数使用倾斜传感器模型并返回14个系数。如果没有设置标志,函数只计算并返回5个失真系数。
- CALIB_FIX_TAUX_TAUY:优化过程中不改变倾斜传感器模型的系数tauX和tauY。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
- CALIB_USE_INTRINSIC_GUESS:cameraMatrix包含fx, fy, cx, cy的有效初始值,并进一步优化。否则,(cx, cy)初始设置为图像中心(使用imageSize),焦距以最小二乘方式计算。注意,如果内参数已知,就不需要用这个函数来估计外参数。使用
- criteria:算法迭代终止条件
该函数估计每个视图的相机内参数和外部参数。3D物体点的坐标和它们在每个视图中对应的2D投影必须指定。这可以通过使用具有已知几何形状的物体和容易检测到的特征点来实现。这样的对象被称为标定模式,OpenCV内置了对棋盘作为校准装置的支持(参见findChessboardCorners)。
算法执行如下步骤:
- 计算初始内在参数(该选项仅适用于平面校准模式)或从输入参数中读取它们。畸变系数最初都设置为零,除非使用CALIB_FIX_K指定。
- 假设内在参数已经知,估计初始相机姿态。这是用
solvePnP完成的。 - 运行全局
Levenberg-Marquardt优化算法来最小化重投影误差,即观测特征点imagePoints和投影(使用当前对相机参数和位姿的估计)物体点objectPoints之间距离的平方和。详见projectPoints。
See also
findChessboardCorners, solvePnP, initCameraMatrix2D, stereoCalibrate, undistort
findChessboardCorners():找出棋盘角点的位置
#include <opencv2/calib3d.hpp>
bool cv::findChessboardCorners ( InputArray image,
Size patternSize,
OutputArray corners,
int flags = CALIB_CB_ADAPTIVE_THRESH+CALIB_CB_NORMALIZE_IMAGE
)
参数:
- image:棋盘格图像。It must be an
8-bit grayscale or color image. - patternSize:Number of inner corners per a chessboard row and column (
patternSize = cvSize(points_per_row,points_per_colum)). - corners:
Output array of detected corners. - flags:Various operation flags that can be zero or a combination of the following values:
- CALIB_CB_ADAPTIVE_THRESH:使用自适应阈值对图像进行二值化处理
- CALIB_CB_NORMALIZE_IMAGE:在应用固定阈值或自适应阈值之前,使用equalizeHist将图像归一化。
- CALIB_CB_FILTER_QUADS:使用额外的标准(如轮廓面积,周长,正方形形状)来过滤掉在轮廓检索阶段提取的假四边形。
- CALIB_CB_FAST_CHECK:对图像进行快速检查,查找棋盘角点,如果没有找到,则使用快捷方式调用。这可以大大加快退化状态下的调用,当没有棋盘被观察到。
该函数试图确定输入图像是否为棋盘图案的视图,并定位内部棋盘角。如果找到了所有的角点,并且按一定的顺序放置(每行从左到右),则该函数返回一个非零值。否则,如果函数未能找到所有的角或重新排序它们,它将返回0。例如,一个普通的棋盘有8 x 8个正方形和7 x 7个内角,也就是黑色方块相互接触的点。检测到的坐标是近似的,为了更准确地确定它们的位置,该函数调用cornerSubPix。如果返回的坐标不够精确,您还可以使用带有不同参数的函数cornerSubPix。
该函数需要在棋盘格周围留出空白(比如方形粗的边框,越宽越好),以使检测在各种环境中更稳健。否则,如果没有边框且背景为深色,则无法正确分割出外部的黑色方块,从而导致方块分组排序算法失败。
Sample:
Size patternsize(8, 6); //interior number of corners
Mat gray = ....; //source image
vector<Point2f> corners; //this will be filled by the detected corners
//CALIB_CB_FAST_CHECK saves a lot of time on images
//that do not contain any chessboard corners
bool patternfound = findChessboardCorners(gray, patternsize, corners,
CALIB_CB_ADAPTIVE_THRESH + CALIB_CB_NORMALIZE_IMAGE
+ CALIB_CB_FAST_CHECK);
if (patternfound)
cornerSubPix(gray, corners, Size(11, 11), Size(-1, -1),
TermCriteria(CV_TERMCRIT_EPS + CV_TERMCRIT_ITER, 30, 0.1));
drawChessboardCorners(img, patternsize, Mat(corners), patternfound);
cornerSubPix():对初始的整数角点坐标进行亚像素精度的优化
#include <opencv2/imgproc.hpp>
void cv::cornerSubPix ( InputArray image,
InputOutputArray corners,
Size winSize,
Size zeroZone,
TermCriteria criteria
)
原理解释:亚像素角点的求法
参数:
- image:
Input single-channel, 8-bit or float image. - corners:
Initial coordinatesof the input corners andrefined coordinatesprovided for output. - winSize:
Half of the side length of the search window.For example, if winSize=Size(5,5) , then a (5∗2+1)×(5∗2+1)=11×11 search window is used. - zeroZone:搜索区域中间的死区大小的一半,在此范围上没有进行下式求和它有时被用来避免自相关矩阵可能的奇异性。(-1,-1)表示不存在这样的大小。没弄明白怎么用,
设置为(-1, -1)即可。 - criteria:角点亚像素精度优化的迭代过程的终止条件。要么达到
最大迭代次数,要么相邻两次迭代的角点位置移动小于给定阈值,则终止。
drawChessboardCorners():绘制检测出来的棋盘角点。
#include <opencv2/calib3d.hpp>
void cv::drawChessboardCorners ( InputOutputArray image,
Size patternSize,
InputArray corners,
bool patternWasFound
)
参数:
- image:Destination image. It must be an
8-bit color image. - patternSize:Number of inner corners per a chessboard row and column (
patternSize = cv::Size(points_per_row,points_per_column)). - corners:
Array of detected corners, the output of findChessboardCorners. - patternWasFound:Parameter indicating whether the complete board was found or not.
The return value of findChessboardCorners should be passed here.
该函数绘制单独的棋盘角点,如果没有找到棋盘,则检测到红色圆圈,如果找到了棋盘,则检测到与线相连的彩色角点。
TermCriteria():为迭代算法定义终止标准的类。可以通过默认构造函数初始化它
1375



被折叠的 条评论
为什么被折叠?



