Opencv立体相机标定

opencv相机标定 (3)相机标定模板:这是一个用于创建和配置相机标定模板以完成特定任务的函数,例如: 6.最后,您可以将 OpenCV库中提供的其他函数与 OpenCV中提供的其他工具(例如 PnPy Extend)一起使用,以完成特定任务。为了确定每个点的世界坐标,我们需要知道这些点在摄像机中的位置以及它们之间的距离。首先,我们有一个与当前情况相关的摄像机内参 下面是相机校准示例: 请注意,在本文中,我们将使用来自不同镜头的相同图像作为样本集,这些样本图像都有一个共同的摄像机内参 为了得到这些样本,我们必须进行相机校准。 阅读详情

0. 简要

立体相机标定是立体视觉深度测量的重要步骤,相机标定的精度很大程度上决定了深度的精度,因此掌握立体相机的标定算法和过程至关重要。由于相机标定原理可以在网上找到很多相关资料,因此本文不展开讲原理部分,感兴趣的同学可以移步到https://blog.csdn.net/rs_lys/article/details/118661215理解原理,本文主要讲如何利用Opencv进行立体相机标定,首先对用到的函数展开讲解,最后附上标定的代码。

1. 函数

stereoCalibrate:标定立体相机

#include <opencv2/calib3d.hpp>

double cv::stereoCalibrate	(	InputArrayOfArrays 	objectPoints,
InputArrayOfArrays 	imagePoints1,
InputArrayOfArrays 	imagePoints2,
InputOutputArray 	cameraMatrix1,
InputOutputArray 	distCoeffs1,
InputOutputArray 	cameraMatrix2,
InputOutputArray 	distCoeffs2,
Size 	imageSize,
InputOutputArray 	R,
InputOutputArray 	T,
OutputArray 	E,
OutputArray 	F,
OutputArray 	perViewErrors,
int 	flags = CALIB_FIX_INTRINSIC,
TermCriteria 	criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 1e-6) 
)		

参数:

  • objectPoints:Vector of vectors of the calibration pattern points.
  • imagePoints1:Vector of vectors of the projections of the calibration pattern points, observed by the first camera.
  • imagePoints2:Vector of vectors of the projections of the calibration pattern points, observed by the second camera.
  • cameraMatrix1:Input/output first camera matrix,Opencv没有考虑倾斜因子
  • distCoeffs1:Input/output vector of distortion coefficients (k1,k2,p1,p2[,k3[,k4,k5,k6[,s1,s2,s3,s4[,τx,τy]]]]) of 4, 5, 8, 12 or 14 elements. 输出向量的长度取决于flags
  • cameraMatrix2:Input/output second camera matrix.
  • distCoeffs2:Input/output lens distortion coefficients for the second camera.
  • imageSize:图像尺寸,(width, height)
  • R:Output rotation matrix between the 1st and the 2nd camera coordinate systems.
  • T:Output translation vector between the coordinate systems of the cameras.
  • E:Output essential matrix.
  • F:Output fundamental matrix.
  • perViewErrors:Output vector of the RMS re-projection error estimated for each pattern view.
  • flags:Different flags that may be zero or a combination of the following values:
    • CALIB_FIX_INTRINSIC:固定内参和畸变,只优化R、T、E、F
    • CALIB_USE_INTRINSIC_GUESS:根据指定的flags优化部分或全部内参,并提供初始值
    • CALIB_USE_EXTRINSIC_GUESS:根据提供的外参初始值进一步优化外参,否则R, T被初始化为两个视图的中值
    • CALIB_FIX_PRINCIPAL_POINT:固定主点
    • CALIB_FIX_FOCAL_LENGTH:固定焦距
    • CALIB_FIX_ASPECT_RATIO:固定fx / fy,优化fy
    • CALIB_SAME_FOCAL_LENGTH:施加约束,使得fx_0=fx_1, fy_0=fy_1
    • CALIB_ZERO_TANGENT_DIST:将切向畸变固定为零
    • CALIB_FIX_K1,…,CALIB_FIX_K6:固定畸变系数k1,…k6。如果设置CALIB_USE_INTRINSIC_GUESS,则畸变系数固定为传入的distCoeffs向量,否则固定为零
    • CALIB_RATIONAL_MODEL:启用系数k4, k5和k6。如果设置这个标志,则畸变将计算并返回8个系数,如果没有设置标志,函数只计算并返回5个失真系数。
    • CALIB_THIN_PRISM_MODEL:启用系数s1、s2、s3、s4。如果设置这个标志,标定函数使用薄棱镜模型并返回12个系数。如果没有设置标志,函数只计算并返回5个失真系数。
    • CALIB_FIX_S1_S2_S3_S4:在优化过程中,薄棱镜畸变系数s1、s2、s3、s4不发生变化。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
    • CALIB_TILTED_MODEL:启用系数tauX和tauY。如果设置这个标志,标定函数使用倾斜传感器模型并返回14个系数。如果没有设置标志,函数只计算并返回5个失真系数。
    • CALIB_FIX_TAUX_TAUY:优化过程中不改变倾斜传感器模型的系数tauX和tauY。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
  • criteria:算法迭代终止条件

除了立体相关信息外,该函数还可以对两个摄像头各进行单目标定。然而,由于参数空间的高维性和输入数据中的噪声,函数可能会偏离正确的解。建议先使用calibrateCamera单独标定每个相机的内参和畸变,然后将CALIB_FIX_INTRINSIC标志连同计算的内部参数一起传递给函数,以达到更高的标定精度。否则,如果一次性估计所有参数,那么限制一些参数是有意义的,例如,传递CALIB_SAME_FOCAL_LENGTH和CALIB_ZERO_TANGENT_DIST标志,这通常是一个合理的假设。

与calibrateCamera类似,该函数将两个相机的所有可用视图中所有点的总重投影误差降至最低。该函数返回重投影错误的最终值。

calibrateCamera:单目标定

#include <opencv2/calib3d.hpp>

double cv::calibrateCamera	(	InputArrayOfArrays 	objectPoints,
InputArrayOfArrays 	imagePoints,
Size 	imageSize,
InputOutputArray 	cameraMatrix,
InputOutputArray 	distCoeffs,
OutputArrayOfArrays 	rvecs,
OutputArrayOfArrays 	tvecs,
OutputArray 	stdDeviationsIntrinsics,
OutputArray 	stdDeviationsExtrinsics,
OutputArray 	perViewErrors,
int 	flags = 0,
TermCriteria 	criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON) 
)	

参数:

  • objectPoints:Vector of vectors of the calibration pattern points.如果是一个平面标定板,那么所有的vectors都是相同的
  • imagePoints:vector of vectors of the projections of calibration pattern points (e.g. std::vector<std::vector<cv::Vec2f>>). imagePoints.size() must be equal to objectPoints.size(), and imagePoints[i].size() must be equal to objectPoints[i].size() for each i.
  • imageSize:图像尺寸,(width, height)
  • cameraMatrix:Output 3x3 floating-point camera matrix
  • distCoeffs:Output vector of distortion coefficients (k1,k2,p1,p2[,k3[,k4,k5,k6[,s1,s2,s3,s4[,τx,τy]]]]) of 4, 5, 8, 12 or 14 elements.
  • rvecs:Output vector of rotation vectors (see Rodrigues ) estimated for each pattern view (e.g. std::vector<cv::Mat>>).
  • tvecs: Output vector of translation vectors estimated for each pattern view.
  • stdDeviationsIntrinsics:Output vector of standard deviations estimated for intrinsic parameters. Order of deviations values: (fx,fy,cx,cy,k1,k2,p1,p2,k3,k4,k5,k6,s1,s2,s3,s4,τx,τy) If one of parameters is not estimated, it’s deviation is equals to zero.
  • stdDeviationsExtrinsics:Output vector of standard deviations estimated for extrinsic parameters. Order of deviations values: (R1,T1,…,RM,TM) where M is number of pattern views, Ri,Ti are concatenated 1x3 vectors.
  • perViewErrors:Output vector of the RMS re-projection error estimated for each pattern view.
  • flags:Different flags that may be zero or a combination of the following values:
    • CALIB_USE_INTRINSIC_GUESS:cameraMatrix包含fx, fy, cx, cy的有效初始值,并进一步优化。否则,(cx, cy)初始设置为图像中心(使用imageSize),焦距以最小二乘方式计算。注意,如果内参数已知,就不需要用这个函数来估计外参数。使用solvePnP代替。
    • CALIB_FIX_PRINCIPAL_POINT:全局优化过程中不改变主点。当设置CALIB_USE_INTRINSIC_GUESS时,它会停留在中心或者不同的位置,这取决于cameraMatrix是否包含有效初始值。
    • CALIB_FIX_ASPECT_RATIO:函数只考虑fy作为自由参数。fx/fy的比率与输入的摄像矩阵保持相同。当没有设置CALIB_USE_INTRINSIC_GUESS时,fx和fy的实际输入值将被忽略,只计算它们的比率并进一步使用。
    • CALIB_ZERO_TANGENT_DIST:切向失真系数(p1,p2)固定为零
    • CALIB_FIX_K1,…,CALIB_FIX_K6:在优化过程中,相应的径向畸变系数不发生变化。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
    • CALIB_RATIONAL_MODEL:启用系数k4、k5、k6。如果设置了标志,标定函数使用合理的模型并返回8个系数。如果没有设置标志,函数只计算并返回5个失真系数。
    • CALIB_THIN_PRISM_MODEL:启用系数s1、s2、s3、s4。如果设置这个标志,标定函数使用薄棱镜模型并返回12个系数。如果没有设置标志,函数只计算并返回5个失真系数。
    • CALIB_FIX_S1_S2_S3_S4:在优化过程中,薄棱镜畸变系数s1、s2、s3、s4不发生变化。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
    • CALIB_TILTED_MODEL:启用系数tauX和tauY。如果设置这个标志,标定函数使用倾斜传感器模型并返回14个系数。如果没有设置标志,函数只计算并返回5个失真系数。
    • CALIB_FIX_TAUX_TAUY:优化过程中不改变倾斜传感器模型的系数tauX和tauY。如果设置了CALIB_USE_INTRINSIC_GUESS,则使用提供的distCoeffs矩阵中的系数。否则,它被设置为0。
  • criteria:算法迭代终止条件

该函数估计每个视图的相机内参数和外部参数。3D物体点的坐标和它们在每个视图中对应的2D投影必须指定。这可以通过使用具有已知几何形状的物体和容易检测到的特征点来实现。这样的对象被称为标定模式,OpenCV内置了对棋盘作为校准装置的支持(参见findChessboardCorners)。

算法执行如下步骤:

  1. 计算初始内在参数(该选项仅适用于平面校准模式)或从输入参数中读取它们。畸变系数最初都设置为零,除非使用CALIB_FIX_K指定。
  2. 假设内在参数已经知,估计初始相机姿态。这是用solvePnP完成的。
  3. 运行全局Levenberg-Marquardt优化算法来最小化重投影误差,即观测特征点imagePoints和投影(使用当前对相机参数和位姿的估计)物体点objectPoints之间距离的平方和。详见projectPoints。

See also

findChessboardCorners, solvePnP, initCameraMatrix2D, stereoCalibrate, undistort

findChessboardCorners():找出棋盘角点的位置

#include <opencv2/calib3d.hpp>

bool cv::findChessboardCorners	(	InputArray 	image,
Size 	patternSize,
OutputArray 	corners,
int 	flags = CALIB_CB_ADAPTIVE_THRESH+CALIB_CB_NORMALIZE_IMAGE 
)	

参数:

  • image:棋盘格图像。It must be an 8-bit grayscale or color image.
  • patternSize:Number of inner corners per a chessboard row and column ( patternSize = cvSize(points_per_row,points_per_colum)).
  • corners:Output array of detected corners.
  • flags:Various operation flags that can be zero or a combination of the following values:
    • CALIB_CB_ADAPTIVE_THRESH:使用自适应阈值对图像进行二值化处理
    • CALIB_CB_NORMALIZE_IMAGE:在应用固定阈值或自适应阈值之前,使用equalizeHist将图像归一化。
    • CALIB_CB_FILTER_QUADS:使用额外的标准(如轮廓面积,周长,正方形形状)来过滤掉在轮廓检索阶段提取的假四边形。
    • CALIB_CB_FAST_CHECK:对图像进行快速检查,查找棋盘角点,如果没有找到,则使用快捷方式调用。这可以大大加快退化状态下的调用,当没有棋盘被观察到。

该函数试图确定输入图像是否为棋盘图案的视图,并定位内部棋盘角。如果找到了所有的角点,并且按一定的顺序放置(每行从左到右),则该函数返回一个非零值。否则,如果函数未能找到所有的角或重新排序它们,它将返回0。例如,一个普通的棋盘有8 x 8个正方形和7 x 7个内角,也就是黑色方块相互接触的点。检测到的坐标是近似的,为了更准确地确定它们的位置,该函数调用cornerSubPix。如果返回的坐标不够精确,您还可以使用带有不同参数的函数cornerSubPix。

该函数需要在棋盘格周围留出空白(比如方形粗的边框,越宽越好),以使检测在各种环境中更稳健。否则,如果没有边框且背景为深色,则无法正确分割出外部的黑色方块,从而导致方块分组排序算法失败。

Sample:

Size patternsize(8, 6); //interior number of corners
Mat gray = ....; //source image
vector<Point2f> corners; //this will be filled by the detected corners
//CALIB_CB_FAST_CHECK saves a lot of time on images
//that do not contain any chessboard corners
bool patternfound = findChessboardCorners(gray, patternsize, corners,
    CALIB_CB_ADAPTIVE_THRESH + CALIB_CB_NORMALIZE_IMAGE
    + CALIB_CB_FAST_CHECK);
if (patternfound)
    cornerSubPix(gray, corners, Size(11, 11), Size(-1, -1),
        TermCriteria(CV_TERMCRIT_EPS + CV_TERMCRIT_ITER, 30, 0.1));
drawChessboardCorners(img, patternsize, Mat(corners), patternfound);

cornerSubPix():对初始的整数角点坐标进行亚像素精度的优化

#include <opencv2/imgproc.hpp>

void cv::cornerSubPix	(	InputArray 	image,
InputOutputArray 	corners,
Size 	winSize,
Size 	zeroZone,
TermCriteria 	criteria 
)	

原理解释:亚像素角点的求法

参数:

  • image:Input single-channel, 8-bit or float image.
  • corners:Initial coordinates of the input corners and refined coordinates provided for output.
  • winSize:Half of the side length of the search window. For example, if winSize=Size(5,5) , then a (5∗2+1)×(5∗2+1)=11×11 search window is used.
  • zeroZone:搜索区域中间的死区大小的一半,在此范围上没有进行下式求和它有时被用来避免自相关矩阵可能的奇异性。(-1,-1)表示不存在这样的大小。没弄明白怎么用,设置为(-1, -1)即可。
  • criteria:角点亚像素精度优化的迭代过程的终止条件。要么达到最大迭代次数,要么相邻两次迭代的角点位置移动小于给定阈值,则终止。

drawChessboardCorners():绘制检测出来的棋盘角点。

#include <opencv2/calib3d.hpp>

void cv::drawChessboardCorners	(	InputOutputArray 	image,
Size 	patternSize,
InputArray 	corners,
bool 	patternWasFound 
)	

参数:

  • image:Destination image. It must be an 8-bit color image.
  • patternSize:Number of inner corners per a chessboard row and column (patternSize = cv::Size(points_per_row,points_per_column)).
  • corners:Array of detected corners, the output of findChessboardCorners.
  • patternWasFound:Parameter indicating whether the complete board was found or not. The return value of findChessboardCorners should be passed here.

该函数绘制单独的棋盘角点,如果没有找到棋盘,则检测到红色圆圈,如果找到了棋盘,则检测到与线相连的彩色角点。

TermCriteria():为迭代算法定义终止标准的类。可以通过默认构造函数初始化它

opencv学习记录3-相机标定与姿态解算 阅读详情

相关推荐

OpenCV中的相机标定和姿态估计如何实现?

在OpenCV中,相机标定和姿态估计是计算机视觉中重要的任务,用于确定相机的内部参数(相机矩阵、畸变系数等)以及估计相机的位置和姿态。下面是实现相机标定和姿态估计的基本步骤:相机标定:a. 准备标定板:使用棋盘格或其他已知尺寸的标定板,在不同位置和角度下拍摄多张图像。标定板上的角点应该可以被准确检测到。b. 检测角点:在每张图像中使用OpenCV提供的角点检测函数,例如来检测标定板上的角点。c. 标定相机:利用检测到的角点坐标,使用函数来计算相机的内部参数(相机矩阵、畸变系数等)。

njhhuuuby的博客 1375

基于OpenCV的立体相机标定StereoCalibration与目标三维坐标定位

说明:以下涉及到的一些公式以及图片来自于Learning OpenCV。 做了快2个月的立体相机标定,遇到了一些问题,也有了一些体会,在这里记下来。 1.在做立体相机标定的时候,标定板的规范与否直接影响到最后标定的结果,进而会影响目标3D坐标重建。 这里说的规范指的是,打印的棋盘格(或者圆点)需要保证每个square都是严格大小一致的,即打印出来后每个棋盘格大小应一样;打印出来的棋盘格要尽量

松间明月 2万+

OpenCV C++立体相机标定:从原理到三维重建的完整实践指南

在计算机视觉与三维感知领域,相机标定是构建精确测量系统的基石。其核心原理是通过数学模型描述相机的成像几何关系,包括内参(如焦距、主点、畸变系数)和外参(旋转与平移)。这一过程的技术价值在于,它将物理相机转化为可定量分析的传感器,为深度计算、三维重建和SLAM等应用提供准确的度量基础。OpenCV作为广泛使用的开源库,其calib3d模块提供了从单目标定到立体校正的完整工具链,通过张正友标定法等算法,能够高效求解相机参数并优化重投影误差。在机器人导航、工业检测、自动驾驶等场景中,精确的立体标定能显著提升测距精

weixin_29061425的博客 345

如何用OpenCV制作一个低成本的立体相机

点击上方“3D视觉工坊”,选择“星标”干货第一时间送达AR/VR的兴起,让我们喜欢上了3D电影和视频,前提是你需要戴上一副3D眼镜才能感受到3D效果。那么,它是如何工作的?当屏幕只是平面...

3D视觉工坊 1331

OpenCV C++鱼眼立体相机标定:棋盘格联合优化实战

在自动驾驶与机器人视觉中,鱼眼相机标定是环视拼接、双目测距等应用的基础。其核心原理是通过棋盘格标定板,联合优化左右相机的内参、畸变系数及外参,使图像在三维空间对齐。OpenCV C++ 的 fisheye 模块提供了 stereoCalibrate 等函数,支持联合优化,能有效解决鱼眼镜头大畸变下的标定难题。该技术价值在于提升感知精度,避免因标定误差导致的车道线检测飘移、测距不准等问题。典型应用场景包括自动驾驶环视系统、机器人导航等。本文聚焦 OpenCV C++ 实现,详解从采集、角点检测到联合优化的完整

weixin_29175469的博客 88

CentOS7下Ollama部署全攻略:从安装到自定义端口配置(附国内加速技巧)

本文详细介绍了在CentOS7系统上部署Ollama的完整流程,包括环境准备、模型下载优化、服务化部署及端口配置等关键步骤。特别针对国内网络环境提供了加速安装方案和镜像源配置技巧,帮助开发者快速搭建稳定的本地AI运行环境。

mmm90的博客 292

SAP 接口测试操作-业务顾问

业务顾问测试接口操作

weixin_43657667的博客 5170

Windows下构建ImGui.Net

工具 Visual Studio 2017 操作 下载项目 git clone https://github.com/mellinoe/ImGui.NET.git 编译 右键以下两个项目并调试: ImGui.NET.SampleProgram ImGui.NET.SampleProgram.XNA Error fix 中间遇到一些问题: SDK版本不对 去微软官网下载安装对应版本 由于设置了代理被远程服务器拒绝连接 关闭代理(也许在环境变量中) nuget源无对应资源,404 NOT FOUN

jojozym的博客 1490

CKAD-CN 考试知识点分享(2) CronJob

成功创建 CronJobppi,每 5 分钟执行一次计算任务;配置了和;设置,超时自动终止;确保 Pod 不重启;手动创建ppi-testJob 验证功能正常;所有任务要求均已满足。

轻的博客 336

免费教你快速学会分析运算放大器电路(保证学会)

本文旨在学习如何快速简单地对运算放大器进行分析

一名热爱技术的工程师的博客。分享技术干货,记录美好生活。永远相信美好的事情即将发生。 1万+

wflow模型hbv

毛管水的处理 😄 快速流的处理 K4是为了产生基流的 找到了令人激动的kenematic模块 😄

m0_46268055的博客 782

GRCNN抓取网络学习3【自制Jacquard数据集模型调优】

请先完成,这样有利于下面操作的理解!然后第二步是,有了自己的数据集输入到GRCNN中是三种文件,那么可以GRCNN抓取网络学习2【自制Jacquard数据集训练】!既然学会训练,那么开展下一步计划模型调优。GRCNN源码:https://github.com/skumra/robotic-grasping。

vor234的博客 2507

42、多媒体与虚拟现实在艺术和影视领域的创新应用

本文探讨了多媒体与虚拟现实在艺术和影视领域的创新应用,涵盖三个典型案例:影视与人类学融合项目通过协作模式模糊作者与观众界限,推动文化文献的发展;交互式数字短片《分手》利用基于对象的广播技术探索个性化影视体验;威尼斯双年展瑞士馆4D项目则通过虚拟现实技术实现文化遗产的数字化展示。这些案例展示了技术在叙事、用户体验及文化保护中的深度应用,并展望了未来技术融合、个性化深化与文化遗产传承的发展趋势。

kappa的博客 116

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 常用Windows快捷键大全
下一篇: Windows10 + Visual Studio + Cmake 编译Opencv源码
爱钻研的小铭
博客等级 码龄8年 1536粉丝 196原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址