什么是相机标定？​​​​​​​

1. 棋盘格图片采集

        Single Camera Calibrator App支持棋盘格、圆圈格和自定义检测器图案。有关这些图案的细节和包含可打印图案的PDF文件，请参见校准图案。

分享一个可以生成各种标定板的网站:https://calib.io/pages/camera-calibration-pattern-generator

（1）本文选择棋盘格图案，打开matlab，命令行输入：

open checkerboardPattern.pdf

        棋盘式图案是最常用于相机校准的校准图案。这种模式的控制点是位于棋盘内的角。由于角落非常小，它们通常不受透视和镜头失真的影响。校准器应用程序还可以检测部分棋盘，这在校准带有广角镜头的相机时很有用。使用一个棋盘，沿一条边包含偶数个方块，沿另一条边包含奇数个方块，沿一条边有两个黑色角方块，在另一条边有两个白色角方块。这使应用程序能够确定图案的方向和原点。校准器将较长的一侧指定为X方向。一个正方形的棋盘图案会对相机的外参产生意想不到的结果。

（2）将棋盘格贴在一个平面上。表面上的瑕疵会影响校准的准确性。本文使用手机屏幕显示。

（3）测量棋盘方形的一个边。你需要这个测量值进行校准。方块的大小会因打印机的设置而不同。本文测得正方形边长为7mm。

（4）运行dofbot_ws/src/yolox_tiny_waste_sort/take_photos.ipynb，拍摄20张不同位姿的棋盘格图片

2. 开始标定

(1) 打开Matlab，命令行输入：

cameraCalibrator

 (2) 导入拍摄的20张棋盘格图片，按提示输入方格边长：7mm

 (3) "Options" 选择径向畸变系数个数为3个，勾选切向畸变

 (4) 点击 “Caliberate” 开始标定

 (5) 将标定结果导出到工作空间（后续可以调整到满意以后再导出一次）

（6） 生成MATLAB脚本

在 "导出相机参数"（适用于标准相机型号）或 "导出鱼眼参数"（适用于鱼眼相机型号）下，选择 "生成MATLAB脚本 "将相机参数保存到MATLAB脚本中，使您能够重现校准会话的步骤。

注：您无法为使用vision.calibration.PatternDetector类定义的自定义图案相机参数生成MATLAB脚本。

3. 评估标定结果

        可以通过检查重投影误差、检查相机外参或查看未扭曲的图像来评估校准的准确性。为了获得最佳的校准结果，请使用所有三种评估方法。

3.1 相机外参可视化

        3-D外在参数图提供了一个以相机为中心的图案视图和一个以图案为中心的相机视图。如果拍摄图像时相机是静止的，那么以相机为中心的视图是有帮助的。如果图案是静止的，则以图案为中心的视图很有帮助。你可以点击并拖动图形来旋转它。点击一个棋盘（或相机）来选择它。可视化中的高亮数据与列表中的选定图像相对应。检查图案和摄像机的相对位置，以确定它们是否与你所期望的一致。例如，出现在摄像机后面的图案表明有校准错误。

命令行输入：

figure; 
showExtrinsics(cameraParams, 'CameraCentric');

3.2 重投影误差

        重投影误差是检测到的点和相应的重投影点之间的距离，单位是像素。相机校准器应用通过将点从图案定义的世界坐标投射到图像坐标来计算重投影误差。然后，该应用程序将重新投影的点与相应的检测点进行比较。一般来说，小于一个像素的平均重投影误差是可以接受的。

        相机校准器应用以像素为单位，以柱状图显示重投影误差。该图帮助你确定哪些图像对校准有不利影响。你可以选择一个条形图条目来选择一个图像，然后从数据浏览器窗格的图像列表中删除该图像。

重投影误差条形图
        条形图显示每幅图像的平均重投误差，以及总体平均误差。条形标签与图像ID相对应。突出显示的条形图对应于选定的图像。

用这些方法之一选择一个图像。

• 点击图表中相应的条形图。
• 从数据浏览器窗格的图像列表中选择一个图像。
• 调整总体平均误差。向上或向下滑动红线来自动选择所有平均误差大于指定值的图像。

命令行输入：

figure; 
showReprojectionErrors(cameraParams);

3.3 查看畸变矫正图像

要查看消除镜头变形的效果，在 "Calibration "选项卡选择 "Show Undistorted"。如果校准准确，图像预览中扭曲的线条就会变得笔直。

注：即使重投影误差很低，检查未变形的图像也很重要。例如，如果图案只覆盖了图像的一小部分，变形估计可能是不正确的，即使校准导致很少的再投影误差。这张图片显示了这种类型的单机校准的不正确估计的一个例子。

3.4 打印误差结果

命令行输入： 

displayErrors(estimationErrors, params);

4. 提升标定精度

为了改善标定结果，你可以删除高误差的图像，添加更多的图像，或修改校准器的设置。

考虑添加更多的图像，如果：

• 你的图像少于10张。
• 校准图案没有覆盖足够的图像。
• 校准图案在相对于相机的方向上没有足够的变化。

考虑删除图像，如果这些图像：

• 具有较高的平均重投影误差。
• 模糊。
• 包含一个相对于相机平面大于45度的校准图案。

References

[1] Zhang, Z. “A Flexible New Technique for Camera Calibration.” IEEE Transactions on Pattern Analysis and Machine Intelligence. 22, no. 11 (November 2000): 1330–34. https://doi.org/10.1109/34.888718.

[2] Heikkila, J., and O. Silven. “A Four-step Camera Calibration Procedure with Implicit Image Correction.” In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1106–12. San Juan, Puerto Rico: IEEE Comput. Soc, 1997. https://doi.org/10.1109/CVPR.1997.609468.

[3] Scaramuzza, Davide, Agostino Martinelli, and Roland Siegwart. "A Toolbox for Easily Calibrating Omnidirectional Cameras." In Proceedings of IEEE International Workshop on Intelligent Robots and Systems 2006 (IROS 2006), 5695–701. Bejing, China: IEEE, 2006. https://doi.org/10.1109/IROS.2006.282372

[4] Bouguet, J. Y. “Camera Calibration Toolbox for Matlab.” Computational Vision at the California Institute of Technology.