您好，我的目标是开发用于飞机(模拟器)驾驶舱的头部跟踪功能，以提供 AR 以支持平民飞行员在视觉条件不佳的情况下着陆和飞行。

我的方法是检测我知道 3D 坐标的特征点(在黑暗的模拟器 LED 中)，然后计算估计的(头戴式相机的)姿势 [R|t](旋转与平移连接)。

我确实遇到的问题是估计的姿势似乎总是错误的，并且我的 3D 点的投影 (我也用来估计姿势) 与 2D 图像点不重叠 或不可见) .



我的问题是:

如何使用一组给定的 2D 到 3D 点对应来估计相机姿势。

为什么我尝试它的方式不起作用，哪里可能是错误来源？

测量(3D 和 2D 点以及相机矩阵)必须有多精确才能使理论解决方案在现实生活环境中工作？

理论上该方法是否适用于共面点(x，y 轴已更改)？

我使用的硬件是 Epson BT-200。

在飞机中，我定义了一个固定的纵坐标，我期望作为程序结果的相对平移和旋转。该程序检测(独特)LED 的图像坐标并将它们与相应的 3D 坐标相匹配。使用我使用 open-cv 示例 android 代码 (https://github.com/Itseez/opencv/tree/master/samples/android/camera-calibration) 获得的相机矩阵，我尝试使用 solvePnP 估计姿势。

我的相机矩阵和失真略有不同。以下是我从程序中收到的一些值。我确保打印出来的圆形图案的圆形距离与源代码中写的相同(以米为单位)。

以下是一些示例以及我如何创建它的 OpenCV Mat。

//  protected final double[] DISTORTION_MATRIX_VALUES = new double[]{
//          /*This matrix should have 5 values*/
//          0.04569467373955304,
//          0.1402980385369059,
//          0,
//          0,
//          -0.2982135315849994
//  };

//  protected final double[] DISTORTION_MATRIX_VALUES = new double[]{
//          /*This matrix should have 5 values*/
//          0.08245931646421553,
//          -0.9893762277047577,
//          0,
//          0,
//          3.23553287438898
//  };

//  protected final double[] DISTORTION_MATRIX_VALUES = new double[]{
//          /*This matrix should have 5 values*/
//          0.07444480392067945,
//          -0.7817175834131075,
//          0,
//          0,
//          2.65433773093283
//  };
    protected final double[] DISTORTION_MATRIX_VALUES = new double[]{
            /*This matrix should have 5 values*/
            0.08909941096327206,
            -0.9537960457721699,
            0,
            0,
            3.449728790843752
    };

    protected final double[][] CAMERA_MATRIX_VALUES = new double[][]{
            /*This matrix should have 3x3 values*/
//          {748.6595405553738, 0, 319.5},
//          {0, 748.6595405553738, 239.5},
//          {0, 0, 1}
//          {698.1744297982436, 0, 320},
//          {0, 698.1744297982436, 240},
//          {0, 0, 1}
//          {707.1226937511951, 0, 319.5},
//          {0, 707.1226937511951, 239.5},
//          {0, 0, 1}
            {702.1458656346429, 0, 319.5},
            {0, 702.1458656346429, 239.5},
            {0, 0, 1}
    };

    private void initDestortionMatrix(){
        distortionMatrix = new MatOfDouble();
        distortionMatrix.fromArray(DISTORTION_MATRIX_VALUES);
    }

    private void initCameraMatrix(){
        cameraMatrix = new Mat(new Size(3,3), CvType.CV_64F);
        for(int i=0;i<CAMERA_MATRIX_VALUES.length; i++){
            cameraMatrix.put(i, 0, CAMERA_MATRIX_VALUES[i]);
        }
    }

最佳答案

我在尝试实现我的头部跟踪系统期间学到的一件事是，您应该从简单的问题开始，而不是转向更复杂的问题。你的问题很复杂，不幸的是我没有时间分析它并搜索你代码中的错误或逻辑错误，所以至少我会尝试给你一些提示和工作示例。
Here是用于查找对象平移和旋转的 OpenCV 教程。它是用 Python 编写的，如果有问题 here我旧 C++ 项目的一部分。
我的项目使用 solvePnP 或 solvePnPRansac 函数(您可以更改模式)执行相同的任务。请注意，我的代码是一些旧的“游乐场”项目的一部分，因此即使在我执行的清洁之后它也非常困惑。运行时，向相机显示打印的棋盘，按“p”开始位置和旋转估计，按“m”更改模式(0-ransac、1-pnp、2-posit 似乎不起作用...)或 'd' 使用离散系数打开/关闭。
这两个项目都依赖于寻找棋盘模式，但修改它们以使用其他一些对象应该很容易。
相机校准 - 虽然我一直在研究我的头部跟踪系统，但我从来没有设法用相同的结果校准相机两次......所以我决定使用我在 github 上找到的一些校准文件，它运行良好 - here你可以找到更多关于这个文件的链接的信息。
编辑:
尝试从尽可能简单的解决方案开始，在某些(甚至是简单的)情况下提供良好的结果。在我看来，一个好的开始是用教程 ( this one ) 中的打印棋盘替换测试环境中的一张纸并使其工作。从这个转移到你的问题会比从你的问题开始容易得多。尝试使用任何编程语言制作任何可行的解决方案 - 考虑使用 Python 或 C++ 版本的 OpenCV - 有比 Java 版本更多的教程/示例，并且将您的代码结果与某些工作代码的结果进行比较会使其更容易。当您有一些可行的解决方案时，请尝试修改它以适用于您的测试环境。有很多事情可能会导致它现在无法正常工作 - 点数不足，代码中甚至 OpenCV Java 包装器中的错误，结果的错误解释等......
编辑2:
使用您的代码中的点，我设法获得了以下结果:

rvec = [[-158.56293283], [ 1.46777938], [ -17.32569125]]
tvec = [[ -36.23910413], [ -82.83704819], [ 266.03157578]]

(355,37), (355,72), (355,101)

rvec = [[-159.34101842], [ 1.04951033], [ -11.43731376]]
tvec = [[ -25.74308282], [ -82.58461674], [ 268.12321097]]

关于java - 如何使用 3d-to-2d-point-correspondences 估计相机姿势(使用 opencv)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29035653/