我目前正在研究 X 射线图像的 3d 重建，因此我需要对两个 View 的图像进行立体校正，然后才能借助外线匹配某些特征。我在 C++ 中使用 OpenCV 2.4。

为此我得到了一组对的X-Ray图像(锥束X-ray图像，没有畸变参数或真实焦距的真实相机)，一个来自前后 View (直接看胸部) ，还有一个是侧 View (从侧面看胸部)。我知道一些参数，比如我可以使用的虚拟焦距(两个 View 都相等)，并且图像的分辨率为 512x512px，因此图像上的相机投影对于两个 View 都是 (255,255)。我也知道相机是垂直的。根据这些信息，我开发了一个旋转矩阵 R 和平移 vector t(两者都在 Matlab 中的 3d 图的帮助下进行了验证)。

问题:R 和 t 其实在 OpenCV 中足以进行立体校正，但校正后的图像是黑色的。谷歌搜索让我发现了 stereoRectify 中的错误，但我怀疑这是错误，因为我可以运行确实有效的 OpenCV stereoRectification 示例。在 Matlab 中尝试 stereoRectification 时，我至少可以看到一些扭曲的校正结果。

这是我的 C++ 代码:

float camera_matrix_ap_data[] = {1207*2.0, 0.0, 255.0,
                 0.0, 1207*2, 255.0,
                                 0.0, 0.0, 1.0};
cv::Mat camera_matrix_ap(3, 3, CV_64F, camera_matrix_ap_data);
float camera_matrix_lat_data[] = {1207*2, 0.0, 255.0,
                 0.0, 1207*2, 255.0,
                                 0.0, 0.0, 1.0};
 cv::Mat camera_matrix_lat(3, 3, CV_64F, camera_matrix_lat_data);

 ///
 /// @brief the distortion matrices
 ///
 cv::Mat distortion_ap(4, 1, CV_64F, 0.0);
 cv::Mat distortion_lat(4, 1, CV_64F, 0.0);

 ///
 /// @brief Translation and Rotation matrices
 ///
 float R_data[] = {0.0, 0.0, 1.0,
           0.0, 1.0, 0.0,
           -1.0, 0.0, 0.0};
 float T_data[] = {-(1207.0*2 + 255), 0.0, 1207.0*2 + 255};

 cv::Mat R(3, 3, CV_64F, R_data);
 cv::Mat T(3, 1, CV_64F, T_data);

 for (int i=1; i<=20; i++) {
std::stringstream filenameAP_tmp;
std::stringstream filenameLAT_tmp;
filenameAP_tmp << "imageAP"<< i <<".jpg";
filenameAP = filenameAP_tmp.str();
filenameLAT_tmp << "imageLAT"<< i <<".jpg";
filenameLAT = filenameLAT_tmp.str();

    rectimg_ap = cv::imread(filenameAP);
    rectimg_lat = cv::imread(filenameLAT);
    // Yes, these images are grayscale

    /// Experimental
    /// Stereo rectify both images
 cv::Mat R1(3, 3, CV_64F);
 cv::Mat R2(3, 3, CV_64F);
 cv::Mat P1(3, 4, CV_64F);
 cv::Mat P2(3, 4, CV_64F);
 cv::Mat Q(4, 4, CV_64F);
 cv::Rect validRoi[2];

// buggy?
cv::stereoRectify(camera_matrix_ap, distortion_ap, camera_matrix_lat, distortion_lat, rectimg_ap.size(), R, T, R1, R2, P1, P2, Q, CALIB_ZERO_DISPARITY, 1, rectimg_ap.size(), &validRoi[0], &validRoi[1] );


// Maps for AP View
cv::Mat map1x(rectimg_ap.size(), CV_32FC1, 255.0);
cv::Mat map2x(rectimg_ap.size(), CV_32FC1, 255.0);
// Maps for LAT View
cv::Mat map1y(rectimg_ap.size(), CV_32FC1, 255.0);
cv::Mat map2y(rectimg_ap.size(), CV_32FC1, 255.0);

cv::initUndistortRectifyMap(camera_matrix_ap, distortion_ap, R1, P1, rectimg_ap.size(), CV_32FC1, map1x, map1y);
cv::initUndistortRectifyMap(camera_matrix_lat, distortion_lat, R2, P2, rectimg_lat.size(), CV_32FC1, map2x, map2y);

cv::Mat tmp1, tmp2;
cv::remap(rectimg_ap, tmp1, map1x, map1y, INTER_LINEAR);
cv::remap(rectimg_lat, tmp2, map2x, map2y, INTER_LINEAR);

//findHomography(rectimg_ap, rectimg_lat, CV_RANSAC);

}

所以我想知道这段代码或我的矩阵有什么问题，因为重新映射后的校正图像完全是黑色的。 OpenCV 和 Matlab 之间的坐标系轴是否存在差异？正如我所读，在 OpenCV 中，z 轴指向图像平面，对于 Matlab 也是如此。

如果有人能帮助我，我会很高兴，我已经被这个问题困扰了好几个星期了。非常感谢!

最佳答案

尝试将“float”变量类型更改为“double”。 CV_64F 对应于 double 而不是 float ，因为它是 8 个字节(= 64 位)。我用我自己的矩阵值尝试了您的代码，成功了。

关于c++ - 手动创建的矩阵的 OpenCV 立体声校正，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19925069/