我正在尝试使用深度传感器为 Oculus Rift 开发套件添加位置跟踪。但是，我在生成可用结果的操作序列方面遇到了问题。

我从 16 位深度图像开始，其中的值有点(但不是真的)对应于毫米。图像中未定义的值已设置为 0。

首先，我通过更新蒙版图像来排除特定近距离和远距离之外的所有内容。

  cv::Mat result = cv::Mat::zeros(depthImage.size(), CV_8UC3);
  cv::Mat depthMask;
  depthImage.convertTo(depthMask, CV_8U);
  for_each_pixel<DepthImagePixel, uint8_t>(depthImage, depthMask, 
    [&](DepthImagePixel & depthPixel, uint8_t & maskPixel){
      if (!maskPixel) {
        return;
      }
      static const uint16_t depthMax = 1200;
      static const uint16_t depthMin = 200;
      if (depthPixel < depthMin || depthPixel > depthMax) {
        maskPixel = 0;
      }
  });

接下来，由于我想要的特征可能比整个场景平均值更靠近相机，我再次更新掩码以排除任何不在中值特定范围内的东西:

  const float depthAverage = cv::mean(depthImage, depthMask)[0];
  const uint16_t depthMax = depthAverage * 1.0;
  const uint16_t depthMin = depthAverage * 0.75;
  for_each_pixel<DepthImagePixel, uint8_t>(depthImage, depthMask, 
    [&](DepthImagePixel & depthPixel, uint8_t & maskPixel){
      if (!maskPixel) {
        return;
      }
      if (depthPixel < depthMin || depthPixel > depthMax) {
        maskPixel = 0;
      }
  });

最后，我将不在掩码中的所有内容清零，并将剩余值缩放到 10 到 255 之间，然后再将图像格式转换为 8 位

  cv::Mat outsideMask;
  cv::bitwise_not(depthMask, outsideMask);
  // Zero out outside the mask
  cv::subtract(depthImage, depthImage, depthImage, outsideMask);
  // Within the mask, normalize to the range + X
  cv::subtract(depthImage, depthMin, depthImage, depthMask);
  double minVal, maxVal;
  minMaxLoc(depthImage, &minVal, &maxVal);
  float range = depthMax - depthMin;
  float scale = (((float)(UINT8_MAX - 10) / range));
  depthImage *= scale;
  cv::add(depthImage, 10, depthImage, depthMask);
  depthImage.convertTo(depthImage, CV_8U);

结果是这样的:

我对这部分代码非常满意，因为它产生了非常清晰的视觉特征。

然后我应用了一些平滑操作来消除深度相机中可笑的噪音:

cv::medianBlur(depthImage, depthImage, 9);
cv::Mat blurred;
cv::bilateralFilter(depthImage, blurred, 5, 250, 250);
depthImage = blurred;
cv::Mat result = cv::Mat::zeros(depthImage.size(), CV_8UC3);
cv::insertChannel(depthImage, result, 0);

同样，这些特征在视觉上看起来非常清晰，但我想知道是否不能以某种方式对其进行锐化:

接下来我使用 canny 进行边缘检测:

  cv::Mat canny_output;
  {
    cv::Canny(depthImage, canny_output, 20, 80, 3, true);
    cv::insertChannel(canny_output, result, 1);
  }

我正在寻找的线在那里，但没有很好地代表角落:

最后我使用概率 Hough 来识别线:

  std::vector<cv::Vec4i> lines;
  cv::HoughLinesP(canny_output, lines, pixelRes, degreeRes * CV_PI / 180, hughThreshold, hughMinLength, hughMaxGap);
  for (size_t i = 0; i < lines.size(); i++)
  {
    cv::Vec4i l = lines[i];
    glm::vec2 a((l[0], l[1]));
    glm::vec2 b((l[2], l[3]));
    float length = glm::length(a - b);
    cv::line(result, cv::Point(l[0], l[1]), cv::Point(l[2], l[3]), cv::Scalar(0, 0, 255), 3, CV_AA);
  }

这导致了这张图片

在这一点上，我觉得我已经偏离了轨道，因为我无法为 Hough 找到一组好的参数来生成合理数量的候选线来搜索我的形状，而且我是不确定我是否应该摆弄 Hough 或考虑改进先前步骤的输出。

是否有一种好方法可以在每个阶段客观地验证我的结果，而不是仅仅摆弄输入值直到我认为它“看起来不错”？是否有更好的方法来找到给定起始图像的矩形(并且假设它不一定朝向特定方向？

最佳答案

非常酷的项目!

不过，我觉得您的方法没有使用您可以从深度图中获得的所有信息(例如 3D 点、法线等)，这会有很大帮助。

点云库 (PCL) 是专用于处理 RGB-D 数据的 C++ 库，具有 tutorial使用 RANSAC 进行平面分割，这可能会激发您的灵感。您可能不想在您的程序中使用 PCL，因为存在大量依赖项，但由于它是开源的，您可以在 Github (PCL SAC segmentation) 上找到算法实现。但是，RANSAC 可能会很慢并根据场景产生不需要的结果。

您也可以尝试使用“实时平面分割”中介绍的方法 使用 RGB-D 相机”，作者:Holz、Holzer、Rusu 和 Behnke，2011 年(PDF)，建议使用积分图像进行快速法线估计，然后使用法线聚类进行平面检测。

关于c++ - 如何使用 OpenCV 在深度图像中找到任意变换的矩形？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22444852/