因此，我训练了一个对象识别神经网络 (YOLOv3) 来检测以各种倾斜和直角拍摄的汽车图片牌照周围的边界框，并且该网络非常可靠地完成了这项工作。但是，现在我想利用图像处理从包围它的边界框中提取车牌平行四边形，无需训练另一个神经网络即可执行此操作。示例图片:

我曾尝试使用 OpenCV 内置函数执行边缘和轮廓检测，如下面的最小代码所示，但仅通过这种方式在一小部分图像上成功:

import cv2
import matplotlib.pyplot as plt
import numpy as np

def auto_canny(image, sigma=0.25):
    # compute the median of the single channel pixel intensities
    v = np.median(image)

    # apply automatic Canny edge detection using the computed median
    lower = int(max(0, (1.0 - sigma) * v))
    upper = int(min(255, (1.0 + sigma) * v))
    edged = cv2.Canny(image, lower, upper)

    # return the edged image
    return edged


# Load the image
orig_img = cv2.imread(input_file)

img = orig_img.copy()

dim1,dim2, _ = img.shape

# Calculate the width and height of the image
img_y = len(img)
img_x = len(img[0])

#Split out each channel
blue, green, red = cv2.split(img)
mn, mx = 220, 350
# Run canny edge detection on each channel

blue_edges = auto_canny(blue)

green_edges = auto_canny(green)

red_edges = auto_canny(red)

# Join edges back into image
edges = blue_edges | green_edges | red_edges

contours, hierarchy = cv2.findContours(edges.copy(), cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)

cnts=sorted(contours, key = cv2.contourArea, reverse = True)[:20]
hulls = [cv2.convexHull(cnt) for cnt in cnts]
perims = [cv2.arcLength(hull, True) for hull in hulls]
approxes = [cv2.approxPolyDP(hulls[i], 0.02 * perims[i], True) for i in range(len(hulls))]

approx_cnts = sorted(approxes, key = cv2.contourArea, reverse = True)
lengths = [len(cnt) for cnt in approx_cnts]

approx = approx_cnts[lengths.index(4)]

#check the ratio of the detected plate area to the bounding box
if (cv2.contourArea(approx)/(img.shape[0]*img.shape[1]) > .2):
    cv2.drawContours(img, [approx], -1, (0,255,0), 1)

plt.imshow(img);plt.show()

这是一些示例结果:

(最上面一行是边缘检测阶段的结果)

成功:

不成功:

有点成功:

并且没有找到四边形/平行四边形但绘制出面积最大的多边形的情况:

所有这些结果都具有完全相同的一组参数(阈值，...等)

我也曾尝试使用 cv2.HoughLines 应用霍夫变换，但我不知道为什么无论我将累加器阈值设置得多么低，垂直倾斜的线总是会丢失。此外，当我降低阈值时，我会突然得到这些对角线:

以及我用来画霍夫线的代码:

lines = cv2.HoughLines(edges,1,np.pi/180,20)
for i in range(len(lines)):
    for rho,theta in lines[i]:
        a = np.cos(theta)
        b = np.sin(theta)
        x0 = a*rho
        y0 = b*rho
        x1 = int(x0 + 1000*(-b))
        y1 = int(y0 + 1000*(a))
        x2 = int(x0 - 1000*(-b))
        y2 = int(y0 - 1000*(a))

        cv2.line(img,(x1,y1),(x2,y2),(0,0,255),2)
plt.imshow(img);plt.show()

仅靠图像处理技术真的很难达到高成功率吗？当然，机器学习可以轻而易举地解决这个问题，但我认为这太过分了，反正我也没有注释数据。

最佳答案

您可以使用滤色器来检测所需区域。
似乎车牌的边界通常用白色标记。您可以检测图像中的白色像素并绘制最外侧位置之间的线条。

算法看起来像这样:

1. Specify the RGB values you would like to detect
2. Detect the positions (x,y) in which these RGB values occur
3. Identify the top-left, bottom-left, top-right and bottom-right positions
4. Plot lines between these positions

This color-detection example来自 PyImagesearch 的可能会帮助您对其进行编码。

当然，检测白色车牌不适用于白色汽车。

要考虑到白色汽车，您可以检查是否在您提供的边界框图像的边界上检测到任何白色。 如果是这样，请尝试在最外面的蓝色、红色或黑色像素之间画线(因为车牌字母有这种颜色)。

关于python - 从周围的边界框提取车牌平行四边形？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55607063/