拍摄一张纸时(例如用手机摄像头)，我得到以下结果(左图)(jpg 下载 here )。想要的结果(使用图像编辑软件手动处理)在右侧:

我想用openCV处理原始图像自动获得更好的亮度/对比度(使背景更白)。

假设:图像具有 A4 纵向格式(我们不需要在本主题中对其进行透视变形)，并且这张纸是白色的，可能带有黑色或彩色的文本/图像。

到目前为止我已经尝试过:

1. 各种自适应阈值方法，例如高斯、OTSU(参见 OpenCV 文档 Image Thresholding)。它通常适用于 OTSU:

   ret, gray = cv2.threshold(img, 0, 255, cv2.THRESH_OTSU + cv2.THRESH_BINARY)
   

   但它只适用于灰度图像，不能直接适用于彩色图像。此外，输出是二进制(白色或黑色)，这是我不想要的:我更喜欢保留彩色非二进制图像作为输出

2. Histogram equalization

   • 应用于 Y(在 RGB => YUV 变换之后)
   • 或应用于 V(在 RGB => HSV 变换之后)，

   正如 answer 所建议的那样( Histogram equalization not working on color image - OpenCV ) 或这个 one (OpenCV Python equalizeHist colored image):

   img3 = cv2.imread(f)
   img_transf = cv2.cvtColor(img3, cv2.COLOR_BGR2YUV)
   img_transf[:,:,0] = cv2.equalizeHist(img_transf[:,:,0])
   img4 = cv2.cvtColor(img_transf, cv2.COLOR_YUV2BGR)
   cv2.imwrite('test.jpg', img4)
   

   或使用 HSV:

   img_transf = cv2.cvtColor(img3, cv2.COLOR_BGR2HSV)
   img_transf[:,:,2] = cv2.equalizeHist(img_transf[:,:,2])
   img4 = cv2.cvtColor(img_transf, cv2.COLOR_HSV2BGR)
   

   不幸的是，结果很糟糕，因为它在局部产生了可怕的微对比(？):

   

   我也尝试过 YCbCr，结果很相似。

3. 我也试过CLAHE (Contrast Limited Adaptive Histogram Equalization)从 1 到 1000 的各种 tileGridSize:

   img3 = cv2.imread(f)
   img_transf = cv2.cvtColor(img3, cv2.COLOR_BGR2HSV)
   clahe = cv2.createCLAHE(tileGridSize=(100,100))
   img_transf[:,:,2] = clahe.apply(img_transf[:,:,2])
   img4 = cv2.cvtColor(img_transf, cv2.COLOR_HSV2BGR)
   cv2.imwrite('test.jpg', img4)
   

   但结果也同样糟糕。

4. 按照问题 How to apply CLAHE on RGB color images 中的建议，使用 LAB 颜色空间执行此 CLAHE 方法:

   import cv2, numpy as np
   bgr = cv2.imread('_example.jpg')
   lab = cv2.cvtColor(bgr, cv2.COLOR_BGR2LAB)
   lab_planes = cv2.split(lab)
   clahe = cv2.createCLAHE(clipLimit=2.0,tileGridSize=(100,100))
   lab_planes[0] = clahe.apply(lab_planes[0])
   lab = cv2.merge(lab_planes)
   bgr = cv2.cvtColor(lab, cv2.COLOR_LAB2BGR)
   cv2.imwrite('_example111.jpg', bgr)
   

   也给出了不好的结果。输出图片:

   

5. 在每个 channel 上单独进行自适应阈值或直方图均衡(R、G、B)不是一种选择，因为它会破坏色彩平衡，如 here 所述.

6. “对比度拉伸(stretch)” 方法来自 scikit-image 在 Histogram Equalization 上的教程:

   the image is rescaled to include all intensities that fall within the 2nd and 98th percentiles

   稍微好一点，但仍远未达到预期的结果(请参阅此问题顶部的图片)。

TL;DR:如何使用 OpenCV/Python 对一张纸的彩色照片进行自动亮度/对比度优化？ 可以使用哪种阈值/直方图均衡/其他技术?

最佳答案

可以分别使用 alpha (α) 和 beta (β) 调整对比度和亮度。这些变量通常称为 gain 和 bias 参数。表达式可以写成

OpenCV 已经将其实现为 cv2.convertScaleAbs()所以我们可以将此函数与用户定义的 alpha 和 beta 值一起使用。

import cv2

image = cv2.imread('1.jpg')

alpha = 1.95 # Contrast control (1.0-3.0)
beta = 0 # Brightness control (0-100)

manual_result = cv2.convertScaleAbs(image, alpha=alpha, beta=beta)

cv2.imshow('original', image)
cv2.imshow('manual_result', manual_result)
cv2.waitKey()

但问题是

How to get an automatic brightness/contrast optimization of a color photo?

本质上问题是如何自动计算alpha和beta。为此，我们可以查看图像的直方图。自动亮度和对比度优化计算 alpha 和 beta，使输出范围为 [0...255]。我们计算累积分布以确定颜色频率小于某个阈值(例如 1%)的位置，并切割直方图的右侧和左侧。这为我们提供了最小和最大范围。这是在(蓝色)和剪切后(橙色)的直方图的可视化。请注意图像中更“有趣”的部分在剪辑后如何更加明显。

为了计算 alpha，我们取裁剪后的最小和最大灰度范围，并将其与我们想要的输出范围 255

α = 255 / (maximum_gray - minimum_gray)

为了计算 beta，我们将其代入公式 g(i, j)=0 和 f(i, j)=minimum_gray

g(i,j) = α * f(i,j) + β

解决后会导致这个

β = -minimum_gray * α

对于您的图像，我们得到了这个

Alpha: 3.75

Beta: -311.25

您可能需要调整剪辑阈值以优化结果。以下是使用 1% 阈值与其他图像的一些示例结果:-> 之前

自动亮度和对比度代码

import cv2
import numpy as np
from matplotlib import pyplot as plt

# Automatic brightness and contrast optimization with optional histogram clipping
def automatic_brightness_and_contrast(image, clip_hist_percent=1):
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    
    # Calculate grayscale histogram
    hist = cv2.calcHist([gray],[0],None,[256],[0,256])
    hist_size = len(hist)
    
    # Calculate cumulative distribution from the histogram
    accumulator = []
    accumulator.append(float(hist[0]))
    for index in range(1, hist_size):
        accumulator.append(accumulator[index -1] + float(hist[index]))
    
    # Locate points to clip
    maximum = accumulator[-1]
    clip_hist_percent *= (maximum/100.0)
    clip_hist_percent /= 2.0
    
    # Locate left cut
    minimum_gray = 0
    while accumulator[minimum_gray] < clip_hist_percent:
        minimum_gray += 1
    
    # Locate right cut
    maximum_gray = hist_size -1
    while accumulator[maximum_gray] >= (maximum - clip_hist_percent):
        maximum_gray -= 1
    
    # Calculate alpha and beta values
    alpha = 255 / (maximum_gray - minimum_gray)
    beta = -minimum_gray * alpha
    
    '''
    # Calculate new histogram with desired range and show histogram 
    new_hist = cv2.calcHist([gray],[0],None,[256],[minimum_gray,maximum_gray])
    plt.plot(hist)
    plt.plot(new_hist)
    plt.xlim([0,256])
    plt.show()
    '''

    auto_result = cv2.convertScaleAbs(image, alpha=alpha, beta=beta)
    return (auto_result, alpha, beta)

image = cv2.imread('1.jpg')
auto_result, alpha, beta = automatic_brightness_and_contrast(image)
print('alpha', alpha)
print('beta', beta)
cv2.imshow('auto_result', auto_result)
cv2.waitKey()

带有此代码的结果图像:

使用 1% 阈值的其他图像的结果

另一种版本是使用饱和度算法而不是使用 OpenCV 的 cv2.convertScaleAbs() 将 gain 和 bias 添加到图像。内置方法不采用绝对值，这会导致无意义的结果(例如，在 44 处，alpha = 3 和 beta = -210 的像素在 OpenCV 中变为 78，而实际上它应该变为 0)。

import cv2
import numpy as np
# from matplotlib import pyplot as plt

def convertScale(img, alpha, beta):
    """Add bias and gain to an image with saturation arithmetics. Unlike
    cv2.convertScaleAbs, it does not take an absolute value, which would lead to
    nonsensical results (e.g., a pixel at 44 with alpha = 3 and beta = -210
    becomes 78 with OpenCV, when in fact it should become 0).
    """

    new_img = img * alpha + beta
    new_img[new_img < 0] = 0
    new_img[new_img > 255] = 255
    return new_img.astype(np.uint8)

# Automatic brightness and contrast optimization with optional histogram clipping
def automatic_brightness_and_contrast(image, clip_hist_percent=25):
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

    # Calculate grayscale histogram
    hist = cv2.calcHist([gray],[0],None,[256],[0,256])
    hist_size = len(hist)

    # Calculate cumulative distribution from the histogram
    accumulator = []
    accumulator.append(float(hist[0]))
    for index in range(1, hist_size):
        accumulator.append(accumulator[index -1] + float(hist[index]))

    # Locate points to clip
    maximum = accumulator[-1]
    clip_hist_percent *= (maximum/100.0)
    clip_hist_percent /= 2.0

    # Locate left cut
    minimum_gray = 0
    while accumulator[minimum_gray] < clip_hist_percent:
        minimum_gray += 1

    # Locate right cut
    maximum_gray = hist_size -1
    while accumulator[maximum_gray] >= (maximum - clip_hist_percent):
        maximum_gray -= 1

    # Calculate alpha and beta values
    alpha = 255 / (maximum_gray - minimum_gray)
    beta = -minimum_gray * alpha

    '''
    # Calculate new histogram with desired range and show histogram 
    new_hist = cv2.calcHist([gray],[0],None,[256],[minimum_gray,maximum_gray])
    plt.plot(hist)
    plt.plot(new_hist)
    plt.xlim([0,256])
    plt.show()
    '''

    auto_result = convertScale(image, alpha=alpha, beta=beta)
    return (auto_result, alpha, beta)

image = cv2.imread('1.jpg')
auto_result, alpha, beta = automatic_brightness_and_contrast(image)
print('alpha', alpha)
print('beta', beta)
cv2.imshow('auto_result', auto_result)
cv2.imwrite('auto_result.png', auto_result)
cv2.imshow('image', image)
cv2.waitKey()

关于python - 使用 OpenCV 自动调整一张纸的彩色照片的对比度和亮度，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56905592/