草庐IT

图像归一化

crossoverpptx 2023-03-28 原文

1. 图像归一化

图像归一化是指对图像进行了一系列标准的处理变换,使之变换为一固定标准形式的过程,该标准图像称作归一化图像。

在机器学习中,不同评价指标(即特征向量中的不同特征,就是所述的不同评价指标)往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果。为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。其中,最典型的就是数据的归一化处理。简而言之,归一化的目的就是使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1]),从而消除奇异样本数据导致的不良影响。

在深度学习中,通常在模型训练前都会对图像进行归一化处理,而对图像进行归一化处理是将特征值大小调整到相近的范围,不归一化处理时,如果特征值较大时,梯度值也会较大,特征值较小时,梯度值也会较小。在模型反向传播时,梯度值更新与学习率一样,当学习率较小时,梯度值较小会导致更新缓慢,当学习率较大时,梯度值较大会导致模型不易收敛,因此为了使模型训练收敛平稳,对图像进行归一化操作,把不同维度的特征值调整到相近的范围内,就可以采用统一的学习率加速模型训练。

2. 图像归一化的常用方法及Python应用

2.1 Min-Max归一化

通过遍历图像矩阵中的每一个像素,设定max和min,进行数据的归一化处理,公式如下:

\[x'=(x-min⁡(x))/(max⁡(x)-min⁡(x)) \]

(1)线性函数将原始数据用线性化的方法转换到[0,1]的范围,计算结果x’为归一化后的数据,x为原始数据。(2)Min-Max归一化方法比较适用在数值比较集中的情况。
(3)缺点:如果max和min不稳定,很容易使得归一化结果不稳定,使得后续使用效果也不稳定。实际使用中可以用经验常量来替代max和min。

测试代码如下:

img = cv.imread('lenna.jpg')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
h,w = gray.shape
mn = np.min(gray)
mx = np.max(gray)
norm = np.zeros((h,w),dtype=np.float32) # 自定义空白单通道图像,用于存放归一化图像
for i in range(h):
   for j in range(w):
       norm[i,j] = (gray[i,j] - mn) / (mx - mn)
       #norm[i,j] = gray[i,j] / 255

print('归一化前:')
print(gray)
print('归一化后:')
print(norm)

plt.subplot(121), plt.imshow(gray, 'gray'), plt.title('gray')
plt.axis('off')
plt.subplot(122), plt.imshow(norm, 'gray'), plt.title('normalization')
plt.axis('off')
plt.show()

归一化前后灰度图像矩阵如下所示:

归一化前后灰度图像对比如下所示:

2.2 z-score标准化

z-score标准化公式如下:

\[x'=(x-μ)/σ \]

其中,μ、σ分别为原始数据集的均值和方法。
(1)将原始数据集归一化为均值为0、方差1的数据集。
(2)该种归一化方式要求原始数据的分布可以近似为高斯分布,否则归一化的效果会变得很糟糕。
(3)应用场景:在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,z-score standardization表现更好。

测试代码如下:

img = cv.imread('lenna.jpg')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
h,w = gray.shape
x_mean = np.mean(gray)
vari = np.sqrt((np.sum((gray-x_mean)**2))/(h*w))
norm = np.zeros((h,w),dtype=np.float32) # 自定义空白单通道图像,用于存放归一化图像
for i in range(h):
   for j in range(w):
       norm[i,j] = (gray[i,j] - x_mean) / vari
       #norm[i,j] = gray[i,j] / 127.5 - 1

print('归一化前:')
print(gray)
print('归一化后:')
print(norm)

plt.subplot(121), plt.imshow(gray, 'gray'), plt.title('gray')
plt.axis('off')
plt.subplot(122), plt.imshow(norm, 'gray'), plt.title('normalization')
plt.axis('off')
plt.show()

归一化前后灰度图像矩阵如下所示:

归一化前后灰度图像对比如下所示:

2.3 神经网络归一化

该归一化方法经常用在数据分化比较大的场景,有些数值很大,有些很小。通过一些数学函数,将原始值进行映射。该方法包括log,反正切等,需要根据数据分布的情况,决定非线性函数的曲线。

2.3.1 log对数函数归一化

y = log10(x),即以10为底的对数转换函数,对应的归一化方法为:

\[x' = log10(x)/log10(max) \]

其中max表示样本数据的最大值,并且所有样本数据均要大于等于1。

测试代码如下:

img = cv.imread('lenna.jpg')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
h,w = gray.shape
norm = np.zeros((h,w),dtype=np.float32) # 自定义空白单通道图像,用于存放归一化图像
norm = np.log10(gray) / np.log10(gray.max())

print('归一化前:')
print(gray)
print('归一化后:')
print(norm)

plt.subplot(121), plt.imshow(gray, 'gray'), plt.title('gray')
plt.axis('off')
plt.subplot(122), plt.imshow(norm, 'gray'), plt.title('normalization')
plt.axis('off')
plt.show()

归一化前后灰度图像矩阵如下所示:

归一化前后灰度图像对比如下所示:

2.3.2 反正切函数归一化

对应的归一化方法为:x' = atan(x)*(2/pi)

使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上。

测试代码如下:

img = cv.imread('lenna.jpg')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
h,w = gray.shape
norm = np.zeros((h,w),dtype=np.float32) # 自定义空白单通道图像,用于存放归一化图像
norm = np.arctan(gray) * (2 / np.pi)

print('归一化前:')
print(gray)
print('归一化后:')
print(norm)

plt.subplot(121), plt.imshow(gray, 'gray'), plt.title('gray')
plt.axis('off')
plt.subplot(122), plt.imshow(norm, 'gray'), plt.title('normalization')
plt.axis('off')
plt.show()

归一化前后灰度图像矩阵如下所示:

归一化前后灰度图像对比如下所示:

2.4 L2范数归一化

定义:特征向量中每个元素均除以向量的范数,即如下公式:

\[x_i'=x_i/(norm(x)) \]

向量x(x1,x2,...,xn)的L2范数定义为:

\[norm(x)=\sqrt(x_1^2+x_2^2+⋯+x_n^2) \]

测试代码如下:

img = cv.imread('lenna.jpg')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
h,w = gray.shape
norm = np.zeros((h,w),dtype=np.float32) # 自定义空白单通道图像,用于存放归一化图像
for i in range(h):
   for j in range(w):
       norm_x = 0.0 + gray[i,j]**2
norm_x = np.sqrt(norm_x)
norm = gray / norm_x

print('归一化前:')
print(gray)
print('归一化后:')
print(norm)

plt.subplot(121), plt.imshow(gray, 'gray'), plt.title('gray')
plt.axis('off')
plt.subplot(122), plt.imshow(norm, 'gray'), plt.title('normalization')
plt.axis('off')
plt.show()

归一化前后灰度图像矩阵如下所示:

归一化前后灰度图像对比如下所示:

3. opencv-python中归一化方法的应用

opencv-python中使用cv2.normalize()函数实现归一化,其函数原型如下:

cv2.normalize(src[, dst[, alpha[, beta[, norm_type[, dtype[, mask]]]]]]) → dst

参数说明:
src:输入数组;
dst:输出数组,数组的大小和原数组一致;
alpha:1.用来规范值。2.规范范围,并且是下限;
beta:只用来规范范围并且是上限;
norm_type:归一化选择的数学公式类型;
dtype:当为负,输出在大小深度通道数都等于输入,当为正,输出只在深度与输入不同,不同的地方由dtype决定;
mark:掩码。选择感兴趣区域,选定后只能对该区域进行操作。

归一化选择的数学公式类型有如下几种:
NORM_MINMAX:数组的数值被平移或缩放到一个指定的范围,线性归一化,一般较常用;
NORM_INF:矩阵中绝对值的最大值;
NORM_L1:归一化数组的L1-范数(绝对值的和);
NORM_L2:归一化数组的(欧几里德)L2-范数。

测试代码如下(以NORM_MINMAX为例):

img = cv.imread('lenna.jpg')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
h,w = gray.shape
norm = np.zeros((h,w),dtype=np.float32) # 自定义空白单通道图像,用于存放归一化图像
cv.normalize(gray, norm, alpha=0, beta=1, norm_type=cv.NORM_MINMAX, dtype=cv.CV_32F)

# norm = np.uint8(norm*255.0)

print('归一化前:')
print(gray)
print('归一化后:')
print(norm)

plt.subplot(121), plt.imshow(gray, 'gray'), plt.title('gray')
plt.axis('off')
plt.subplot(122), plt.imshow(norm, 'gray'), plt.title('normalization')
plt.axis('off')
plt.show()

归一化前后灰度图像矩阵如下所示,可以发现与2.1节Min-Max归一化处理结果一致:

归一化前后灰度图像对比如下所示:

有关图像归一化的更多相关文章

  1. ruby-on-rails - 添加回形针新样式不影响旧上传的图像 - 2

    我有带有Logo图像的公司模型has_attached_file:logo我用他们的Logo创建了许多公司。现在,我需要添加新样式has_attached_file:logo,:styles=>{:small=>"30x15>",:medium=>"155x85>"}我是否应该重新上传所有旧数据以重新生成新样式?我不这么认为……或者有什么rake任务可以重新生成样式吗? 最佳答案 参见Thumbnail-Generation.如果rake任务不适合你,你应该能够在控制台中使用一个片段来调用重新处理!关于相关公司

  2. ruby-on-rails - 在 Ruby (on Rails) 中使用 imgur API 获取图像 - 2

    我正在尝试使用Ruby2.0.0和Rails4.0.0提供的API从imgur中提取图像。我已尝试按照Ruby2.0.0文档中列出的各种方式构建http请求,但均无济于事。代码如下:require'net/http'require'net/https'defimgurheaders={"Authorization"=>"Client-ID"+my_client_id}path="/3/gallery/image/#{img_id}.json"uri=URI("https://api.imgur.com"+path)request,data=Net::HTTP::Get.new(path

  3. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  4. ruby - 是否有将图像文件转换为 ASCII 艺术的命令行程序或库? - 2

    有这样的事吗?我想在Ruby程序中使用它。 最佳答案 试试这个http://csl.sublevel3.org/jp2a/此外,Imagemagick可能还有一些东西 关于ruby-是否有将图像文件转换为ASCII艺术的命令行程序或库?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/6510445/

  5. ruby-on-rails - 使用 Dragonfly 从 URL 分配图像 - 2

    我正在使用Dragonfly在Rails3.1应用程序上处理图像。我正在努力通过url将图像分配给模型。我有一个很好的表格:{:multipart=>true}do|f|%>RemovePicture?Dragonfly的文档指出:Dragonfly提供了一个直接从url分配的访问器:@album.cover_image_url='http://some.url/file.jpg'但是当我在控制台中尝试时:=>#ruby-1.9.2-p290>picture.image_url="http://i.imgur.com/QQiMz.jpg"=>"http://i.imgur.com/QQ

  6. Ruby-vips 图像处理库。有什么好的使用示例吗? - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道,是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接,我们将不胜感激!如果有ruby​​-

  7. ruby-on-rails - 如何播种图像的路径? - 2

    Organization和Image具有一对一的关系。Image有一个名为filename的列,它存储文件的路径。我在Assets管道中包含这样一个文件:app/assets/other/image.jpg。播种时如何包含此文件的路径?我已经在我的种子文件中尝试过:@organization=...@organization.image.create!(filename:File.open('app/assets/other/image.jpg'))#Ialsotried:#@organization.image.create!(filename:'app/assets/other/i

  8. ruby-on-rails - 安全地显示使用回形针 gem 上传的图像 - 2

    默认情况下:回形针gem将所有附件存储在公共(public)目录中。出于安全原因,我不想将附件存储在公共(public)目录中,所以我将它们保存在应用程序根目录的uploads目录中:classPost我没有指定url选项,因为我不希望每个图像附件都有一个url。如果指定了url:那么拥有该url的任何人都可以访问该图像。这是不安全的。在user#show页面中:我想实际显示图像。如果我使用所有回形针默认设置,那么我可以这样做,因为图像将在公共(public)目录中并且图像将具有一个url:Someimage:看来,如果我将图像附件保存在公共(public)目录之外并且不指定url(同

  9. ruby - Paperclip:以编程方式分配图像并设置其名称 - 2

    使用Paperclip,我想从这样的URL抓取图像:require'open-uri'user.photo=open(url)问题是我最后得到一个像“open-uri20110915-4852-1o7k5uw”这样的文件名。有什么方法可以更改user.photo上的文件名?作为一个额外的变化,Paperclip将我的文件存储在S3上,所以如果我可以在初始分配中设置我想要的文件名就更好了,这样图像就会上传到正确的S3key。像这样:user.photo=open(url),:filename=>URI.parse(url).path 最佳答案

  10. ruby-on-rails - 如何在回形针 ruby​​ on rails 中设置默认图像 - 2

    最近我安装了Paperclipgem,我正在努力让默认图像在我的系统上工作,我将图像文件放在assets/images/pic.png中。这是我的模型User中的代码:has_attached_file:pic,:styles=>{:medium=>"300x300>",:thumb=>"100x100>"},:default_url=>'missing_:avatar.png'#:default_url=>'assets/images/avatar.png'has_attached_file:attach这是我的AddPicPaperClip迁移中的代码:defself.upadd_

随机推荐