草庐IT

YUV和RGB的相互转换实验

音视频开发老舅 2023-07-20 原文

1、彩色空间转换基本原理

1)彩色空间转换公式:

为了实现格式转换,我们首先要明确待转换格式和目标格式的特点和相互转换关系,这是编程实现转换的核心。对于RGB转YUV的过程,我们要首先拿到RGB文件的数据,再通过上图的YUV计算公式对其做运算,得到YUV数据,从而实现转换。而对于YUV转RGB则要首先获得YUV数据,用第二组RGB公式计算得到RGB数据。 在本实验中,转换公式如下。

Y = 0.298R + 0.612G + 0.117B;
 
U = -0.168R - 0.330G + 0.498B + 128;
 
V = 0.449R - 0.435G - 0.083B + 128;
 
R = Y + 1.4075( V - 128);
 
G = Y - 0.3455( U - 128) - 0.7169( V - 128);
 
B = Y + 1.779( U - 128);

       其中,计算UV分量时+128是因为UV分量有负值,加上128刚好可以将变化范围调整为0—255。所以在做YUV转RGB时,要特别注意,给UV分量减去128才能代入去乘转换系数。

2)了解两种格式的存储方式:

       RGB存储方式:RGB三个分量按照B、G、R的顺序储存。(4:4:4)

YUV存储方式:先存Y再存UV分量。(4:2:0)

3)初始化参数。

指向输入、输出文件的指针:FILE * rgbfile,FILE * yuvfile;

文件的相关信息:宽framewidth, 高frameheight;

指向所开辟空间的指针:unsigned char型,yuv_Buf,rgb_Buf;

注:根据YUV和RGB存储方式的特点,申请空间时RGB和YUV采用不同的方法。存储RGB只开一块完整的空间,用一个buffer;而YUV三个分量各自分开储存,尽管在内存中也是一维的数据流,但是为了方便计算和指针操作,三个分量分别用三个buffer,开三块空间存储。

本文福利, C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

2、实验流程分析

RGB2YUV:首先,主函数中,打开待转换的RGB文件fopen,读出其中的数据,即将数据写到rgb_Buf空间中;其次,进入转换函数,对rgb_Buf空间的数据进行计算处理(y_buffer指向yuv_Buf,u_buffer & v_buffer各自开辟空间),y的计算结果写入y_buffer(yuv_Buf),UV分量计算结果存在u_buffer和v_buffer;然后,将UVbuffer中的UV分量进行下采样(YUV4:2:0),将结果存入目标空间sub_u_buf,sub_v_buf(出口:u_out,v_out),释放掉转换函数中开辟的空间;最后,回到主函数,将结果写出到目标文件中去fwrite,释放掉所开空间。

YUV2RGB:首先,主函数中,打开YUV文件,读出其中的数据,将数据写到yuv_Buf中;其次,对yuv_Buf的数据进行上采样,即,Y不动,将UV分量补全存入up_yuv_buf所开空间(将一个像素点的uv值赋给对应点及右、下、右下点);最后,对yuv_Buf,up_yuv_buf中的YUV数据进行计算,还原出RGB数据,存入rgb_Buf,释放掉转换函数中开辟的空间;最后,将结果输出到目标文件,释放掉所开空间。

检验:第一步,将RGB素材转换得到YUV1,用yuv播放器看是否正确;第二步,再将得到的YUV1转回RGB格式,并再次将RGB转YUV2,若YUV2和此前得到的YUV1完全一致,则YUV2RGB转换无误;否则,应就问题再做修改和调试。

3、关键代码及其分析

1)YUV2RGB过程UV上采样部分

在转换函数中开辟一块空间up_yuv_buf,空间大小为2*size刚好存放UV分量。psu1、psu2指针指向空间中存U分量部分的奇偶两行,pu指向原空间中U分量所在位置。psv指针同u。一次循环中,利用指针对UV分量各自的奇偶两行同时赋值,随后各自加1,再次赋值,实现四个像素点取同样的值,即,上采样。

for (i = 0; i < y_dim / 2; i++)
	{
		psu1 = up_yuv_buf + 2 * i * x_dim;  //U偶数行指针
		psu2 = up_yuv_buf + (2 * i + 1) * x_dim;  //U奇数行指针
		psv1 = up_yuv_buf + size + 2 * i * x_dim;   //V偶数行指针
		psv2 = up_yuv_buf + size + (2 * i + 1) * x_dim;  //V奇数行指针
		pu = u_buf + i * x_dim / 2;
		pv = v_buf + i * x_dim / 2;
		for (j = 0; j < x_dim / 2; j++)
		{
			*psu1 = *pu; *psu2 = *pu;     //奇数偶数行第一次像素点赋值,UV同时
			*psv1 = *pv; *psv2 = *pv;     
			psu1++; psu2++;
			psv1++; psv2++;
			*psu1 = *pu; *psu2 = *pu;     //奇数偶数行第二次像素点赋值,UV同时
			*psv1 = *pv; *psv2 = *pv;
			psu1++; psu2++;
			psv1++; psv2++;
			pu++; pv++;
		}
	}

1)YUV2RGB过程计算RGB部分
   防溢出:此处定义了三个float变量:tmpr,tmpg,tmpb分别暂存计算得到的float型rgb数值,然后判断,如果数值大于225,令其等于225;如果小于0,令其等于0。随后再将变量赋给r/g/b指针指向的位置。这一步非常重要,float型16位,unsigned char型8位,计算得到的数值在强制类型转换时很可能溢出,导致的结果是图像上明显可见数值溢出的点,小于0的是红色点,大于255的是蓝色点。

for (i = 0; i < y_dim; i++)
{
	for(j=0;j<x_dim;j++)
	{
		g = b + 1;
		r = b + 2;
		tmpr=*y + RGBYUV1402[*v];
		tmpg=*y - RGBYUV0344[*u] - RGBYUV0714[*v];
		tmpb=*y + RGBYUV1772[*u];
		//To prevent overflow
		tmpr=tmpr>255?255:(tmpr<0?0:tmpr);
		tmpg=tmpg>255?255:(tmpg<0?0:tmpg);
		tmpb=tmpb>255?255:(tmpb<0?0:tmpb);
		*r=(unsigned char)tmpr;
		*g=(unsigned char)tmpg;
		*b=(unsigned char)tmpb;
		y ++;
		u ++;
		v ++;
		b += 3;
	}
}

4、实验结果及分析

(为了方便查找错误,找到一个既能播放RGB也能播放YUV的播放器,分享:http://wwww.236.6122.net/uploadFile/2013/vooya.rar)

结果1:YUV文件为灰色,无图像。像素点YUV(204,127,127)

         原因:在函数内,给rgb_buffer又开了一次空间。rgb_buffer本身已经指向出口rgb_out,已经指向了主函数中为目标开的空间rgb_Buf,所以在函数内没必要再开空间,加一条开空间的代码反而会导致计算得到的数值都给了后开的空间,从而无法写入真正的目标空间。由于目标空间是空的,写入文件时RGB的值都是默认值,转换回YUV后就是初始值(204,127,127)。

rgb_buffer = (unsigned char *)rgb_out;
	
//rgb_buffer = (unsigned char *)malloc(3 * size * sizeof(unsigned char));//已经指向函数出口,即一段空间,这里不用再开空间,反而造成无法将数据写出到指定空间
up_yuv_buf = (unsigned char *)malloc(2 * size * sizeof(unsigned char));

结果2:YUV文件为灰色,有模糊图像。以及修复后为紫色,检查rgb文件也为紫色,有模糊图像。

原因:当时在上采样时,给up_yuv_buf开了存放YUV三个分量的空间,并且将Y进行了搬移,搬移过程中指针的初始定位语句放在了循环内,导致每一行都是第一行的Y分量数值,所以只有第一行是正常的结果。将播放器放大两倍发现第一行是正确的,所以确定是指针的问题,检查代码果然是搬移时出错,修改后可以得到图像。而图像呈紫色是因为如下所示代码中,i没有减去128,而是在上面数组调用时写作: RGBYUV1402[*v-128];

本文福利, C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

注:这个数组的定义只从0-155,先减掉128必然会有数值小于0的问题出现,导致图像出错。正确做法应该在下面的函数中减去128。

void InitLookupTable()
{
	int i;
 
	for (i = 0; i < 256; i++) RGBYUV1402[i] = (float)(1.402 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV0344[i] = (float)(0.34414 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV0714[i] = (float)(0.71414 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV1772[i] = (float)(1.772 * (i-128));
	
}

结果三:rgb文件上有蓝色红色点,yuv文件上相反。

原因:上文提到的没有对计算得到的RGB数值进行判断,导致强制类型转换成unsigned char之后数据溢出了,从而导致图像上某些点变成红色和蓝色。

for (i = 0; i < y_dim; i++)
	{
		for(j=0;j255?255:(tmpr<0?0:tmpr);
			tmpg=tmpg>255?255:(tmpg<0?0:tmpg);
			tmpb=tmpb>255?255:(tmpb<0?0:tmpb);
			*r=(unsigned char)tmpr;
			*g=(unsigned char)tmpg;
			*b=(unsigned char)tmpb;
			y ++;
			u ++;
			v ++;
			b += 3;
		}
	}

结果四:

       另外附上三个其他yuv文件的转换结果:我们可以发现,YUV转RGB的过程中,颜色发生了十分明显的改变,蓝色系会偏红,红色系会偏蓝。这种变化在最后一幅图的红色袖子上体现的相当明显。

 

 本文福利, C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

有关YUV和RGB的相互转换实验的更多相关文章

  1. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,

  2. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  3. ruby - 将数组的内容转换为 int - 2

    我需要读入一个包含数字列表的文件。此代码读取文件并将其放入二维数组中。现在我需要获取数组中所有数字的平均值,但我需要将数组的内容更改为int。有什么想法可以将to_i方法放在哪里吗?ClassTerraindefinitializefile_name@input=IO.readlines(file_name)#readinfile@size=@input[0].to_i@land=[@size]x=1whilex 最佳答案 只需将数组映射为整数:@land边注如果你想得到一条线的平均值,你可以这样做:values=@input[x]

  4. ruby - 将散列转换为嵌套散列 - 2

    这道题是thisquestion的逆题.给定一个散列,每个键都有一个数组,例如{[:a,:b,:c]=>1,[:a,:b,:d]=>2,[:a,:e]=>3,[:f]=>4,}将其转换为嵌套哈希的最佳方法是什么{:a=>{:b=>{:c=>1,:d=>2},:e=>3,},:f=>4,} 最佳答案 这是一个迭代的解决方案,递归的解决方案留给读者作为练习:defconvert(h={})ret={}h.eachdo|k,v|node=retk[0..-2].each{|x|node[x]||={};node=node[x]}node[

  5. ruby-on-rails - Ruby url 到 html 链接转换 - 2

    我正在使用Rails构建一个简单的聊天应用程序。当用户输入url时,我希望将其输出为html链接(即“url”)。我想知道在Ruby中是否有任何库或众所周知的方法可以做到这一点。如果没有,我有一些不错的正则表达式示例代码可以使用... 最佳答案 查看auto_linkRails提供的辅助方法。这会将所有URL和电子邮件地址变成可点击的链接(htmlanchor标记)。这是文档中的代码示例。auto_link("Gotohttp://www.rubyonrails.organdsayhellotodavid@loudthinking.

  6. ruby-on-rails - 使用 ruby​​ 将多个实例变量转换为散列的更好方法? - 2

    我收到格式为的回复#我需要将其转换为哈希值(针对活跃商家)。目前我正在遍历变量并执行此操作:response.instance_variables.eachdo|r|my_hash.merge!(r.to_s.delete("@").intern=>response.instance_eval(r.to_s.delete("@")))end这有效,它将生成{:first="charlie",:last=>"kelly"},但它似乎有点hacky和不稳定。有更好的方法吗?编辑:我刚刚意识到我可以使用instance_variable_get作为该等式的第二部分,但这仍然是主要问题。

  7. ruby - Rails 3 的 RGB 颜色选择器 - 2

    状态:我正在构建一个应用程序,其中需要一个可供用户选择颜色的字段,该字段将包含RGB颜色代码字符串。我已经测试了一个看起来很漂亮但效果不佳的。它是“挑剔的颜色”,并托管在此存储库中:https://github.com/Astorsoft/picky-color.在这里我打开一个关于它的一些问题的问题。问题:请建议我在Rails3应用程序中使用一些颜色选择器。 最佳答案 也许页面上的列表jQueryUIDevelopment:ColorPicker为您提供开箱即用的产品。原因是jQuery现在包含在Rails3应用程序中,因此使用基

  8. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  9. ruby-on-rails - 将字符串转换为 ruby​​-on-rails 中的函数 - 2

    我需要一个通过输入字符串进行计算的方法,像这样function="(a/b)*100"a=25b=50function.something>>50有什么方法吗? 最佳答案 您可以使用instance_eval:function="(a/b)*100"a=25.0b=50instance_evalfunction#=>50.0请注意,使用eval本质上是不安全的,尤其是当您使用外部输入时,因为它可能包含注入(inject)的恶意代码。另请注意,a设置为25.0而不是25,因为如果它是整数a/b将导致0(整数)。

  10. ruby-on-rails - 将 ruby​​ 数组转换为整齐的列字符串? - 2

    我是ruby​​的新手,我正在尝试制作一个程序来自动格式化给定的字符串和数组。我试图弄清楚的一种自动格式化功能是一种用于数组的功能。假设我有一个如下例所示的数组myArray=["a","b","c"]我想把它变成一个列化的字符串,这样putsmyString就会给出`1)a``2)b``3)c`我该怎么做呢?我能找到的最接近的东西是使用.each这不是我想要的,我不能让每一行都有一个单独的条目。这一切都必须是一个带有换行符的字符串。任何帮助将不胜感激,提前致谢 最佳答案 您可以使用.map与.with_index:myArray=

随机推荐