草庐IT

RAW、RGB和YUV格式

菜鸡UP 2023-09-27 原文

RAW 

       RAW数据是图像感应器(CMOS or CCD)将捕捉到的光源信号转化为数字信号之后的原始数据,它含有图像原始的颜色信息等等。

  • Bayer      

       RAW 数据格式一般采用的是 Bayer 排列方式,sensor上每个像素只采集特定颜色的光的强度,所以sensor的每个像素只能记录R或G或B的信息,所以RAW数据里表示了sensor接受到的各种光的强度。鉴于人眼对绿色波段的色彩比较敏感,所以绿色分量的比重最大,Bayer 中R\G\B分量的成分为

       一般BAYER格式分为GBRG、GRBG、BGGR、RGGB四种模式。因为采用Bayer排列方式的这种RAW图,看起来像打了马赛克一样,所以也经常称其为马赛克(mosaic)图像。比如,RGGB的排列方式如下图。

               

  • 4cell

       RAW数据也可以用4 cell结构来表达,但其实4 cell仍然是采用的Bayer结构,只是4 cell对具体像素的排列做了调整,如下图所示,它使用4个颜色相同的像素合成一个像素,其整体上仍然是符合Bayer结构的,4 cell也叫Quad-Bayer

       有了Bayer格式的图之后,为什么还会出现4 cell呢? 是因为高像素可以带来高分辨率的画质,大像素能够带来暗态高感度低噪声的画质,但是在模组尺寸一定的基础上,高像素和大像素之间会是互相矛盾的,在这样一个背景下,4 cell就出现了,4 cell的出现就兼顾了高像素和大像素这两者的优点

      1. 正常环境拍摄

       在正常拍照的情况下,由于光线充足,此时采用高分辨率输出即可,4 cell结构经过Remosaic算法转换,将这些颜色重新进行排列组合了之后,就变成了前面所说的Bayer结构,图像大小就是实际大小(full size),这样就实现了高像素的拍摄。Remosaic可以分为硬件和软件两类,硬件模式可以通过sensor实时输出Bayer模式的图像,软件模式则需要通过调用专用的库对图像进行调整。

     2. 暗环镜拍摄

       在暗环镜下,把4个相同颜色的小像素作为一个整体来看的话,这个像素会有更大的感光面积,随之会带来更好的感光效果,如下图所示,可以看到,4个小像素合成一个大像素之后会变成经典的拜耳阵列结构。由于每4个像素被合并成1个像素,此时图像的size缩小为原来的1/4。


RGB

       根据三基色原理,自然界中的任何一种颜色都可由不同比例的红色、绿色和蓝色组合得到。根据这种原理来表示彩色图像的方法就是RGB彩色空间,即彩色图像的每个pixel都是由一组(R,G,B)数值来表示的,这三个分量别取不同的值,就会呈现出不同的颜色。

        所以RGB图像和前面的Bayer排列方式的RAW图不同,后者的每个pixel只含有某单种颜色的强度,而RGB图一个Pixel包含了3三种颜色的强度。 在camera当中,很多Sensor出来的是采用Bayer排列方式的RAW图,而有些ISP 模块或者算法需要处理的是RGB的图,这时就需要将Bayer排列方式的图转换成RGB了。

  Demosaic  

        前面提过Bayer排列方式的图,看起来就像是mosaic一样,而Demosaic的目的,就是在Bayer数据基础上,恢复出每个pixel完整的RGB数据,得到RGB的图。

    那么具体怎么做Demosaic呢?简单来说,就是通过插值算法,把拜耳阵列中的GRRB分别插值为4个RGB,从而得到一幅看起来正常的图像。

常见的RGB格式

  • RGB565 :占2个字节,分别是R-5bit,G-6bit,B-5bit

  • RGB555 :每个pixel占2个字节,分别是R-5bit,G-5bit,B-5bit,即RGB分量都使用5位(最高位不用)

  • RGB888 :每个pixel占3个字节,分别是R-8bit,G-8bit,B-8bit ,其实这就是RGB24


YUV

        YUV也是一种颜色表示模型,它将图像亮度分量和色度分量分开来表示。YUV分为三个分量,Y表示亮度(Luminance或Luma),也就是灰度值;U和V 则表示的是色度(Chrominance或Chroma),它描述了图像的色调以及饱和度,用于指定像素的颜色。YUV这样表达方式很好地解决了彩色电视机与黑白电视的兼容问题,因为如果只有Y分量,没有UV分量一样可以显示完整的图像,只不过图像是黑白的,再加上UV就是彩色图像了。

      YUV通常用于电视机模拟信号的色彩,而YCbCr 是一种用数字信号的色彩表达方法,它是世界数字组织视频标准研制过程中作为ITU-R BT1601 建议的一部分,  其实是YUV经过缩放和偏移的翻版,也是来源于YUV模型,Y和YUV的Y含义一样,都是指亮度分量,Cb指蓝色色度分量,而Cr指红色色度分量,YCbCr 应用在数字视频方面,视频编码中常提到的YUV444、YUV420都是基于YCbCr颜色空间的下采样方式。现在,一般人们所讲的YUV大多就是指YCbCr,每一个Pixel由一组(Y,U,V)数值来表示。

       另外,通常人眼对亮度会比色彩更加敏感,所以YUV在压缩时,可以适当地多压缩一些U\V分量,从这一点来说,在保证图像质量降低不明显的前提下,YUV相对RGB更适合存储和传输。

    常见的YUV格式

     YUV的三个分量在存储的时候,通常以它们形成的平面(plane)来区分

  • NV21

       NV21是一种2 plane的YUV格式,分为Y plane和UV plane,其中4个Y分量对应到同一组UV分量,如下图所示。所以可见对于一幅大小的NV21 format图像,会占据个字节大小的空间。

  • NV12

       NV12和NV21相比,差别只在于UVpalne里,两者UV的交替顺序是反的,NV12是VU交替。其余的和NV21是一样的,也是4个Y分量对应同一组UV分量;大小的图像,占据个字节大小的空间。

  • YV12

       YV12是3 plane的YUV格式,Y\U\V各自一个plane,如下图所示所以对于一幅大小的YV12 format图像,也是占据个字节大小的空间。

RGB与YUV之间的转换

          在图像处理过程中,经常会遇到YCbCr与RGB之间的转换,RGB转换成YCbCr的转换公式可以简单表达如下:

   

        同样,YCbCr转换成RGB,也可以通过一个转换矩阵来转换。

       这个公式里面所使用的转换矩阵,不同的ColorSpace是不相同的,目前比较常见的colorSpace有BT601、BT709和BT2020,它们对应的矩阵是长什么样子的,这个网上也有很多的介绍,比如:MATLAB:RGB转BT601、BT709协议中各种YUV格式的转换函数_llljjlj的博客-CSDN博客

       有时,YCbCr转换RGB,和RGB转换YCbCr之间的转换矩阵由于没有成对的匹配上,导致了效果异常,所以要注意相互转换时所使用的矩阵要匹配。

有关RAW、RGB和YUV格式的更多相关文章

  1. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  2. ruby-on-rails - 将 Ruby 中的日期/时间格式化为 YYYY-MM-DD HH :MM:SS - 2

    这个问题在这里已经有了答案:Railsformattingdate(4个答案)关闭4年前。我想格式化Time.Now函数以显示YYYY-MM-DDHH:MM:SS而不是:“2018-03-0909:47:19+0000”该函数需要放在时间中.现在功能。require‘roo’require‘roo-xls’require‘byebug’file_name=ARGV.first||“Template.xlsx”excel_file=Roo::Spreadsheet.open(“./#{file_name}“,extension::xlsx)xml=Nokogiri::XML::Build

  3. ruby - 我可以将我的 README.textile 以正确的格式放入我的 RDoc 中吗? - 2

    我喜欢使用Textile或Markdown为我的项目编写自述文件,但是当我生成RDoc时,自述文件被解释为RDoc并且看起来非常糟糕。有没有办法让RDoc通过RedCloth或BlueCloth而不是它自己的格式化程序运行文件?它可以配置为自动检测文件后缀的格式吗?(例如README.textile通过RedCloth运行,但README.mdown通过BlueCloth运行) 最佳答案 使用YARD直接代替RDoc将允许您包含Textile或Markdown文件,只要它们的文件后缀是合理的。我经常使用类似于以下Rake任务的东西:

  4. ruby - 是否有用于序列化和反序列化各种格式的对象层次结构的模式? - 2

    给定一个复杂的对象层次结构,幸运的是它不包含循环引用,我如何实现支持各种格式的序列化?我不是来讨论实际实现的。相反,我正在寻找可能会派上用场的设计模式提示。更准确地说:我正在使用Ruby,我想解析XML和JSON数据以构建复杂的对象层次结构。此外,应该可以将该层次结构序列化为JSON、XML和可能的HTML。我可以为此使用Builder模式吗?在任何提到的情况下,我都有某种结构化数据-无论是在内存中还是文本中-我想用它来构建其他东西。我认为将序列化逻辑与实际业务逻辑分开会很好,这样我以后就可以轻松支持多种XML格式。 最佳答案 我最

  5. ruby - Rails 3 的 RGB 颜色选择器 - 2

    状态:我正在构建一个应用程序,其中需要一个可供用户选择颜色的字段,该字段将包含RGB颜色代码字符串。我已经测试了一个看起来很漂亮但效果不佳的。它是“挑剔的颜色”,并托管在此存储库中:https://github.com/Astorsoft/picky-color.在这里我打开一个关于它的一些问题的问题。问题:请建议我在Rails3应用程序中使用一些颜色选择器。 最佳答案 也许页面上的列表jQueryUIDevelopment:ColorPicker为您提供开箱即用的产品。原因是jQuery现在包含在Rails3应用程序中,因此使用基

  6. ruby-on-rails - 事件管理员日期过滤器日期格式自定义 - 2

    是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式? 最佳答案 您可以像这样为日期选择器提供额外的选项,而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义,我们在StackOverflow上找到一个类似的问题: https://s

  7. ruby-on-rails - 如何在 Rails 中设置路由的默认格式? - 2

    路由有如下代码:resources:orders,only:[:create],defaults:{format:'json'}resources:users,only:[:create,:update],defaults:{format:'json'}resources:delivery_types,only:[:index],defaults:{format:'json'}resources:time_corrections,only:[:index],defaults:{format:'json'}是否可以使用1个字符串为所有资源设置默认格式,每行不带“默认值”散列?谢谢。

  8. ruby-on-rails - Rails 4 WYSIWYG Bootsy 不显示格式 - 2

    我刚刚按照thebootsygempage上的安装说明进行操作在我保存并查看帖子内容之前,一切看起来都不错。这是输出在View中的样子:HeaderSubhead:似乎没有呈现任何html格式,因为它被引号或类似的东西转义了-其他人有这个问题吗?我没有在github页面或SO上看到任何问题来指出我正确的方向。除了遵循gem安装说明之外,我还没有做任何事情,但也许我错过了什么或者只是犯了一个愚蠢的错误。如果你还有什么想知道的,请尽管问。干杯 最佳答案 你需要有这样的东西,转义html: 关

  9. ruby - 在 Ruby 中将整数格式化为固定长度的字符串 - 2

    有没有一种简单的方法可以将给定的整数格式化为具有固定长度和前导零的字符串?#convertnumberstostringsoffixedlength3[1,12,123,1234].map{|e|???}=>["001","012","123","234"]我找到了解决方案,但也许还有更聪明的方法。format('%03d',e)[-3..-1] 最佳答案 如何使用%1000而不是进行字符串操作来获取最后三位数字?[1,12,123,1234].map{|e|format('%03d',e%1000)}更新:根据theTinMan的

  10. ruby-on-rails - 如何正确格式化字符串,如 'mccdougal' 到 'McDougal' - 2

    什么Ruby或RailsDSL会将字符串"mccdougal"格式化为"McDougal",同时留下字符串"McDougal"原样?将titleize传递给"McDougal"结果如下:"McDougal".titleize#=>"McDougal" 最佳答案 据我所知,没有可以处理这种情况的Rails助手。这是一个非标准的边缘案例,需要特殊处理。但是,您可以创建自定义字符串变形。您可以将这段代码放入初始化程序中:ActiveSupport::Inflector.inflections(:en)do|inflect|inflect.

随机推荐