草庐IT

ios - GPUImage : YUV or RGBA impact on performance?

coder 2024-01-15 原文

我正在处理一些静态图像处理，GPUImage 是一个非常棒的框架(谢谢 Brad Larson!)。

我的理解是:

  • 一些过滤器只需要一个组件就可以完成。在这种情况下，图像应该是 YUV (YCbCr)，我们只使用 Y(亮度 = 图像灰度)。
  • 其他过滤器需要来自 3 个分量(R、G 和 B)的所有颜色信息。
  • 提供 YUV -> RGB 转换(在 GPUVideoCamera 中)，RGB -> YUV 可以硬编码到片段着色器中(例如:GPUImageChromaKeyFilter)

我有很多图像处理步骤，有些可以基于 YUV，有些可以基于 RGB。 基本上，我想混合 RGB 和 YUV 滤镜，所以我的一般问题是:

这种连续转换的成本/信息损失是多少，您会推荐任何设计吗？

谢谢!

(PS:iPhone4 YUV->RGB 转换和AVCaptureStillImageOutput 像素格式有什么问题？)

最佳答案

在 GPUImage 中使用 YUV 是一个相当新的添加，我仍在试验中。我想引入 YUV 来尝试提高过滤器性能、减少内存使用并可能提高颜色保真度。到目前为止，我的修改只实现了这三个中的一个。

如您所见，我从相机中提取 YUV 帧，然后决定在过滤器管道的后续阶段如何处理它们。如果相机输入目标的所有过滤器只需要单色输入，则相机输入将只发送未处理的 Y channel 纹理到管道。如果任何滤镜需要 RGB 输入，相机输入将执行基于着色器的 YUV->RGB 转换。

对于采用单色的过滤器，这可以通过消除 RGB 转换阶段(由 AV Foundation 在请求 BGRA 数据时或在我的转换着色器中完成)以及冗余转换来显着提高性能RGB 回到亮度。在 iPhone 4 上，在 720p 帧上运行的 Sobel 边缘检测过滤器的性能从使用 RGB 输入的每帧 36.0 ms 到使用直接 Y channel 的 15.1 ms。这也避免了由于将 YUV 转换为 RGB 并返回亮度的舍入而导致的轻微信息丢失。 8 位颜色 channel 只有这么多的动态范围。

即使在使用 RGB 输入时，这种转换从 AV Foundation 移出并进入我的着色器也会带来性能上的提升。在 iPhone 4S 上，使用我的转换着色器而不是 AV Foundation 的内置 BGRA 输出，针对 1080p 输入运行饱和过滤器从每帧 2.2 毫秒下降到每帧 1.5 毫秒。

两种 RGB 方法的内存消耗几乎相同，因此我正在尝试一种改进方法。对于单色输入，由于输入的纹理尺寸较小，内存使用量会显着下降。

实现全 YUV 管道更具挑战性，因为您需要为 Y 和 UV 平面维护并行渲染路径和着色器，并为两者提供单独的输入和输出纹理。从 RGB 中提取平面 YUV 很棘手，因为您需要以某种方式从一个输入中提取两个输出，而这在 OpenGL ES 中是不支持的。您需要执行两次渲染过程，这是相当浪费的。交错 YUV444 作为多级管道的颜色格式可能更实用，但我还没有尝试过这个。

同样，我才刚刚开始修补它。

关于ios - GPUImage : YUV or RGBA impact on performance?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15004621/

performanceGPUImageYUVsectionRGBiosimage-processing

有关ios - GPUImage : YUV or RGBA impact on performance?的更多相关文章

  1. ruby - 如何验证 IO.copy_stream 是否成功 - 2

    这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同，而不是下载一半的损坏文件？documentation说IO.copy_stream返回它复制的字节数，但是当我还没有下

  2. Ruby 文件 IO 定界符？ - 2

    我正在尝试解析一个文本文件，该文件每行包含可变数量的单词和数字，如下所示:foo4.500bar3.001.33foobar如何读取由空格而不是换行符分隔的文件？有什么方法可以设置File("file.txt").foreach方法以使用空格而不是换行符作为分隔符？ 最佳答案 接受的答案将slurp文件，这可能是大文本文件的问题。更好的解决方案是IO.foreach.它是惯用的，将按字符流式传输文件:File.foreach(filename,""){|string|putsstring}包含“thisisanexample”结果的

  3. Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting - 2

    1.错误信息：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因：docker使用的镜像网址默认为国外，下载容易超时，需要修改成国内镜像地址（首先阿里

  4. ruby - 为什么不能使用类IO的实例方法noecho？ - 2

    print"Enteryourpassword:"pass=STDIN.noecho(&:gets)puts"Yourpasswordis#{pass}!"输出:Enteryourpassword:input.rb:2:in`':undefinedmethod`noecho'for#>(NoMethodError) 最佳答案 一开始require'io/console'后来的Ruby1.9.3 关于ruby-为什么不能使用类IO的实例方法noecho？，我们在StackOverflow上

  5. ruby - 为 IO::popen 拯救 "command not found" - 2

    当我将IO::popen与不存在的命令一起使用时，我在屏幕上打印了一条错误消息:irb>IO.popen"fakefake"#=>#irb>(irb):1:commandnotfound:fakefake有什么方法可以捕获此错误，以便我可以在脚本中进行检查？ 最佳答案 是:升级到ruby​​1.9。如果您在1.9中运行它，则会引发Errno::ENOENT，您将能够拯救它。(编辑)这是在1.8中的一种hackish方式:error=IO.pipe$stderr.reopenerror[1]pipe=IO.popen'qwe'#

  6. ruby - IO::EAGAINWaitReadable:资源暂时不可用 - 读取会阻塞 - 2

    当我尝试使用“套接字”库中的方法“read_nonblock”时出现以下错误IO::EAGAINWaitReadable:Resourcetemporarilyunavailable-readwouldblock但是当我通过终端上的IRB尝试时它工作正常如何让它读取缓冲区？ 最佳答案 IgetthefollowingerrorwhenItrytousethemethod"read_nonblock"fromthe"socket"library当缓冲区中的数据未准备好时，这是预期的行为。由于异常IO::EAGAINWaitReadab

  7. ruby - 如何使用 ruby​​ fibers 避免阻塞 IO - 2

    我需要将目录中的一堆文件上传到S3。由于上传所需的90%以上的时间都花在了等待http请求完成上，所以我想以某种方式同时执行其中的几个。Fibers能帮我解决这个问题吗？它们被描述为解决此类问题的一种方法，但我想不出在http调用阻塞时我可以做任何工作的任何方法。有什么方法可以在没有线程的情况下解决这个问题？ 最佳答案 我没有使用1.9中的纤程，但是1.8.6中的常规线程可以解决这个问题。尝试使用队列http://ruby-doc.org/stdlib/libdoc/thread/rdoc/classes/Queue.html查看文

  8. ruby - 如何从 ruby​​ 中的 IO 对象获取文件名 - 2

    在ruby中...我有一个由外部进程创建的IO对象，我需要从中获取文件名。然而我似乎只能得到文件描述符(3)，这对我来说不是很有用。有没有办法从此对象获取文件名甚至获取文件对象？我正在从通知程序中获取IO对象。所以这也可能是获取文件路径的一种方式？ 最佳答案 关于howtogetathefilenameinC也有类似的问题,我将在这里以ruby​​的方式给出这个问题的答案。在Linux中获取文件名假设io是您的IO对象。以下代码为您提供了文件名。File.readlink("/proc/self/fd/#{io.fileno}")例

  9. iOS快捷指令：执行Python脚本（利用iSH Shell） - 2

    文章目录前言核心逻辑配置iSH安装Python创建Python脚本配置启动文件测试效果快捷指令前言iOS快捷指令所能做的操作极为有限。假如快捷指令能运行Python程序，那么可操作空间就瞬间变大了。iSH是一款免费的iOS软件，它模拟了一个类似Linux的命令行解释器。我们将在iSH中运行Python程序，然后在快捷指令中获取Python程序的输出。核心逻辑我们用一个“获取当前日期”的Python程序作为演示（其实快捷指令中本身存在“获取当前日期”的操作，因而此需求可以不用Python，这里仅仅为了演示方便），核心代码如下。>>>importtime>>>time.strftime('%Y-%

  10. iOS适配Unity-2019 - 2

    iOS适配Unity-2019背景由于2019起，Unity的Xcode工程，更改了项目结构。Unity2018的结构：可以看Targets只有一个Unity-iPhone，Unity-iPhone直接依赖管理三方库。Unity2019以后：Targets多了一个UnityFramework，UnityFramework管理三方库，Unity-iPhone依赖于UnityFramwork。所以升级后，会有若干的问题，以下是对问题的解决方式。问题一错误描述error:exportArchive:Missingsigningidentifierat"/var/folders/fr//T/Xcode

随机推荐