草庐IT

android - 如何直接从 Android Surface 访问 EGL 图像以用于 MediaCodec 视频解码器？

coder 2023-11-22 原文

我目前正在编写一个 Android 应用程序，我需要在其中缓存视频帧，以便我可以轻松地来回切换，几乎没有延迟。

现在我让 android 解码视频帧，方法是为 MediaCodec 对象的 Configure 调用提供 Surface，并调用 releaseOutputBuffer 并将渲染标志设置为 真。

我发现访问解码表面数据的唯一方法(除了解码返回的字节缓冲区，其格式似乎与设备相关)是调用 SurfaceTexture 上的 updateTeximage链接到 Surface，将其附加到 GL_TEXTURE_EXTERNAL_OES 目标并将其渲染到我自己创建的 GL_TEXTURE2D 目标纹理以缓存它。

我想优化这个缓存过程，并能够在不同的线程上解码帧。使用我当前的方法，这意味着我必须为视频解码器创建另一个 EGL 上下文，共享上下文等...

我的问题是:是否可以在不调用的情况下访问与 Surface 关联的 EGL 图像或 native 缓冲区数据 updateTexImage？

这样我就可以缓存 egl 图像(根据 EGL_ANDROID_image_native_buffer，它不需要 EGL 上下文)。这也将以 YUV 格式缓存，这比我现在缓存的原始 RGB 纹理的存储效率高得多。

最佳答案

简短的回答:没有。

更长的答案:Surface 封装了一个 queue of buffers . (编辑:系统现在有一些详细说明 here。)当您调用 updateTexImage() 时，如果有新的数据帧可用，位于head 被丢弃，队列中的下一个成为当前。调用 updateTexImage() 是查看连续帧所必需的；没有检查不在头部的缓冲区的机制。

SurfaceTexture 包装了一个 GLConsumer 的实例.该消费者要求生产者(视频解码器)以可用作“硬件纹理”的格式生成数据，即设备的 GL 实现可以理解的格式。它可能是也可能不是 YUV。更重要的是，消费者不要求缓冲区对“软件”可用，这意味着您不能假设您可以直接访问数据——您需要使用 GLES。 (有关标志的完整列表，请参阅 gralloc header。)

这里的好处是能够将缓冲区从 BufferQueue 的头部复制到一个单独的数据结构(BufferArrayList？)而不进行格式转换，但目前还没有这样的机制(Android 4.3)。我不知道还有比您描述的更好的方法(共享 EGL 上下文等)。

更新:我的同事有一个建议:使用着色器将缓冲区渲染成两种纹理，一种用于 Y 和 CbCr(在 GLES 3 中，您可以使用 RG 纹理)。这样可以在 GLES 中保留所有操作，而不会扩展到完整的 RGB。在内部，它会将 MediaCodec 输出转换为 RGB 并对其进行两次研磨，但这可能比将其复制到用户空间并在 CPU 上自行完成要便宜。

关于android - 如何直接从 Android Surface 访问 EGL 图像以用于 MediaCodec 视频解码器？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18768651/

MediaCodecandroidcodesectionstrongcachingvideoeglandroid-mediacodec

有关android - 如何直接从 Android Surface 访问 EGL 图像以用于 MediaCodec 视频解码器？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  5. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  6. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  7. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  10. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

随机推荐