草庐IT

使用 NDK、OpenGL ES 和 FFmpeg 的 Android 视频播放器

codeneng 2023-03-28 原文

Android Video Player Using NDK, OpenGL ES, and FFmpeg

好的，这就是我目前所拥有的。我已经在 android 上构建了 FFmpeg，并且能够很好地使用它。从 java 端传递选择的文件名后，我已经能够将视频加载到 FFmpeg 中。为了节省性能，我在 NDK 中编写视频播放器，而不是通过 JNI 将帧从 FFmpeg 传递到 java。我想将视频中的帧发送到 OpenGL 表面。我无法弄清楚如何获取每一帧视频并将其渲染到 OpenGL 表面上。几个星期以来，我一直在试图解决这个问题，但没有运气。希望有人能指出我正确的方向。

谢谢！

  • 嗨 Kieran，我正在尝试使用 FFmpeg 和 android ndk 转换格式并播放音频或视频。我在网上找不到任何资源或指导。经过长时间的搜索，我找到了这个链接 github.com/havlenapetr/FFMpeg。但我无法编译和运行这个例子。请帮助我或给我参考链接 - 我如何在 android 中使用 FFmpeg 文件播放音频/视频....谢谢
  • Praveenb，我很难让 FFmpeg 最终在 Android 上编译和使用。我不得不玩弄一下配置脚本。我也没有使用最新版本的 FFmpeg。我下载了一个稍旧的版本，它仍然使用 sws_scale 函数来让它工作。我可以尽我所能帮助你让它工作，让我知道你现在在哪里，你遇到了什么类型的错误。构建静态库应该不难。
  • 嗨，我正在努力为 Android 构建 FFmpeg。您能告诉我您是如何设法为 Android 构建静态库的吗？是否有任何 git-repository 或类似的东西可以开始？那个配置脚本怎么样 - 有什么要设置的？

想到的一种方法是将帧的像素绘制到纹理中，然后使用 OpenGL 渲染该纹理。

不久前我写了一篇关于如何解决此问题的博文，主要针对基于像素的老式视频游戏，但它也适用于您的情况。帖子是 C 中的 Android Native Coding，我用一个例子建立了一个 github 存储库。使用这种技术，我已经能够获得 60 FPS，即使在第一代硬件上也是如此。

针对此方法编辑 glTexImage2D 与 glTexSubImage2D。

调用 glTexImage2D 将为您的纹理分配视频内存并将您传递给它的像素复制到该内存中(如果您不传递 NULL)。调用 glTexSubImage2D 将更新您在已分配纹理中指定的像素。

如果您更新所有纹理，那么调用其中一个或另一个几乎没有区别，实际上 glTexImage2D 通常更快。但是如果你只更新纹理的一部分，glTexSubImage2D 会在速度上胜出。

您必须使用 2 的幂次方纹理尺寸，因此在高分辨率设备上覆盖屏幕需要 1024x512 纹理，在中等分辨率下需要 512x512 纹理。纹理大于屏幕区域(高分辨率为 800x400-ish)，这意味着您只需要更新它的一部分，因此 glTexSubImage2D 是要走的路。

  • 感谢您的答复！你知道这很有趣，我不久前浏览了你的博客，我用它作为我的应用程序的基础哈哈。直到现在我才再次找到它，所以谢谢你让我知道！现在我终于在屏幕上出现了一些东西，但像素似乎完全搞砸了。我不确定我是否正确创建了我的矩形纹理，或者在 FFmpeg 中转换为正确的 RGB 像素格式是否存在问题。我希望有更多的 OpenGL ES 文档，因为在 OpenGL 中使用四边形很容易做到这一点。有小费吗？
  • 您可以使用带有纹理的四边形。只需使用 glOrthof 并设置您的顶点和纹理坐标，就像在常规 OpenGL 中一样。混乱的像素是一个模糊的描述：它们是完全无法辨认的吗？太绿还是太红？也许他们被剪到左边？我的建议：使用与 GLES 重叠的 OpenGL 子集让代码在 PC 上运行，然后将完全相同的代码编译到 Android。它是我通常做的。
  • 好的，谢谢你的信息。抱歉，我所说的混乱像素的意思是，它们是无法辨认的。在 FFmpeg 中，您必须使用函数 sws_scale 将像素格式转换为 RGG，但至于 OpenGL 方面，我仍在学习如何使用它，我不太确定我是否转换为正确的像素格式，或者我是否设置了我的矩形顶点和纹理坐标正确。另外，由于我正在遍历每一帧，因此应该使用 glTexSubImage2d() 或继续使用 glTexImage2d() 用新帧中的新纹理数据替换当前纹理？
  • @Kieran：我添加了关于 tex 与 texsub 的注释。
  • 感谢richq，所有这些信息真的很有帮助。我一定会发回我最终做的事情，以防其他人需要一些帮助。
  • 我终于使用 FFmpeg 和 OpenGL ES 让视频帧显示在屏幕上......如果有人对我如何让它工作感兴趣，请告诉我，我会尽力提供帮助。它最终成为使用来自 FFmpeg 的正确像素格式转换并将其映射到 OpenGL 中正确的像素格式以及使用正确的纹理坐标的问题。但有一件事是，与 .mp4 解码相比，手机上的 .3gp 解码速度非常慢。在我原来的机器人上，我最多只能获得 ~11fps。虽然 droid x 产生了约 22fps 的结果……但仍在努力改进它。
  • @Kieran 很高兴看到你走得更远。我在我的博客文章中有一条评论说纹理缓冲区方法本身在某些手机(例如 Nexus One)上可能会很慢，可能也需要检查一下。
  • @Android007：我尝试使用本机 android 位图 api，它产生了相同的 fps，但我没有遇到任何黑帧问题......你确定你的循环通过数据包运行是绝对正确的吗？可能是您以某种方式尝试显示不应该使用的数据包部分？屏幕上显示的帧看起来是否正确，显示的帧之间的视频似乎有任何跳跃？请发回您想出的任何结果！
  • 我对崩溃的猜测很可能是您没有在本机端释放内存。请务必仔细查看循环中分配的所有内容，然后使用 FFmpegs av_free 函数释放该内存......堆栈跟踪是否提供有关崩溃来自哪一侧的任何见解？
  • @Kieran Id 对这个主题非常感兴趣，尤其是关于像素转换和 OpenGL 输出。您是否打算在某处发布一些源代码？我非常感谢，因为我无法理解所有细节——我只是习惯了一些 Android 编程，还没有接触过 ffmpeg 或 OpenGL。
  • @slhck 当然我可以发布一些示例。只要让我知道您需要什么帮助，我会尽力而为。一旦你弄清楚了这一切真的很简单，一开始很难让它全部工作。
  • @Kieran 那太棒了。我下周左右开始实施，也许我们可以私下谈一谈？
  • @Kieran 你真是太好了。我还是得看看我们是否真的需要那个功能，否则会浪费资源:)
  • 大家好！我问了一个关于 OpenGL 还是原生位图 API(或其他东西)是否最适合视频的问题。到目前为止，我有两个相当矛盾的答案。这就是为什么打开 100 点赏金，在 12 小时内关闭。你能看看吗？这是：stackoverflow.com/questions/5666513/
  • @Kieran 这正是我要问的问题！如我所见，您设法使其完全正常工作？你能提供一些例子吗？我给你发了邮件！希望它仍然是相同的地址:)
  • 嗨 DiscGolfer，您能否提供一些示例源代码，用于在 OPENGLES 上使用 FFMPEG 渲染视频帧 ....
  • 听起来很奇怪 glTexImage 比 glTexSubImage 快

AndroidFFmpegsectionliOpenGLandroidandroid-ndkandroid-video-playerffmpegopengl-es

有关使用 NDK、OpenGL ES 和 FFmpeg 的 Android 视频播放器的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐