草庐IT

Android怎么开发自己底层的NuPlayer音视频播放器框架

IT先森 2023-04-20 原文

    Android怎么开发自己底层的NuPlayer播放器框架


引言

  远离博客好久了,肯定不是卷款跑路了啊(其实我也想,但是就是没有款啊)!真实原因是因为一直在忙于新的一个领域那就是Android底层音视频播放器框架的搭建,此时此刻终于干的差不多了(虽然其中还是有许多的不足,和需要改进的,但是万事开头难吗,还是有一种小有成就的感觉!)。本篇博客不会大书特书音视频领域的相关知识,因为它太庞大了,那我写这篇博客的目的是什么呢,主要是总结概括一下如何搭建自己的Android底层音视频播放器框架的,我们还是来简单看下Android的音视频播放框架,其核心的框架图可以用如下的三张图来高度的概括:








上述三张图我认为是对Android音视频播放框架整理的最好的了,如果是我整理出来的就好了(它们来源于Android MultiMedia框架完全解析 - 概览),而我们这里所说的Android怎么开发自己底层的NuPlayer音视频播放器框架,就是开发一套自己的底层播放框架来替换上图中的NuPlayer。

这里读者朋友也许会问了,为啥好好的Android 自己的底层播放器框架NuPlayer不使用而是要自己开发一套呢,就我个人而言原因无外乎如下几点:

  • NuPlayer支持的视频封装和编码格式有限
  • NuPlayer的消息机制过于繁琐,封装嵌套的层数太多
  • 最最重要的一个吗,肯定是公司都愿意自己造轮子,至于为啥大伙懂得都懂!

重要的事情说三遍,说三遍,三遍:
1.如果对Android音视频领域不感兴趣,可以跳过此博客
2.如果是单纯Android应用层开发音视频播放器,可以跳过此博客
此博客主要是送给那些有开发Android底层音视频播放器框架的朋友,就是和Android音视频框架NuPlayer那一层的播放框架。因为这一块是各个soc厂的核心,所以这一块的资料特别少,刚开发的时候我么也迷茫过,彷徨过,心里想要是有这一块的资料多好啊,那怕是细枝末节也行啊,可是没有,所以我就将我们开发过程中涉及的难点问题,或者核心问题放出来希望能帮助到大伙。




一.Android底层音视频播放器选型

  也许朋友看到这个标题,心里会一阵突突,啥叫做选型,我们又不是搞硬件开发。我们知道开发任何一个模块或者相关功能都不可能一蹴而就,肯定有一个过程,而开发Android底层音视频播放器框架也是如此,能看到这里的读者肯定知道Android底层的音视频播放器框架核心是NuPlayer,而我们要做的一定是开发一套替换它,那么现在有没有比较好的Android底层音视频播放器开源框架呢,NuPlayer那一层肯定是没有的,但是Android应用层还是有很多的,譬如Ijkplayer、ExoPlayer、VLC等,关于它们之间的优劣可以参见博客 Ijkplayer、ExoPlayer、VLC播放器综合比较 ,虽然他们是属于Client端的,但是它们之间的设计思路还是值得我们进行相关学习的,我们只需要把应用层的开源播放框架移植到Android 底层来就可以了,这里我们最终选择了Ijkplayer作为参考模型来开发我们自己的底层的音视频播放器框架(至于怎么移植这个就是考验各位的功力了,而这也是我近期的工作重心了)。这里我为啥选择ijkplayer作为参考呢,当然是它有许多可取之处了,首先它的可扩展性强,源码相对简单,支持的视频封装和编解码格式比较多。这里我们简单看下ijkplayer的看框架图,如下:





二.具体开发中要攻克的核心问题

  通过上面的一番操作,我们自己的Android底层音视频播放器框架参考选型已经OK了,但是这还仅仅只是一个参考选型,那么要怎么对接到我们的Android系统中去呢。我这里总结了,有如下的几个必须攻克的点:

  1. 通过阅读源码我们知道Ijkplayer是一套C开发的播放器框架,但是我们的Android音视频底层框架是用C++来实现的,所以我们必须对Ijkplayer进行一套相关的C++封装,以供使用。
  2. ijkplayer的音频播放,在Android端是以JNI的形式调用Java层AudioTrack实现的,而我们的NuPlayer层级的音视频播放器框架是不能通过JNI形式调用Java层实现,所以我们必须使用Native层的AudioTrack去实现。
  3. ijkplayer的视频播放硬解码部分,在Android端是以JNI的形式调用Java层MediaCodec实现的,而我们的NuPlayer层级的音视频播放器框架是不能通过JNI形式调用Java层实现,所以我们必须使用Native层的MediaCodec去实现。
  4. >ijkplayer播放器的信息机制,必须对接好原来的NuPlayer播放器框架的信息机制

这里对于ijkplayer框架的学习,就是各位读者朋友的事情了,网上这方面相关的资料还是比较多的。总感觉没有把我想要表达的意思给说明白!这要要怎么说呢,主要就是给读者朋友对于开发自己底层的NuPlayer音视频播放器框架引路一下吗。

如果读者能攻克上述的相关难点,那么离开发自己底层的NuPlayer音视频播放器框架成功也就在咫尺之遥了,因为我也是重点攻克了上述几个点之后才小有成功的。朋友加油!最终我放上我开发的底层的XXXPlayer音视频播放器框架,如下:

如下几张图是团队兄弟整理输出的,这里我借鉴一下,确实比我的原图要好,必须拿来用用!soul!





写在最后

  好了,打卡收工下班。今天的博客Android怎么开发自己底层的NuPlayer音视频播放器框架就到这里了。总之,青山不改绿水长流先到这里了。如果本博客感兴趣,可以私信给我,因为我们这套框架是准备进行开源的,如果觉得很烂也可以踩一脚!谢谢各位了!!最后如果有读者是采用了这个框架的话,可以@我进行相关讨论的,我会很高兴一起进行探讨的。

有关Android怎么开发自己底层的NuPlayer音视频播放器框架的更多相关文章

  1. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  2. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  3. ruby - 是否可以覆盖 gemfile 进行本地开发? - 2

    我们的git存储库中目前有一个Gemfile。但是,有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它,我必须将它添加到我们的Gemfile中,但每次我checkout到我们的master/dev主分支时,由于与跟踪的gemfile冲突,我必须删除它。我想要的是类似Gemfile.local的东西,它将继承从Gemfile导入的gems,但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗? 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  4. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  5. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  6. ruby - Ruby 中的隐式返回值是怎么回事? - 2

    所以我开始关注ruby​​,很多东西看起来不错,但我对隐式return语句很反感。我理解默认情况下让所有内容返回self或nil但不是语句的最后一个值。对我来说,它看起来非常脆弱(尤其是)如果你正在使用一个不打算返回某些东西的方法(尤其是一个改变状态/破坏性方法的函数!),其他人可能最终依赖于一个返回对方法的目的并不重要,并且有很大的改变机会。隐式返回有什么意义?有没有办法让事情变得更简单?总是有返回以防止隐含返回被认为是好的做法吗?我是不是太担心这个了?附言当人们想要从方法中返回特定的东西时,他们是否经常使用隐式返回,这不是让你组中的其他人更容易破坏彼此的代码吗?当然,记录一切并给出

  7. ruby - 怎么来的(a_method || :other) returns :other only when assigning to a var called a_method? - 2

    给定以下方法:defsome_method:valueend以下语句按我的预期工作:some_method||:other#=>:valuex=some_method||:other#=>:value但是下面语句的行为让我感到困惑:some_method=some_method||:other#=>:other它按预期创建了一个名为some_method的局部变量,随后对some_method的调用返回该局部变量的值。但为什么它分配:other而不是:value呢?我知道这可能不是一件明智的事情,并且可以看出它可能有多么模棱两可,但我认为应该在考虑作业之前评估作业的右侧...我已经在R

  8. ruby-on-rails - 我该怎么办 :remote location validation with CarrierWave? - 2

    我在我的Rails3示例应用程序上使用CarrierWave。我想验证远程位置上传,因此当用户提交无效URL(空白或非图像)时,我不会收到标准错误异常:CarrierWave::DownloadErrorinImageController#createtryingtodownloadafilewhichisnotservedoverHTTP这是我的模型:classPaintingtrue,:length=>{:minimum=>5,:maximum=>100}validates:image,:presence=>trueend这是我的Controller:classPaintingsC

  9. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  10. 电脑0x0000001A蓝屏错误怎么U盘重装系统教学 - 2

      电脑0x0000001A蓝屏错误怎么U盘重装系统教学分享。有用户电脑开机之后遇到了系统蓝屏的情况。系统蓝屏问题很多时候都是系统bug,只有通过重装系统来进行解决。那么蓝屏问题如何通过U盘重装新系统来解决呢?来看看以下的详细操作方法教学吧。  准备工作:  1、U盘一个(尽量使用8G以上的U盘)。  2、一台正常联网可使用的电脑。  3、ghost或ISO系统镜像文件(Win10系统下载_Win10专业版_windows10正式版下载-系统之家)。  4、在本页面下载U盘启动盘制作工具:系统之家U盘启动工具。  U盘启动盘制作步骤:  注意:制作期间,U盘会被格式化,因此U盘中的重要文件请注

随机推荐