Android音频开发（5）：音频数据的编解码

Jhuster 2023-03-28 原文

前面四篇文章分别介绍了音频开发必备的基础知识、如何采集一帧音频、如何播放一帧音频、如何存储和解析wav格式的文件，建议有兴趣的小伙伴们先读一读，本文则重点关注如何对一帧音频数据进行编码和解码。

1. Android 官方的 MediaCodec API

首先，我们了解一下 Android 官方提供的音频编解码的 API，即 MediaCodec 类，该 API 是在 Andorid 4.1 （API 16）版本引入的，因此只能工作于 Android 4.1 以上的手机上。

1.1 MediaCodec 基本介绍

（1）提供了一套访问 Android 底层多媒体模块的接口，主要是音视频的编解码接口

（2）Android 底层多媒体模块采用的是 OpenMax 框架，任何 Android 底层编解码模块的实现，都必须遵循 OpenMax 标准。Google 官方默认提供了一系列的软件编×××：包括：OMX.google.h264.encoder，OMX.google.h264.encoder， OMX.google.aac.encoder， OMX.google.aac.decoder 等等，而硬件编解码功能，则需要由芯片厂商依照 OpenMax 框架标准来完成，所以，一般采用不同芯片型号的手机，硬件编解码的实现和性能是不同的

（3）Android 应用层统一由 MediaCodec API 来提供各种音视频编解码功能，由参数配置来决定采用何种编解码算法、是否采用硬件编解码加速等等

1.2 MediaCodec 核心原理

我不准备详细介绍 MediaCodec API 的每个函数是怎么用，示例代码大家可以在后面给出的资源链接中查看和学习。

这里我准备重点介绍一下 MediaCodec 的核心工作原理，因为只有搞清楚了这一点，你才会明白为什么 MediaCodec API 提供的接口是这个样子的。

MediaCodec 使用的基本流程是：

- createEncoderByType/createDecoderByType
- configure
- start
- while(1) {
    - dequeueInputBuffer
    - queueInputBuffer
    - dequeueOutputBuffer
    - releaseOutputBuffer
}
- stop
- release

由此可以看到，Buffer 队列的操作是其最核心的部分之一，关于 MediaCodec 的 Buffer 队列，示意图如下：

MediaCodec 架构上采用了2个缓冲区队列，异步处理数据，下面描述的 Client 和 MediaCodec 模块是并行工作的（注：这里的 Client 就是指 “开发者，API 的使用者”）：

（1）Client 从 input 缓冲区队列申请 empty buffer [dequeueInputBuffer]

（2）Client 把需要编解码的数据拷贝到 empty buffer，然后放入 input 缓冲区队列 [queueInputBuffer]

（3）MediaCodec 模块从 input 缓冲区队列取一帧数据进行编解码处理

（4）编解码处理结束后，MediaCodec 将原始数据 buffer 置为 empty 后放回 input 缓冲区队列，将编解码后的数据放入到 output 缓冲区队列

（5）Client 从 output 缓冲区队列申请编解码后的 buffer [dequeueOutputBuffer]

（6）Client 对编解码后的 buffer 进行渲染/播放

（7）渲染/播放完成后，Client 再将该 buffer 放回 output 缓冲区队列 [releaseOutputBuffer]

MediaCodec 在架构上，其实是采用了一种基于“环形缓冲区”的“生产者-消费者”模式，它设计了 2 个基于 idx 序号的“环形缓冲区” ，注意，是 2 个，一个在 input 端，一个在 output 端。

我曾经在 Github 上分享过一段 Linux C 代码，名叫：“rw_queue”，就是这种环形缓冲区的简化版，大家有兴趣可以看看，地址：https://github.com/Jhuster/clib/tree/master/rw_queue

基于 idx 的环形缓冲区的总体示意图如下，图中，wp 代表 “写指针”，指向的是 “empty buffer”，而 rp 代表 “读指针”，指向的是 “filled buffer”：

“生产者”和“消费者”其实是共用这一个缓冲区队列，“生产者”负责从队列中取出未使用的 Buffer，填入数据，然后放回队列，“消费者”则负责取出填入数据后的 Buffer，进行处理，处理结束后，再把 Buffer 标记为“空”，退回到队列中去以供“生产者”继续填充数据。

在 input 端，“Client”是这个环形缓冲区“生产者”，“MediaoCodec 模块”是“消费者”。

在 output 端，“MediaoCodec 模块”是这个环形缓冲区“生产者”，而“Client”则变成了“消费者”。

这就是其核心的工作原理，其实并不复杂，大家静下心来，很快就能理解其中的奥妙。

1.3 参考资源

关于 MediaCodec 的示例代码，网上其实也很多了，我就直接给出一些个人觉得不错的链接，有兴趣的小伙伴们可以去研究一下。

（1）Android 官方文档：《MediaCodec》

（2）《Android MediaCodec stuff》

（3）《HWEncoderExperiments》

（4）一些开源的播放器 Android 源码，如 VLC、ijkplayer

2. 第三方音频编解码的库

官方的 MediaCodec API 虽然支持硬件编解码加速，但是问题和局限还是很多的，一方面是只能在 Android 4.1 以上机型上才能使用，另一方面，由于 Android 手机种类繁多，厂商对底层源码的修改各不相同，导致 MediaCodec API 在实际使用中，会遇到很多坑，有很多兼容性的问题，因此，我们也可以考虑采用第三方的编解码库。

这里，我简单推荐几款第三方音频编解码库（可以移植到 Android 平台的），大家可以直接去官网或者项目主页了解其详细信息。

（1） opus 编解码库

很喜欢 opus，低码率下 opus 完胜曾经优势明显的 HE AAC，我曾经用它实现了一款 Android 局域网的VoIP网络电话应用：“飞鸽电话”，效果很不错。

opus 官网地址：https://www.opus-codec.org

注：如今 Android 5.0 已经官方支持 opus 格式了，关于 Android 支持的多媒体格式列表可以查看 Android developer guide：《Supported Media Formats》

（2） Speex 编解码库

老牌的音频处理库，不仅是编解码，还提供了包括音频去噪、回声消除、静音检测等功能，官网地址：http://www.speex.org

（3） ffmpeg

大名鼎鼎的 ffmpeg 肯定不能错过，官网：https://www.ffmpeg.org

（4）Android AAC Encoder

一款轻量级的 Android aac 编码库：https://github.com/timsu/android-aac-enc

（5）opencore-amr-android

从 opencore 抽取出来的 amr 编解码库，地址：https://github.com/kevinho/opencore-amr-android

（6）iLBC-Android

iLBC 是著名的 WebRTC 项目的音频编解码模块，iLBC-Android 是从中抽取 iLBC 模块移植到 Android 平台的个人项目，地址：https://github.com/lukeweber/iLBC-Android

关于第三方编解码库就简单介绍到这里了，最后三个是个人项目，我没有使用过，真心感谢这些作者的无私奉献，另外，更多的第三方库欢迎大家留言或者来信补充。

3. 小结

关于如何在 Android 平台编解码音频数据就简单介绍到这里了，文章中有不清楚的地方欢迎留言或者来信 lujun.hust@gmail.com 交流，或者关注我的新浪微博 @卢_俊或者微信公众号 @Jhuster 获取最新的文章和资讯。

Android 音频 MediaCodec strong Andoid MediaCodecAndroid 移动开发

有关Android音频开发（5）：音频数据的编解码的更多相关文章

ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
ruby - 使用 C 扩展开发 rubygem 时，如何使用 Rspec 在本地进行测试？ - 2
我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当
Ruby Sinatra 配置用于生产和开发 - 2
我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？最佳答案根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
ruby - Ruby 有 `Pair` 数据类型吗？ - 2
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？最佳
ruby - 是否可以覆盖 gemfile 进行本地开发？ - 2
我们的git存储库中目前有一个Gemfile。但是，有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它，我必须将它添加到我们的Gemfile中，但每次我checkout到我们的master/dev主分支时，由于与跟踪的gemfile冲突，我必须删除它。我想要的是类似Gemfile.local的东西，它将继承从Gemfile导入的gems，但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗？最佳答案设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI
ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反？ - 2
这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？最佳答案我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub
ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2
我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain
ruby - 我如何添加二进制数据来遏制 POST - 2
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2
在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList()Obt

Android音频开发（5）：音频数据的编解码

有关Android音频开发（5）：音频数据的编解码的更多相关文章

随机推荐