草庐IT

Android音频开发（7）：使用 OpenSL ES API（下）

Jhuster 2023-03-28 原文
本文是我的《Android音频开发》系列的第七篇文章，上一篇文章总整体上介绍了 Android OpenSL ES API 的基本概况，告诉了大家这个框架有什么特性，可以做什么，不能做什么。本文则重点介绍 OpenSL ES 框架及其API接口的一些关键的设计和概念，只有理解了它们，你才能更好地读懂 OpenSL ES 的相关代码。示例代码则放到了文章的最后，相信大家理解了这些基本的概念后，就能很容易地读懂这些代码的细节了。


1. 面向对象的 C 语言接口


OpenSL ES 虽然是 C 语言编写，但是它的接口采用的是面向对象的方式，并不是提供一系列的函数接口，而是以 Interface 的方式来提供 API，这是理解 OpenSL ES API 的一个比较重要的点。


可能这么说比较抽象，举例来说，一般的 C 语言库，比如：math 库，提供的接口可能是这样的：


double cosh(double); double sinh(double); double tanh(double);

我们直接在代码中调用这个函数即可，但是 OpenSL ES 却不是这样提供 API 的，它的大都数 API 需要这样访问：


// 下面代码是对 Audio Engine 对象进行 “初始化” SLEngineItf engineObject; SLresult result = (*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);

由此可见，OpenSL ES 的 API 大都数是通过 “对象” 来调用的，如果在 Android NDK 下开发过 C 代码，就应该不会太陌生，因为我们调用 “JNI* env” 的函数也是这个样子去调用的。


2. Objects 和 Interfaces


OpenSL ES 有两个必须理解的概念，就是 Object 和 Interface，Object 可以想象成 Java 的 Object 类，Interface 可以想象成 Java 的 Interface，但它们并不完全相同，下面进一步解释他们的关系：


（1） 每个 Object 可能会存在一个或者多个 Interface，官方为每一种 Object 都定义了一系列的 Interface

（2）每个 Object 对象都提供了一些最基础的操作，比如：Realize，Resume，GetState，Destroy 等等，如果希望使用该对象支持的功能函数，则必须通过其 GetInterface 函数拿到 Interface 接口，然后通过 Interface 来访问功能函数

（3）并不是每个系统上都实现了 OpenSL ES 为 Object 定义的所有 Interface，所以在获取 Interface 的时候需要做一些选择和判断


通过查看 “OpenSLES.h” 文件，我们可以看到 OpenSL ES 定义的所有 Object 对象的 ID，我们可以通过 Object ID 来创建对应的对象实例。



其中，我们比较常用的应该就是：ENGINE、AUDIOPLAYER 和 AUDIORECORDER 对象了。


同样，“OpenSLES.h” 文件中还定义了所有的 Interface ID，通过 Interface ID 我们可以从对象中获取到对应的功能接口。



3. OpenSL ES 的状态机制


OpenSL ES 还有一个比较重要的概念，就是它的状态机制，如图所示：


任何一个 OpenSL ES 的对象，创建成功后，都进入 SL_OBJECT_STATE_UNREALIZED 状态，这种状态下，系统不会为它分配任何资源，直到调用 Realize 函数为止。


Realize 后的对象，就会进入 SL_OBJECT_STATE_REALIZED 状态，这是一种“可用”的状态，只有在这种状态下，对象的各个功能和资源才能正常地访问。


当一些系统事件发生后，比如出现错误或者 Audio 设备被其他应用抢占，OpenSL ES 对象会进入 SL_OBJECT_STATE_SUSPENDED 状态，如果希望恢复正常使用，需要调用 Resume 函数。


当调用对象的 Destroy 函数后，则会释放资源，并回到 SL_OBJECT_STATE_UNREALIZED 状态。


简言之，一个 OpenSL ES 对象的生命周期，就是从 create 到 destroy 的过程，生命周期的控制，都是通过开发者显示调用来完成的。


4. 常用的对象和结构体


心中保持一个概念，就是在 OpenSL ES 中，一切 API 的访问和控制都是通过 Interface 来完成的，连 OpenSL ES 里面的 Object 也是通过 SLObjectItf Interface 来访问和使用的。


4.1 Engine Object 和 SLEngineItf Interface


OpenSL ES 里面最核心的对象就是：Engine Object，音频引擎对象，它主要提供如下两个功能：


（1）管理 Audio Engine 的生命周期

（2）提供管理接口: SLEngineItf，该接口可以用来创建所有其他的 Object 对象

（3）提供设备属性查询接口：SLEngineCapabilitiesItf 和 SLAudioIODeviceCapabilitiesItf，这些接口可以查询设备的一些属性信息


Engine Object 对象的创建方法如下：


SLObjectItf engineObject; slCreateEngine( &engineObject, 0, nullptr, 0, nullptr, nullptr );

初始化/销毁：


(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE); (*engineObject)->Destroy(engineObject);

获取管理接口：


SLEngineItf engineEngine; (*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &(engineEngine));

下面我们就可以愉快地使用 engineEngine 来创建所有 OpenSL ES 的其他对象了。


4.2 Media Object


OpenSL ES 里面另一组比较重要的对象就是 Media Object ，代表着多媒体功能的抽象，比如：player、recorder 等等。


我们可以通过 SLEngineItf 提供的 CreateAudioPlayer 方法来创建一个 player 对象实例，可以通过 SLEngineItf 提供的 CreateAudioRecorder 方法来创建一个 recorder 实例。


4.3 Data Source 和 Data Sink


OpenSL ES 里面，这两个结构体均是作为创建 Media Object 对象时的参数而存在的，data source 代表着输入源的信息，即数据从哪儿来、输入的数据参数是怎样的；而 data sink 则代表着输出的信息，即数据输出到哪儿、以什么样的参数来输出。


4.3.1 基本定义


Data Source 的定义如下：


typedef struct SLDataSource_ {       void *pLocator;       void *pFormat; } SLDataSource;

Data Sink 的定义如下：


typedef struct SLDataSink_ {     void *pLocator;     void *pFormat; } SLDataSink;

其中，pLocator 主要有如下几种：


SLDataLocator_Address SLDataLocator_BufferQueue SLDataLocator_IODevice SLDataLocator_MIDIBufferQueue SLDataLocator_URI

也就是说，Media Object 对象的输入源/输出源，既可以是 URL，也可以 Device，或者来自于缓冲区队列等等，完全是由 Media Object 对象的具体类型和应用场景来配置。


4.3.2 示例说明


不同的 Media Object 对象实例，data source 和 data sink 的具体内容是不一样的。


例如，对于 player 而言：



而对于 recorder 而言：


5. 示例程序及参考资料


限于篇幅，关于 OpenSL ES 的 Player 和 Recorder 相关 API 详细的用法，就不在本文展开了，其实理解了上面介绍了这些概念之后，结合官方的 《OpenSL_ES_Specification_1.0.1.pdf》，以及我给出的示例代码，很容易就能读懂和掌握这些 API 的用法了，示例代码地址如下：


https://github.com/Jhuster/AudioDemo


6. 小结


关于如何 Android OpenSL ES API 就介绍到这儿了，文章中有不清楚的地方欢迎留言或者来信 lujun.hust@gmail.com 交流，或者关注我的新浪微博 @卢_俊 或者 微信公众号 @Jhuster 获取最新的文章和资讯。



AndroidOpenSLnbspstrongESOpenSLAndroid移动开发

有关Android音频开发（7）：使用 OpenSL ES API（下）的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐