草庐IT

iphone - 在音频应用程序中使用诺卡因

coder 2023-09-24 原文

我正在构建一个 iPhone 应用程序,它通过以“caf”格式播放单独录制的吉他音符来生成随机吉他音乐。这些音符的持续时间从 3 秒到 11 秒不等,具体取决于延音量。

我最初使用 AVAudioPlayer 进行播放,在模拟器中以 120 bpm 播放 16 分音符,它唱得很漂亮,但在我的手机上,只要我
将速度提高到 60 bpm 以上,只演奏 1/4 音符,它跑得像条狗,跟不上时间。我的兴高采烈是很短暂的。

为了减少延迟,我尝试使用 Apple MixerHost 项目作为音频引擎的模板,通过 Audio Units 实现播放,但是在我用 bolt 固定并连接所有东西后,仍然出现错误的访问错误。

经过几个小时的努力,我放弃了这种想法,转而使用 Novocaine 音频引擎。

我现在遇到了一堵砖墙,试图将它连接到我的模型。

在最基本的层面上,我的模型是一个 Neck 对象,其中包含一个 NSDictionary 的 Note 对象。

每个 Note 对象都知道它在吉他琴颈上的弦和品格,并包含自己的 AVAudioPlayer。

根据用户偏好中选择的琴颈尺寸,我构建了一个包含 122 个音符(6 弦 x 22 品)或 144 个音符(6 弦 x 24 品)的半音吉他琴颈。

我使用这些音符作为我的单一事实点,因此音乐引擎生成的所有标量音符都是指向这个半音音符桶的指针。

@interface Note : NSObject <NSCopying>
{
    NSString *name;
    AVAudioPlayer *soundFilePlayer;
    int stringNumber;
    int fretNumber; 
}

我总是从所选音阶的根音符或和弦开始播放,然后生成要播放的音符,因此我总是在生成的音符后面播放一个音符。这样,下一个要播放的音符总是排队准备就绪。

这些音符的播放控制是通过以下代码实现的:
- (void)runMusicGenerator:(NSNumber *)counter
{
if (self.isRunning) {
    Note *NoteToPlay;
    // pulseRate is the time interval between beats
    // staticNoteLength = 1/4 notes, 1/8th notes, 16th notes, etc.

    float delay = self.pulseRate / [self grabStaticNoteLength];

    // user setting to play single, double or triplet notes. 
    if (self.beatCounter == CONST_BEAT_COUNTER_INIT_VAL) {
        NoteToPlay = [self.GuitarNeck generateNoteToPlayNext];
    } else {
        NoteToPlay = [self.GuitarNeck cloneNote:self.GuitarNeck.NoteToPlayNow];
    }

    self.GuitarNeck.NoteToPlayNow = NoteToPlay;

    [self callOutNoteToPlay];

    [self performSelector:@selector(runDrill:) withObject:NoteToPlay afterDelay:delay];
}

- (Note *)generateNoteToPlayNext
{
    if ((self.musicPaused) || (self.musicStopped)) {
        // grab the root note on the string to resume
        self.NoteToPlayNow = [self grabRootNoteForString];

        //reset the flags
        self.musicPaused = NO;
        self.musicStopped = NO;
    } else {
        // Set NoteRingingOut to NoteToPlayNow
        self.NoteRingingOut = self.NoteToPlayNow;

        // Set NoteToPlaNowy to NoteToPlayNext
        self.NoteToPlayNow = self.NoteToPlayNext;
        if (!self.NoteToPlayNow) {
            self.NoteToPlayNow = [self grabRootNoteForString];

            // now prep the note's audio player for playback
            [self.NoteToPlayNow.soundFilePlayer prepareToPlay];
        }        
    }

    // Load NoteToPlayNext
        self.NoteToPlayNext = [self generateRandomNote];
    }

    - (void)callOutNoteToPlay
    {    
        self.GuitarNeck.NoteToPlayNow.soundFilePlayer.delegate = (id)self;
        [self.GuitarNeck.NoteToPlayNow.soundFilePlayer setVolume:1.0];
        [self.GuitarNeck.NoteToPlayNow.soundFilePlayer setCurrentTime:0];
        [self.GuitarNeck.NoteToPlayNow.soundFilePlayer play];
    }

每个 Note 的 AVAudioPlayer 加载如下:
- (AVAudioPlayer *)buildStringNotePlayer:(NSString *)nameOfNote
{
    NSString *soundFileName = @"S";
    soundFileName = [soundFileName stringByAppendingString:[NSString stringWithFormat:@"%d", stringNumber]];
    soundFileName = [soundFileName stringByAppendingString:@"F"];

    if (fretNumber < 10) {
        soundFileName = [soundFileName stringByAppendingString:@"0"];
    }
    soundFileName = [soundFileName stringByAppendingString:[NSString stringWithFormat:@"%d", fretNumber]];

    NSString *soundPath = [[NSBundle mainBundle] pathForResource:soundFileName ofType:@"caf"];
    NSURL *fileURL = [NSURL fileURLWithPath:soundPath];
    AVAudioPlayer *audioPlayer = [[AVAudioPlayer alloc] initWithContentsOfURL:fileURL error:nil];

    return notePlayer;
}

这就是我来的地方。

根据 Novocaine Github 页面...

播放音频
Novocaine *audioManager = [Novocaine audioManager];
[audioManager setOutputBlock:^(float *audioToPlay, UInt32 numSamples, UInt32 numChannels) {
    // All you have to do is put your audio into "audioToPlay".
}];

但是在下载的项目中,你使用下面的代码加载音频...
// AUDIO FILE READING OHHH YEAHHHH
// ========================================
NSURL *inputFileURL = [[NSBundle mainBundle] URLForResource:@"TLC" withExtension:@"mp3"];

fileReader = [[AudioFileReader alloc]
              initWithAudioFileURL:inputFileURL
              samplingRate:audioManager.samplingRate
              numChannels:audioManager.numOutputChannels];

[fileReader play];
fileReader.currentTime = 30.0;

[audioManager setOutputBlock:^(float *data, UInt32 numFrames, UInt32 numChannels)
{
    [fileReader retrieveFreshAudio:data numFrames:numFrames numChannels:numChannels];
    NSLog(@"Time: %f", fileReader.currentTime);
}];

这是我真正开始感到困惑的地方,因为第一种方法使用浮点数,而第二种方法使用 URL。

如何将“caf”文件传递给浮点数?我不确定如何实现诺沃卡因 - 我的脑子里仍然很模糊。

我希望有人可以帮助我的问题如下......
  • Novocaine 对象是否类似于 AVAudioPlayer 对象,只是更通用并调整到最大以减少延迟?即独立的音频播放(/录音/生成)单元?
  • 我可以在我的模型中按原样使用诺卡因吗?即每个半音音符有 1 个诺卡因对象,还是我应该有 1 个包含所有半音音符的诺卡因对象?或者我只是将 URL 存储在笔记中并将其传递给 Novocaine 播放器?
  • 当我的音频是“caf”文件并且“audioToPlay”采用浮点数时,如何将我的音频放入“audioToPlay”?
  • 如果我在 Note.m 中包含并声明了一个 Novocaine 属性,那么我是否必须将该类重命名为 Note.mm 才能使用 Novocaine 对象?
  • 我如何同时演奏多个 Novocaine 对象以重现和弦和音程?
  • 我可以循环播放 Novocaine 对象吗?
  • 我可以设置音符的播放长度吗?即只播放 10 秒的音符 1 秒?
  • 我可以修改上面的代码以使用诺沃卡因吗?
  • 我为 runMusicGenerator 使用的方法是否正确用于保持符合专业标准的节奏?
  • 最佳答案

    Novocaine 无需手动设置 RemoteIO AudioUnit,让您的生活更轻松。这包括不得不痛苦地填充一堆 CoreAudio 结构并提供一堆回调,例如这个音频处理回调。
    static OSStatus PerformThru(void *inRefCon, AudioUnitRenderActionFlags *ioActionFlags, const AudioTimeStamp *inTimeStamp, UInt32 inBusNumber, UInt32 inNumberFrames, AudioBufferList *ioData);
    相反,Novocaine 在其实现中处理它,然后调用您通过执行此操作设置的 block 。
    [audioManager setOutputBlock: ^(float *audioToPlay, UInt32 numSamples, UInt32 numChannels){} ];
    无论你写什么audioToPlay被玩。

  • Novocaine 为您设置了 RemoteIO AudioUnit。这是一个低级 CoreAudio API,与高级 AVFoundation 不同,并且正如预期的那样具有非常低的延迟。您是对的,因为 Novocaine 是独立的。您可以实时录制、生成和处理音频。
  • Novocaine 是一个单例,您不能有多个 Novocaine 实例。一种方法是将您的吉他声音/声音存储在单独的类或数组中,然后编写一堆方法,使用 Novocaine 播放它们。
  • 你有很多选择。您可以使用 Novocaine 的 AudioFileReader 为您播放 .caf 文件。根据示例代码,您可以通过分配一个 AudioFileReader 然后传递您想要播放的 .caf 文件的 URL 来完成此操作。然后你贴[fileReader retrieveFreshAudio:data numFrames:numFrames numChannels:numChannels]在您的 block 中,根据示例代码。每次调用 block 时,AudioFileReader 都会从磁盘中抓取并缓冲一段音频并将其放入 audioToPlay随后被播放。这有一些缺点。对于短的声音(例如我假设的吉他声音),请重复调用 retrieveFreshAudio是一个性能打击。将整个文件同步顺序读取到内存中通常是一个更好的主意(对于短声音)。 Novocaine 没有提供一种方法来做到这一点(还)。您必须使用 ExtAudioFileServices 来执行此操作。 Apple 示例项目 MixerHost 详细说明了如何执行此操作。
  • 如果您使用 AudioFileReader 是。您只有在 #import 时才重命名为 .mm来自 Obj-C++ 头文件或 #include ing C++ 头文件。
  • 如前所述,只允许 1 个 Novocaine 实例。您可以通过混合多个音频源来实现复音。这只是将缓冲区添加在一起。如果您以不同的音高制作了相同吉他声音的多个版本,只需将它们全部读入内存,然后混音即可。如果您只想拥有一种吉他声音,那么您必须实时更改正在弹奏的多个音符的播放速率,然后进行混音。
  • Novocaine 与您实际演奏的内容无关,也不关心您演奏样本的时间。为了循环一个声音,你必须保持一个已经过去了多少样本的计数,检查你是否在你的声音的末尾,然后将该计数设置回 0。
  • 是的。假设 44.1k 采样率,1 秒音频 = 44100 个样本。当它达到 44100 时,您将重置您的计数。
  • 是的。它看起来像这样。假设您有 4 个单声道且长度超过 1 秒的吉他声音,并且您已将它们读入内存 float *guitarC , *guitarE , *guitarG , *guitarB; (爵士 CMaj7 和弦 w00t),并且想要将它们混合 1 秒钟并以单声道循环:

  • [audioManager setOutputBlock:^(float *data, UInt32 numFrames, UInt32 numChannels){
        static int count = 0;
        for(int i=0; i<numFrames; ++i){
            //Mono mix each sample of each sound together. Since result can be 4x louder, divide the total amp by 4. 
            //You should be using `vDSP_vadd` from the accelerate framework for added performance.
            data[count] = (guitarC[count] + guitarE[count] + guitarG[count] + guitarB[count]) * 0.25;
            if(++count >= 44100) count = 0;    //Plays the mix for 1 sec
        }
    }];
    

  • 不完全是。使用 performSelector或者任何调度在 runloop 或线程上的机制都不能保证是准确的。例如,当 CPU 负载波动时,您可能会遇到时序不规则。如果您想要采样准确的时间,请使用音频 block 。
  • 关于iphone - 在音频应用程序中使用诺卡因,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13291119/

    有关iphone - 在音频应用程序中使用诺卡因的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

      我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

    3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

      很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

    5. ruby - 在 Ruby 中使用匿名模块 - 2

      假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

    6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

      我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

    7. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

      我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

    8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

      关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

    9. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

      我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

    10. ruby - 将差异补丁应用于字符串/文件 - 2

      对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

    随机推荐