我正在尝试在 iPhone 5 上捕捉视频以进行实时上传和 HLS 流式传输。我正处于在设备上生成视频的阶段(尚未上传到服务器)。就像 SO 上的这些链接所建议的那样，我已经破解了一些代码，每五秒切换一次 AssetWriters。

• Upload live streaming video from iPhone like Ustream or Qik
• streaming video FROM an iPhone
• Data corruption when reading realtime H.264 output from AVAssetWriter

现在在开发过程中，我只是将文件保存到本地设备并通过 XCode Organizer 将它们拉出。然后我运行 Apple 的 mediafilesegmenter 以简单地将它们转换为 MPEG2-TS(它们已经低于 10 秒，所以没有实际的分段发生 - 我假设它们只是被转换为 TS)。我通过编辑在此过程中创建的各种索引文件来构建 m3u8(目前也是手动的)。

当我将 Assets 放在服务器上进行测试时，它们大部分都可以正确流式传输，但我可以判断何时出现分段切换，因为音频会短暂下降(可能视频也会下降，但我不能确定 -看起来不错)。对于从单个输入文件分段的典型 HLS 流，这显然不会发生。我不知道是什么原因造成的。

您可以在您的 iPhone 上打开我的 HLS 流(您可以在 5 秒后和 10 秒左右听到音频下降)

• http://cdn.inv3ntion.com/ms/stitch/stitch.html

在我的创作过程中(无论是在设备上还是在后期处理中)是否有什么事情导致了短暂的音频丢失？我不认为我在 AssetWriter 切换期间删除任何 sampleBuffer(见代码)。

- (void)writeSampleBuffer:(CMSampleBufferRef)sampleBuffer ofType:(NSString *)mediaType
{
    if (!self.isStarted) {
        return;
    }

    @synchronized(self) {

        if (mediaType == AVMediaTypeVideo && !assetWriterVideoIn) {
            videoFormat = CMSampleBufferGetFormatDescription(sampleBuffer);
            CFRetain(videoFormat);
            assetWriterVideoIn = [self addAssetWriterVideoInput:assetWriter withFormatDesc:videoFormat];
            [tracks addObject:AVMediaTypeVideo];
            return;
        }

        if (mediaType == AVMediaTypeAudio && !assetWriterAudioIn) {
            audioFormat = CMSampleBufferGetFormatDescription(sampleBuffer);
            CFRetain(audioFormat);
            assetWriterAudioIn = [self addAssetWriterAudioInput:assetWriter withFormatDesc:audioFormat];
            [tracks addObject:AVMediaTypeAudio];
            return;
        }

        if (assetWriterAudioIn && assetWriterVideoIn) {
            recording = YES;
            if (assetWriter.status == AVAssetWriterStatusUnknown) {
                if ([assetWriter startWriting]) {
                    [assetWriter startSessionAtSourceTime:CMSampleBufferGetPresentationTimeStamp(sampleBuffer)];
                    if (segmentationTimer) {
                        [self setupQueuedAssetWriter];
                        [self startSegmentationTimer];
                    }
                } else {
                    [self showError:[assetWriter error]];
                }
            }

            if (assetWriter.status == AVAssetWriterStatusWriting) {
                if (mediaType == AVMediaTypeVideo) {
                    if (assetWriterVideoIn.readyForMoreMediaData) {
                        if (![assetWriterVideoIn appendSampleBuffer:sampleBuffer]) {
                            [self showError:[assetWriter error]];
                        }
                    }
                }
                else if (mediaType == AVMediaTypeAudio) {
                    if (assetWriterAudioIn.readyForMoreMediaData) {
                        if (![assetWriterAudioIn appendSampleBuffer:sampleBuffer]) {
                            [self showError:[assetWriter error]];
                        }
                    }
                }
            }
        }
    }
}

- (void)setupQueuedAssetWriter
{
    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
        NSLog(@"Setting up queued asset writer...");
        queuedFileURL = [self nextFileURL];
        queuedAssetWriter = [[AVAssetWriter alloc] initWithURL:queuedFileURL fileType:AVFileTypeMPEG4 error:nil];
        if ([tracks objectAtIndex:0] == AVMediaTypeVideo) {
            queuedAssetWriterVideoIn = [self addAssetWriterVideoInput:queuedAssetWriter withFormatDesc:videoFormat];
            queuedAssetWriterAudioIn = [self addAssetWriterAudioInput:queuedAssetWriter withFormatDesc:audioFormat];
        } else {
            queuedAssetWriterAudioIn = [self addAssetWriterAudioInput:queuedAssetWriter withFormatDesc:audioFormat];
            queuedAssetWriterVideoIn = [self addAssetWriterVideoInput:queuedAssetWriter withFormatDesc:videoFormat];
        }
    });
}

- (void)doSegmentation
{
    NSLog(@"Segmenting...");
    AVAssetWriter *writer = assetWriter;
    AVAssetWriterInput *audioIn = assetWriterAudioIn;
    AVAssetWriterInput *videoIn = assetWriterVideoIn;
    NSURL *fileURL = currentFileURL;

    //[avCaptureSession beginConfiguration];
    @synchronized(self) {
        assetWriter = queuedAssetWriter;
        assetWriterAudioIn = queuedAssetWriterAudioIn;
        assetWriterVideoIn = queuedAssetWriterVideoIn;
    }
    //[avCaptureSession commitConfiguration];
    currentFileURL = queuedFileURL;

    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
        [audioIn markAsFinished];
        [videoIn markAsFinished];
        [writer finishWritingWithCompletionHandler:^{
            if (writer.status == AVAssetWriterStatusCompleted ) {
                [fileURLs addObject:fileURL];
            } else {
                NSLog(@"...WARNING: could not close segment");
            }
        }];
    });
}

最佳答案

您可以尝试在 m3u8 的每个片段之间插入#EXT-X-DISCONTINUITY，但我怀疑这是否可行。这里有很多地方可能出错。

假设您以 44100kHz 采样音频 每 22 微秒有一个新的音频采样。在您关闭并重新打开文件的过程中，您肯定会丢失样本。如果您连接最终的波形，由于这种损失，它会比实时播放得稍微快一些。实际上，这可能不是问题。

正如@vipw 所说，您还会遇到时间戳问题。每次你开始一个新的 mp4 时，你都是从时间戳零开始的。所以，玩家会感到困惑，因为时间戳不断重置。

另外，是传输流格式。 TS 将每个帧封装到“流”中。 HLS 通常有 4 个(PAT、PMT、音频和视频)，每个流被分成 188 字节的数据包和 4 字节的 header 。 header 有一个 4 位的每个流连续性计数器，该计数器在溢出时回绕。因此，在每个 mp4 上运行 mediafilesegmenter，您通过将连续性计数器重置回零来中断每个片段的流。

您需要一个工具来接受 mp4 并创建一个流输出来维护/重写时间戳(PTS、DTS、CTS)以及连续性计数器。

关于ios - 在 iOS 上捕获/分割视频并通过 HLS 重新加入会导致音频丢失，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20481249/