一、MediaCodec

​ MediaCodec类可用于访问低级媒体编解码器，即编码器/解码器组件。它是Android低级多媒体支持基础设施的一部分(通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface，以及AudioTrack.)。

1.1数据类型

编解码器处理三种数据:压缩数据、原始音频数据和原始视频数据。​ 所有这三种数据都可以使用ByteBuffers，但您应该使用Surface用于原始视频数据以提高编解码器性能。Surface使用原生视频缓冲区，而不将其映射或复制到ByteBuffers因此，它的效率更高。

使用Surface时，通常无法访问原始视频数据，但可以使用ImageReader类来访问不安全的解码(原始)视频帧。这可能仍然比使用字节缓冲区更有效，因为一些本机缓冲区可以映射到直接的字节缓冲区。使用ByteBuffer模式时，可以使用Image类别和getInput/OutputImage(int)访问原始视频帧。

（1）压缩缓冲区

压缩数据可以作为解码器的输入、编码器的输出，需要指定数据的格式，这样codec才知道如何处理这些压缩数据

MediaFormat.KEY_MIME格式类型。

对于视频类型，通常是一个单独的压缩视频帧。

对于音频数据，通常是一个单独的访问单元(一个编码的音频段通常包含由格式类型决定的几毫秒的音频)，但是这个要求稍微宽松一些，因为一个buffer可能包含多个编码的音频访问单元。

在这两种情况下，buffer都不会在任意字节边界上开始或结束，而是在帧/访问单元边界上开始或结束，除非它们被BUFFER_FLAG_PARTIAL_FRAME标记。

本文福利， 免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

（2）原始音频缓冲区

原始音频数据 — PCM音频数据帧，这是每个通道按通道顺序的一个样本。

（3）原始视频缓冲区

在ByteBuffer模式下，视频buffer根据它们的MediaFormat.KEY_COLOR_FORMAT进行布局。可以从getCodecInfo(). MediaCodecInfo.getCapabilitiesForType.CodecCapability.colorFormats获取支持的颜色格式。视频编解码器可以支持三种颜色格式:

native raw video format: CodecCapabilities.COLOR_FormatSurface，可以与输入/输出的Surface一起使用。

flexible YUV buffers 例如CodecCapabilities.COLOR_FormatYUV420Flexible， 可以使用getInput/OutputImage(int)与输入/输出Surface一起使用，也可以在ByteBuffer模式下使用。

other, specific formats: 通常只支持ByteBuffer模式。有些颜色格式是厂商特有的，其他定义在CodecCapabilities。对于等价于flexible格式的颜色格式，可以使用getInput/OutputImage(int)。

从Build.VERSION_CODES.LOLLIPOP_MR1.开始，所有视频编解码器都支持flexible的YUV 4:2:0 buffer。

1.2 MediaCodec API

（1）MediaCodec创建：

createDecoderByType/createEncoderByType：根据特定MIME类型(如"video/avc")创建codec。然而，这不能用于注入特征，并且可能创建不能处理特定期望媒体格式的编解码器。

createByCodecName：知道组件的确切名称(如OMX.google.mp3.decoder)的时候，根据组件名创建codec。使用MediaCodecList可以获取组件的名称。

（2）MediaCodec配置与启动：

configure：配置解码器或者编码器。

四个参数：

MediaFormat format：输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat.MediaFormat作为空的MediaFormat。

Surface surface：指定Surface，用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如，不是视频解码器)和/或想配置解码器输出ByteBuffer，则传null。

MediaCrypto crypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。

int flags：当组件是编码器时，flags指定为常量CONFIGURE_FLAG_ENCODE。

• start：成功配置组件后调用start。

（3）buffer处理的接口：

MediaCodec可以处理具体的视频流，主要有这几个方法：

getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组

getInputBuffer(index) : 获取InputBuffers数组index下标的ByteBuffer

queueInputBuffer：输入流入队列

dequeueInputBuffer：从输入流队列中取数据进行编码操作

getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组

getOutputBuffer(index) : 获取OutputBuffers数组index下标的ByteBuffer

dequeueOutputBuffer：从输出队列中取出编码操作之后的数据

releaseOutputBuffer：处理完成，释放ByteBuffer数据

（4）处理完之后的操作：

flush：清空的输入和输出端口。

stop：终止decode/encode会话

release：释放编解码器实例使用的资源。

二、MediaFormat 一些属性理解

MediaFormat的格式被指定为键/值对。keys是字符串。values可以是整数、长整型、浮点型、字符串或ByteBuffer。(要素元数据被指定为 字符串/布尔 对。)

2.1 所有音频/视频格式通用的键，所有未标记为可选的键都是强制性的:

2.2 视频格式有以下键:

2.3 音频格式有以下键: 

 

2.4 字幕格式有以下关键字:

线格式的类型。KEY_LANGUAGE线内容的语言。KEY_CAPTION_SERVICE_NUMBER（同Internationalorganizations）国际组织可选，隐藏字幕服务或频道号。

2.5 图像格式有以下键: 

三、Image

与媒体源一起使用的单个完整图像缓冲区，例如 MediaCodec或 CameraDevice 。

该类允许通过一个或多个ByteBuffers高效地直接应用程序访问图像的像素数据。 每个缓冲区都封装在描述该平面中像素数据布局的Image.Plane中。 由于这种直接访问方式，与Bitmap类不同，图像不能直接用作UI资源。

由于图像通常由硬件组件直接生成或使用，因此它们是整个系统共享的有限资源，应在不再需要时立即关闭。

例如，当使用ImageReader类从各种媒体源读出图像时，一旦达到the maximum outstanding image count ，不关闭旧的图像对象将阻止新图像的可用性。 发生这种情况时，获取新图像的函数通常会抛出IllegalStateException 。

3.1 getPlanes() 方法

获取该图像的像素平面阵列，平面的数量由图像的格式决定。这个需要了解ImageFormat的格式了，这个以后再了解。

3.2 ImageFormat.getBitsPerPixel()方法

使用此函数可检索ImageFormat的每个像素的位数。

这个在此就点一下算了，之后在单独开一节来具体讲解。

四、demo实现

//解码操作，返回YUV加载的bitmap图片
public class ImageShowActivity extends Activity {
    private TextView tv_yun;
    //图片的个数
    private int imageNum = 0;
    private final String mVideoPath = Environment.getExternalStorageDirectory() + "/Pictures/music.mp4";
    private MediaExtractor extractor;//用于解封装
    private MediaFormat videoFormat;//保存视频轨道的媒体格式
    private MediaCodec mediaCodec;//解码视频轨道资源
    private int rotation;
    private long duration;
 
    //用于代表YUV的种类
    public static final int YUV420P = 0;
    public static final int YUV420SP = 1;
    public static final int NV21 = 2;
 
    //保存YUV数据的byte[]
    private byte[] bytes;
 
    private static int width;
    private static int height;
 
    //1.创建MediaExtractor和MediaCodec :  MediaExtractor负责解封装，MediaCodec负责解码视频轨道资源
    //2.解码获取图片，并进行转换：YUV_420_888-->NV21
    //3.YuvImage 加载nv21,转化成Bitmap用于显示。
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_image_show);
 
        tv_yun = findViewById(R.id.tv_image_yuv);
 
        GetVideo();
    }
 
}

本文福利， 免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓