android media 硬编码 android ffmpeg 硬解码

转载

数据探索先锋 2023-07-13 11:07:06

文章标签 android media 硬编码音视频 ffmpeg android 解码 文章分类 Android 移动开发

一、本节目标

继上节获取解封装的 AvPacket 数据包之后，我们知道 AvPacket 存储的都是编码后的数据，因此我们需要将数据包进行解码，从而得到原始的数据，而 FFmpeg 使用 AvFrame 这个数据结构来存储解码后的数据。

对于解码后的数据：

视频原始数据一般是用 yuv 表示。
音频原始数据一般用 pcm 表示。

而在开始之前，我们还是来回顾一下 FFmpeg 处理流的整个过程。

FFmeg 处理流程如下：

1、得到输入流，打开输入流
2、解封装格式->得到编码数据包 AvPacket
3、解码数据包->得到解码的原始数据 AvFrame
4、处理数据->例如滤镜处理，重采样，像素格式转化等
5、编码原始数据->得到编码后的数据
6、封装格式
7、得到输出文件

根据本节目标，我们可以知道，我们重点要了解的就是第 3 步，解码数据包得到 AvFrame 数据。

二、解码音视频的步骤

2.1、获取解码器

0、注册编解码器

avcodec_register_all();

1、获取解码器 AVCodec

因为音频和视频的解码器 AVCodec 是不一样的，而在 FFmpeg 中每一个解码器都会对应的一个codec_id，我们可以通过这个 id 就可以获取对应的解码器了。当前除了通过 codec_id 获取之外，也可以通过 name 来获取，目前先不考虑这种方式。

下面来看一下如何获取：

//得到视音频解码器
AVCodec *audioCodec = avcodec_find_decoder(
        avFormatContext->streams[audioIndex]->codecpar->codec_id);
//得到视频解码器
AVCodec *vedioCodec = avcodec_find_decoder(
        avFormatContext->streams[videoIndex]->codecpar->codec_id);

2、分配解码器上下文空间 AVCodecContext

创建 AVCodecContext 空间

AVCodecContext *ac = avcodec_alloc_context3(audioCodec);
AVCodecContext *vc = avcodec_alloc_context3(vedioCodec);

3、初始化解码器上下文

将 AVCodecParameters 的参数赋值给 AVCodecContext。

ret = avcodec_parameters_to_context(ac, avFormatContext->streams[audioIndex]->codecpar);
if (ret < 0) {
    LOGE("avcodec_parameters_to_context audio failed...")
    return;
}

ret = avcodec_parameters_to_context(vc, avFormatContext->streams[videoIndex]->codecpar);
if (ret < 0) {
    LOGE("avcodec_parameters_to_context vedio failed...")
    return;
}

4、打开解码器

使用 AVCodec 初始化 AVCodecContext

//打开解码器
ret = avcodec_open2(ac, audioCodec, 0);
if (ret != 0) {
    LOGE("avcodec_open2 audioCodec failed ...");
    return;
}


ret = avcodec_open2(vc, vedieCodec, 0);
if (ret != 0) {
    LOGE("avcodec_open2 vedieCodec failed ...");
    return;
}

2.2、开始解码流程

准备好解码器以及解码器上下文就可以开始解码流程了。在上一节中，我们已经通过 av_read_frame解封装获取到对应的编码数据包 AvPacket，下面我们要做的是解码这个数据包。

还是列一下操作步骤：

0、av_read_frame得到解封装后的 AvPacket 。
1、avcodec_send_packet 将 AvPacket 送入解码队列。
2、avcodec_receive_frame 得到解码后的 AvFrame 数据。注意：在 avcodec_send_packet之后，可能有多个 AvFrame 可以读取，因此在读取时需要循环读取。

//临时存储的解码器上下文
AVCodecContext *cc = NULL;
//视频解码器
AVCodecContext *vc = NULL;
//视频解码器
AVCodecContext *ac = NULL;

//得到解码器并初始化解码器上下文
...

//开始解码
for(;;){
    //得到解封装后的 AvPacket
    ret = av_read_frame(avFormatContext, pkt);
    if(ret!=0){
        continue;
    }
        
    if(pkt->stream_index == audioIndex){//当前解码音频数据
        cc = ac;
    }else if(pkt->stream_index == videoIndex){//当前解码视频帧
        cc = vc;
    }
    
    //将 AvPacket 送入给解码队列
    ret = avcodec_send_packet(cc, pkt);
    
    
    //得到解码后的 AvFrame 数据
    //发送一个 avpacket 之后可能可以收到多个 avframe
    for(;;){
        ret = avcodec_receive_frame(cc, avFrame);
        if (ret != 0) {
            break;
        }
        //TODO 在这里可以处理解码后的数据拉，例如滤镜操作，像素格式转化，重采样等。
    }
}

//释放资源
avcodec_free_context(&ac);
avcodec_free_context(&vc);

注意：

在 avcodec_send_packet与avcodec_receive_frame应该是异步操作的，avcodec_send_packet 会将 AvPacket 放入到缓存队列中去解码，avcodec_receive_frame初次被调用时因为异步的原因可能没有获取到，也有可能可以获取多个 AvFrame，主要还是依赖解码的速度，因此通过循环去调用 avcodec_receive_frame 是比较妥当的做法。
本文是基于之前写的几篇文章的，因此之前描述过的内容，在本文就不再重复了。