["Notes", "Ubuntu", "CentOS", "OS X", "Tools", "Study", "Idea", "Docker", "About"]

FFMPEG 视音频编解码零基础学习

作者: 洛桑扎巴 | 个人学习记录，内容来自网络，如果有相关版权问题请联系我，我会删除。
网址: http://notes.11ten.net/ffmpeg.html

0. 背景知识

本章主要介绍一下FFMPEG都用在了哪里（在这里仅列几个我所知的，其实远比这个多）。说白了就是为了说明：FFMPEG是非常重要的。

使用FFMPEG作为内核视频播放器：

Mplayer，ffplay，射手播放器，暴风影音，KMPlayer，QQ影音…

使用FFMPEG作为内核的Directshow Filter：

ffdshow，lav filters…

使用FFMPEG作为内核的转码工具：

ffmpeg，格式工厂…

事实上，FFMPEG的视音频编解码功能确实太强大了，几乎囊括了现存所有的视音频编码标准，因此只要做视音频开发，几乎离不开它。

1. ffmpeg程序的使用（ffmpeg.exe，ffplay.exe，ffprobe.exe）

本章主要介绍一下ffmpeg工程包含的三个exe的使用方法。

ffmpeg的官方网站是：http://ffmpeg.org/

编译好的windows可用版本的下载地址（官网中可以连接到这个网站，和官方网站保持同步）： http://ffmpeg.zeranoe.com/builds/

该网站中的FFMPEG分为3个版本：Static，Shared，Dev。

前两个版本可以直接在命令行中使用，他们的区别在于：Static里面只有3个应用程序：ffmpeg.exe，ffplay.exe，ffprobe.exe，每个exe的体积都很大，相关的Dll已经被编译到exe里面去了。Shared里面除了3个应用程序：ffmpeg.exe，ffplay.exe，ffprobe.exe之外，还有一些Dll，比如说avcodec-54.dll之类的。Shared里面的exe体积很小，他们在运行的时候，到相应的Dll中调用功能。

Dev版本是用于开发的，里面包含了库文件xxx.lib以及头文件xxx.h，这个版本不包含exe文件。

打开系统命令行接面，切换到ffmpeg所在的目录，就可以使用这3个应用程序了。

1.1 ffmpeg.exe

ffmpeg是用于转码的应用程序。

一个简单的转码命令可以这样写：

将input.avi转码成output.ts，并设置视频的码率为640kbps

[plain] view plain copy

ffmpeg -i input.avi -b:v 640k output.ts

具体的使用方法可以参考： ffmpeg参数中文详细解释

详细的使用说明（英文）：http://ffmpeg.org/ffmpeg.html

1.2 ffplay.exe

ffplay是用于播放的应用程序。

一个简单的播放命令可以这样写：

播放test.avi

[plain] view plain copy

ffplay test.avi

具体的使用方法可以参考：ffplay的快捷键以及选项

详细的使用说明（英文）：http://ffmpeg.org/ffplay.html

1.3 ffprobe.exe

ffprobe是用于查看文件格式的应用程序。

这个就不多介绍了。

详细的使用说明（英文）：http://ffmpeg.org/ffprobe.html

2. ffmpeg库的使用：视频播放器

本章开始介绍使用ffmpeg的库进行开发。

2.1 ffmpeg库的配置

从http://ffmpeg.zeranoe.com/builds/网站上

1.下载Dev版本，里面包含了ffmpeg的xxx.h头文件以及xxx.lib库文件。

2.下载Shared版本，里面包含了ffmpeg的dll文件。

3.将这两部分文件拷贝到VC工程下面就可以了

注：可能会出现问题，参见：FFMPEG 库移植到 VC 需要的步骤

如果不想自己手动配置，可以下载已经配置好的工程：最简单的基于FFMPEG+SDL的视频播放器

2.2 最简单的视频播放器

学习文章《100行代码实现最简单的基于FFMPEG+SDL的视频播放器》中的代码，这是ffmpeg做视频播放器最简单的代码了，是我自己精简出来的，已经不能再简化了，每一行都很重要。

原版是基于SDL1.2的视频播放器，后来更新了基于SDL2.0的最简单的视频播放器：最简单的基于FFMPEG+SDL的视频播放器 ver2 （采用SDL2.0）

上述播放器使用libavformat和libavcodec两个类库完成了视频的解码工作。实际上解码工作只需要libavcodec就可以了。因此更新了一个“纯净”的解码器。该解码器只使用libavcodec完成解码工作：最简单的基于FFmpeg的解码器-纯净版（不包含libavformat）

ffmpeg的函数介绍：ffmpeg函数介绍

注1：播放视频或音频数据的时候会用到SDL。有关SDL可以参考：SDL介绍

SDL参考文档：SDL GUIDE 中文译本

注2：如果想查看解码后的数据，需要用到 YUV播放器：YUV播放器源代码或YUV Player Deluxe都可以

2.3 相关结构体的研究

ffmpeg的结构体之间的关系参考文章：FFMPEG中最关键的结构体之间的关系

结构体中每个变量的分析，参考文章：

_FFMPEG结构体分析：AVFrame
_

_FFMPEG结构体分析：AVFormatContext
_

_FFMPEG结构体分析：AVCodecContext
_

_FFMPEG结构体分析：AVIOContext
_

_FFMPEG结构体分析：AVCodec
_

FFMPEG结构体分析：AVStream
FFMPEG结构体分析：AVPacket

3. ffmpeg库的使用：音频播放器

3.1 最简单的音频播放器

学习文章《最简单的基于FFMPEG+SDL的音频播放器》中的代码，和最简单的视频播放器一样，这是最简单的音频播放器，每一行代码都很重要。

原版是基于SDL1.2的音频播放器，后来更新了一个基于SDL2.0的最简单的音频播放器：最简单的基于FFMPEG+SDL的音频播放器 ver2 （采用SDL2.0）

注：如果想要查看解码后的数据（PCM数据），需要用到Audition。

4. ffmpeg库的使用：一个真正的播放器——ffplay

4.1 真正的播放器

ffplay流程图如文章《FFplay源代码分析：整体流程图》所示。ffplay代码比较复杂，但是其核心代码和《100行代码实现最简单的基于FFMPEG+SDL的视频播放器》是一样的。可以两个工程结合着学习。

ffplay代码简介资料：如何用FFmpeg编写一个简单播放器

ffplay使用说明：ffplay的快捷键以及选项

ffplay已经移植到VC下的工程：ffplay_vc2005（别人做的，质量很不错）

ffplay移植到MFC下的工程，包含了简单的图形界面和一些控制按钮：ffplay播放器移植VC的工程：ffplay for MFC

上述软件的代码简介：ffplay for mfc 代码备忘

ffplay.c函数结构简单分析：ffplay.c函数结构简单分析（画图）

5. ffmpeg库的使用：编码

5.1 编码

ffmpeg编码我自己研究的不是很多，可以参考文章：使用FFmpeg类库实现YUV视频序列编码为视频

上面那篇文章是用的类库比较旧，新版类库的的使用可以参考下面几篇文章。

图像的编码可以参考：最简单的基于FFMPEG的图像编码器（YUV编码为JPEG）

音频的编码可以参考：最简单的基于FFMPEG的音频编码器（PCM编码为AAC）

视频的编码可以参考：最简单的基于FFMPEG的视频编码器（YUV编码为H.264）

HEVC（H.265）视频编码可以参考：最简单的基于FFmpeg的视频编码器-更新版（YUV编码为HEVC(H.265)）

上述编码器使用libavformat和libavcodec两个类库完成了视频的编码工作。实际上编码工作只需要libavcodec就可以了。因此更新了一个“纯净”的编码器。该编码器只使用libavcodec完成编码工作：最简单的基于FFmpeg的编码器-纯净版（不包含libavformat）

5.2 转码

转码实际上是先解码然后编码。

不进行转码，只进行封装格式转换的程序可参考：最简单的基于FFMPEG的封装格式转换器（无编解码）

转码程序可参考：最简单的基于FFMPEG的转码程序

比较复杂的转码程序可以参考ffmpeg.c，它移植到MFC下的工程：ffmpeg转码器移植VC的工程：ffmpeg for MFC

ffmpeg.c函数结构简单分析：ffmpeg.c函数结构简单分析（画图）

6. ffmpeg源代码分析

通晓了ffmpeg库的使用以后，可以看一下ffmpeg的源代码。注意ffmpeg的源代码只有在linux下才能编译，在windows下可以使用MinGW进行编译。推荐使用Eclipse查看ffmpeg的源代码。

有一个很完整的ffmpeg源代码的分析文档：ffdoc

ffmpeg源代码分析文章列表如下。

库函数分析：

图解FFMPEG打开媒体的函数avformat_open_input

ffmpeg 源代码简单分析： av_register_all()

ffmpeg 源代码简单分析： avcodec_register_all()

ffmpeg 源代码简单分析： av_read_frame()
ffmpeg 源代码简单分析： avcodec_decode_video2()
FFMPEG源码分析：avformat_open_input()（媒体打开函数）

ffmpeg.exe源代码分析：

ffmpeg源码分析：transcode_init()函数
 ffmpeg源码分析：transcode()函数

7.FFmpeg其它几个类库的使用

7.1.libavfilter（加特效）

AVFilter可以给视音频添加各种滤镜效果。有一个简单的例子，是给视频添加水印：

最简单的基于FFmpeg的AVfilter例子（水印叠加）

7.2.libavdevice（读设备）

AVDevice可以读取电脑的多媒体设备的数据，或者输出数据到指定的多媒体设备上。

直接使用ffmpeg.exe命令行工具的文章：FFmpeg获取DirectShow设备数据（摄像头，录屏）

编程方面做了2个有关的例子：

读取摄像头：最简单的基于FFmpeg的AVDevice例子（读取摄像头）

屏幕录制：最简单的基于FFmpeg的AVDevice例子（屏幕录制）

7.3.libswscale（图像拉伸，像素格式转换）

Swscale类库可以转换像素数据的格式，同时可以拉伸图像的大小。

libswscale的使用示例：最简单的基于FFmpeg的libswscale的示例（YUV转RGB）

此外，这个示例还附带了一个程序，用于生成测试图片：最简单的基于FFmpeg的libswscale的示例附件：测试图片生成工具

8.FFmpeg封装格式的处理

使用FFmpeg进行封装格式的处理，主要是通过AVFormat完成。有关封装格式的处理，做了3个例子：

封装格式转换器：最简单的基于FFMPEG的封装格式转换器（无编解码）

视音频分离器简化版（demuxer-simple）：最简单的基于FFmpeg的封装格式处理：视音频分离器简化版（demuxer-simple）

视音频分离器（demuxer）：最简单的基于FFmpeg的封装格式处理：视音频分离器（demuxer）

视音频复用器（muxer）：最简单的基于FFmpeg的封装格式处理：视音频复用器（muxer）

9.FFmpeg流媒体方面的应用

使用FFmpeg进行流媒体方面的应用，主要是流媒体的发送和接收。

直接使用ffmpeg.exe命令行工具的文章：

FFmpeg发送流媒体的命令（UDP，RTP，RTMP）

编程方面做了一个例子：

基于FFmpeg的推流器：最简单的基于FFmpeg的推流器（以推送RTMP为例）

10.FFmpeg的其他杂项

使用FFmpeg读写内存（而非文件）的例子：

内存播放器：最简单的基于FFmpeg的内存读写的例子：内存播放器

内存转码器：最简单的基于FFmpeg的内存读写的例子：内存转码器

11. ffmpeg相关工程的学习

学习完成ffmpeg，还可以了解一下基于ffmpeg的相关的多媒体开源工程，在这里推荐以下几个：

11.1 ffdshow

ffdshow是基于ffmpeg的解码器类库libavcodec的DirectShow Filter。广泛安装在PC上。

有关ffdshow的源代码分析文章（更新中）：

_ffdshow 源代码分析1 ：整体结构
 ffdshow 源代码分析 2：位图覆盖滤镜（对话框部分Dialog）
_

ffdshow 源代码分析 3：位图覆盖滤镜（设置部分Settings）
ffdshow 源代码分析 4：位图覆盖滤镜（滤镜部分Filter）
ffdshow 源代码分析 5：位图覆盖滤镜（总结）
ffdshow 源代码分析 6：对解码器的dll的封装（libavcodec）
ffdshow 源代码分析 7： libavcodec视频解码器类（TvideoCodecLibavcodec）
ffdshow 源代码分析 8：视频解码器类（TvideoCodecDec）
ffdshow 源代码分析 9：编解码器有关类的总结