阅读《视音频编解码技术零基础学习方法-雷霄骅》摘要

LearnLHC

墨衍会员 · AI 创作全网分发码龄9年

关注

转载最新推荐文章于 2023-07-06 22:19:41 发布 588 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

今天闲来无事，逛论坛无意间发现中国传媒大学-雷霄骅，雷神的博文。感叹雷神文章通俗易懂，以及他无私奉献的精神之余，特地写下一片简短的总结。

0.视频常识

平时能遇到各种各样的视频文件*.mp4,*.flv,*.mkv,*.rmvb,*.avi等等。这里看到的文件后缀都是音视频文件不同的封装格式！但是不同的封装格式有支持不同的音视频编码标准。可以通过一个工具查看对应视频采用的技术-MediaInfo！主要的封装格式以及对应的编码标准可以对照下表：

主要封装格式一览

名称	推出机构	流媒体	支持的视频编码	支持的音频编码	目前使用领域
AVI	Microsoft Inc.	不支持	几乎所有格式	几乎所有格式	BT下载影视
MP4	MPEG	支持	MPEG-2, MPEG-4, H.264, H.263等	AAC, MPEG-1 Layers I, II, III, AC-3等	互联网视频网站
TS	MPEG	支持	MPEG-1, MPEG-2, MPEG-4, H.264	MPEG-1 Layers I, II, III, AAC,	IPTV，数字电视
FLV	Adobe Inc.	支持	Sorenson, VP6, H.264	MP3, ADPCM, Linear PCM, AAC等	互联网视频网站
MKV	CoreCodec Inc.	支持	几乎所有格式	几乎所有格式	互联网视频网站
RMVB	Real Networks Inc.	支持	RealVideo 8, 9, 10	AAC, Cook Codec, RealAudio Lossless	BT下载影视

1.视频播放器原理

视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。他们的过程如图所示。

解协议：通常是将网络传输的流媒体数据解析成标准的封装格式数据，传输协议通常包含RTMP，RTP，HTTP。这些传输协议通常还包含一些信令数据以支持流媒体的播放/暂停等。网络传输的通常形式是：protocol header+data。通俗讲，解协议的任务就是讲data内的音视频数据拿出来。

解封装：此步骤的任务就是将上一步解协议后等到的封装流进行再解析，得到音频数据和视频数据。

解码：将解封装后的压缩音视频数据解压成非压缩的音视频数据。压缩的视频数据解压成YUV或者RGB；压缩的音频数据解压成标准的PCM数据。

视音频同步：就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

2.音视频编码标准

主要视频编码一览

名称	推出机构	推出时间	目前使用领域
HEVC(H.265)	MPEG/ITU-T	2013	研发中
H.264	MPEG/ITU-T	2003	各个领域
MPEG4	MPEG	2001	不温不火
MPEG2	MPEG	1994	数字电视
VP9	Google	2013	研发中
VP8	Google	2008	不普及
VC-1	Microsoft Inc.	2006	微软

下面包含一些码流分析工具：

Elecard：http://www.elecard.com/en/index.html

CodecVisa：http://www.codecian.com/

Intel Video Pro Analyzer 2014: https://software.intel.com/en-us/media-solutions-portal，该工具是专门针对最新的H.265和VP9的

雷神自己专门写了一个H.264的分析工具：https://blog.csdn.net/leixiaohua1020/article/details/17933821 膜拜~~~

主要音频编码一览

名称	推出机构	推出时间	目前使用领域
AAC	MPEG	1997	各个领域（新）
AC-3	Dolby Inc.	1992	电影
MP3	MPEG	1993	各个领域（旧）
WMA	Microsoft Inc.	1999	微软平台