2023年12月24日发(作者：)
精品文档
HLS，Http Live Streaming 是由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是M3U8描述文件，二是TS媒体文件。
1、M3U8文件
用文本方式对媒体文件进行描述，由一系列标签组成。
#EXTM3U
#EXT-X-TARGETDURATION:5
#EXTINF:5,
./
#EXTINF:5,
./
#EXTM3U：每个M3U8文件第一行必须是这个tag。
#EXT-X-TARGETDURATION：指定最大的媒体段时间长度（秒），#EXTINF中指定的时间长度必须小于或等于这个最大值。该值只能出现一次。
#EXTINF：描述单个媒体文件的长度。后面为媒体文件，如./
2、ts文件
ts文件为传输流文件，视频编码主要格式h264/mpeg4，音频为acc/MP3。
ts文件分为三层：ts层Transport Stream、pes层 Packet Elemental
Stream、es层 Elementary Stream. es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层就是在pes层加入数据流的识别和传输必须的信息
。
1欢迎下载
精品文档
注： 详解如下
（1）ts层 ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。
ts header
sync_byte 8b 同步字节，固定为0x47
传输错误指示符，表明在ts头的adapt域后由一个transport_error_indicator 1b 无用字节，通常都为0，这个字节算在adapt域长度内
payload_unit_start_indicator
transport_priority
1b
负载单元起始标示符，一个完整的数据包开始时标记为1
传输优先级，0为低优先级，1为高优先级，通常取1b
。
2欢迎下载
精品文档
0
pid
transport_scrambling_control
是否包含自适应区，‘00’保留；‘01’为无自适应域，仅adaptation_field_control 2b 含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。
递增计数器，从0-f，起始值不一定取0，但必须是连续的
13b pid值
2b 传输加扰控制，00表示未加密
continuity_counter 4b
ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。
PAT表：他主要的作用就是指明了PMT表的PID值。
PMT表：他主要的作用就是指明了音视频流的PID值。
音频流/视频流：承载音视频内容。
adaption
。
3欢迎下载
精品文档
adaptation_field_length
flag
1B 自适应域长度，后面的字节数
1B 取0x50表示包含PCR或0x40表示不包含PCR
Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。
PCR 5B
stuffing_bytes xB 填充字节，取值0xff
自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。
PAT格式
table_id
section_syntax_indicator
zero
reserved
section_length
transport_stream_id
1b
2b
固定为0
固定为11
8b PAT表固定为0x00
1b 固定为1
12b 后面数据的长度
16b 传输流ID，固定为0x0001
。
4欢迎下载
精品文档
reserved
version_number
current_next_indicator
section_number
last_section_number
开始循环
2b
5b
固定为11
版本号，固定为00000，如果PAT有变化则版本号加1
固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表
1b
8b
8b
固定为0x00
固定为0x00
节目号为0x0000时表示这是NIT，节目号为0x0001时,表示这是PMT
固定为111
program_number 16b
reserved
PID
结束循环
CRC32
3b
13b 节目号对应内容的PID值
32b 前面数据的CRC32校验码
PMT格式
table_id
section_syntax_indicator
zero
reserved
section_length
program_number
reserved
version_number
current_next_indicator
1b 固定为1
8b PMT表取值随意，0x02
1b
2b
固定为0
固定为11
12b 后面数据的长度
16b 频道号码，表示当前的PMT关联到的频道，取值0x0001
2b
5b
固定为11
版本号，固定为00000，如果PAT有变化则版本号加1
1b 固定为1
。
5欢迎下载
精品文档
section_number
last_section_number
reserved
PCR_PID
reserved
program_info_length
开始循环
8b
8b
3b
固定为0x00
固定为0x00
固定为111
13b PCR(节目参考时钟)所在TS分组的PID，指定为视频PID
4b 固定为1111
12b 节目描述信息，指定为0x000表示没有
流类型，标志是Video还是Audio还是其他数据，h.264stream_type 8b
编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03
固定为111 reserved
elementary_PID
reserved
ES_info_length
结束循环
CRC32
3b
13b 与stream_type对应的PID
4b 固定为1111
12b 描述信息，指定为0x000表示没有
32b 前面数据的CRC32校验码
（2）pes层
pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。
pes start code 3B 开始码，固定为0x000001
音频取值（0xc0-0xdf），通常为0xc0
视频取值（0xe0-0xef），通常为0xe0
pes packet 2B 后面pes数据的长度，0表示长度不限制，
。
6欢迎下载
stream id 1B
精品文档
length
flag
flag
只有视频数据长度会超过0xffff
1B 通常取值0x80，表示数据不加密、无优先级、备份的数据
1B 取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length 1B 后面数据的长度，取值5或10
pts
dts
5B 33bit值
5B 33bit值
pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。
音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。
举例说明：
I P B B B P
读取顺序： 1 2 3 4 5 6
dts顺序： 1 2 3 4 5 6
pts顺序： 1 5 3 2 4 6
点播视频dts算法：
dts = 初始值 + 90000 / video_frame_rate，初始值可以随便指定，但是最好不要取0，video_frame_rate就是帧率，比如23、30。
pts和dts是以timescale为单位的，1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。
。
7欢迎下载
精品文档
用一帧的timescale除以采样频率就可以转换为一帧的播放时长
点播音频dts算法：
dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame这个值与编解码相关，aac取值1024，mp3取值1158，audio_sample_rate是采样率，比如24000、41000。AAC一帧解码出来是每声道1024个sample，也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。
直播视频的dts和pts应该直接用直播数据流中的时间，不应该按公式计算。
（3）es层
es层指的就是音视频数据，我们只介绍h.264视频和aac音频。
h.264视频：
打包h.264数据我们必须给视频数据加上一个nalu（Network Abstraction
Layer unit），nalu包括nalu header和nalu type，nalu header固定为0x00000001（帧开始）或0x000001（帧中）。h.264的数据是由slice组成的，slice的内容包括：视频、sps、pps等。nalu type决定了后面的h.264数据内容。
F 1b forbidden_zero_bit，h.264规定必须取0
nal_ref_idc，取值0~3，指示这个nalu的重要性，I帧、sps、pps通常取3，P帧通常取2，B帧通常取0
Type 5b 参考下表
nal_unit_type
0 未使用
NRI 2b
说明
。
8欢迎下载
精品文档
1
2
3
4
5
6
7
8
9
10
11
12
13~23
24~31
非IDR图像片，IDR指关键帧
片分区A
片分区B
片分区C
IDR图像片，即关键帧
补充增强信息单元(SEI)
SPS序列参数集
PPS图像参数集
分解符
序列结束
码流结束
填充
保留
未使用
红色字体显示的内容是最常用的，打包es层数据时pes头和es数据之间要加入一个type=9的nalu，关键帧slice前必须要加入type=7和type=8的nalu，而且是紧邻。
一、背景介绍
。
9欢迎下载
精品文档
之前我做了一个项目，要求写一个TS流解析的模块，因此看了ISOIEC
13818-1文档，外加很多人的博客来帮助理解，来了解TS流格式是个什么东西，收货颇多。因此我觉得是时候发点干货回馈社会了。
二，TS流背景介绍
在介绍具体字段，参数这些头疼，烦人的东西之前，我觉得有必要先介绍下TS流的应用背景，有了这个概念，再去深入学习，将如虎添翼。TS流最经典的应用就是我们平时生活中的数字高清电视。我们看的电视码流就是TS封装格式的码流，电视码流发送过来后，就会由我们的机顶盒进行解封装，解码，然后传给电视机进行播放。这里就有一个问题，我们看电视，有很多的频道，节目，对应码流是怎么区分的呢？（TIPS，频道和节目的关系，比如我们有中央电视台综合频道，下属CCTV-1~CCTV14这些节目）TS流引入了PAT和PMT两张表格的概念来解决这个问题。
三，PAT和PMT
TS流是以每188字节为一包，我们可以称为ts packet。这个ts packet有可能是音视频数据，也有可能是表格。举例说明，TS流的包顺序为：
PAT，PMT，DATA，DATA，，，，，，PAT，PMT，DATA，DATA，，，，，，
。
10欢迎下载
精品文档
每隔一段时间，发送一张PAT表，紧接着发送一张PMT表，接着发送DATA（音视频）数据。
那么你可能要问了，有了这2张表格怎么区分频道，节目呢？PAT表格里面包含所有PMT表格的信息，一个PMT表格对应一个频道，比如中央电视台综合频道。而一个PMT里面包含所有节目的信息，比如CCTV1~CCTV14。在实际情况中我们是有很多频道的，所以PMT表格可不止一张，有可能是PAT，PMT，PMT，PMT，，，DATA，DATA，，，，PAT，PMT，PMT，，，DATA，DATA这样的形式。除了这个设定外，每个频道或节目都有自己的标识符（PID），这样当我们拿到一个DATA，解析出里面的PID，就知道是什么节目，并且也知道所属频道是什么了。我们看电视的时候，会收到所有节目的DATA，当我们正在看某个节目的时候，机顶盒会把这个节目的DATA单独过滤出来，其它的舍弃。
四，ts packet格式讲解
ts packet我们知道一包是188字节，它分为ts header和ts body。其中ts header里面会有个PID字段标识着当前ts body的类型。ts body有可能是表格，也有可能是DATA，表格没什么好说的，我们说下DATA的结构。DATA包
其实就是PES包，而PES包是对ES的封装，PES包分为PES头加ES。这里的ES是原始流，是指经过压缩后的H264，aac等格式的音视频数据。那么帧数据，PES包，ts packet包的对应关系是什么样的呢？一。
11欢迎下载
精品文档
帧数据封装成一个PES包（含PES头和ES），这个PES包如果小于188字节，那么一个ts packet就可以放下了。最终ts packet一包的格式就是ts header+填充字节+PES包（PES头+ES）。填充字节的意思是如果ts header加上PES包不满188字节，这个时候肯定要填充下使其凑满188字节发送。是不是很简单？那么我们知道视频帧是很大的，往往大于188字节，这个时候怎么存放呢？还是把一个视频帧放入一个PES包。然后分别放在几个ts packet包即可。结构如下：
第一个ts packet:ts header+PES头+部分ES
第二个ts packet:ts header+部分ES
...
最后一个ts packet:ts header+填充字节+部分ES
PES头加上这些部分ES，就是一个PES包。
五，具体字段解析
具体字段请参考ISOIEC 文档，看起来应该没什么困难，这里不再累述。
传送门：/download/yuhengyue/9978175
。
12欢迎下载
精品文档
但是其中ts header里的payload_unit_start_indicator和pes header里的PES_packet_length这两个字段，在解析ts流的时候至关重要，新手可能比较困惑，不懂其意，我得好好讲讲。
payload_unit_start_indicator有两个值，0或1，具体的意思我们来举个例子。假设有两个视频帧，每个视频帧假设都需要3个ts packet包来存放一个PES包。那么一共有6个ts packet，它们的payload_unit_start_indicator的值为1,0,0,1,0,0，值为1代表一个帧的开始，下一个1就是新的一帧的开始了。
PES_packet_length顾名思义就是PES包的长度，但是注意，它是2个字节存储的，这意味着，最大只能表示65535，一旦视频帧很大，超过这个长度，怎么办，就把PES_packet_length置为0，这是ISO标准规定的。所以在解析的时候，不能以PES_packet_length为准，要参考payload_unit_start_indicator。
。
13欢迎下载
精品文档
欢迎您的下载，
资料仅供参考！
致力为企业和个人提供合同协议，策划案计划书，学习资料等等
打造全网一站式需求
。
14欢迎下载
发布评论