压缩比特流的结构如图3-7所示。这些分层类似于MPEG-1。压缩的视频序列以包含图像分辨率、图像速率、码率等的序列头开始。 MPEG-2中有一个序列扩展头,其中包含视频格式、颜色基色、显示分辨率等。序列扩展头之后可以是具有时间码的可选GOP头,其后是包含时间参考、帧类型、视频缓冲验证器(VBV)延迟等的帧头。帧头可以由包含隔行、DCT类型和量化标度类型信息的图片编码扩展所接替,通常在其后跟随切片头以便于重新同步。在切片内,几个宏块被分组在一起,其中宏块的地址和类型、运动矢量、编码块模式等被放置在宏块中所有块的实际VLC编码的量化DCT系数之前。这些分片可以在任何宏块位置开始,并且不限于宏块行的开头。