Digital_Video_Concepts
  • 前言
    • 前言
  • 数字视频简介
    • 数字视频简介
    • 相关概念
    • 视频压缩
    • 权衡分析
    • 新型视频应用
    • 总结
  • 视频压缩技术
    • 数字视频压缩技术
    • 网络限制和压缩
    • 人类视觉系统
      • HVS模型
      • HVS的应用
    • 压缩技术概述
      • 数据结构和概念
      • 色度亚采样
      • 降低冗余
      • 熵编码
    • 压缩技术: 成本-收益分析
      • 变换编码技术
      • 预测编码技术
      • 其他编码技术
      • 率失真理论
    • 总结
  • 视频编码标准
    • 视频编码标准
    • 视频编码的国际标准概述
      • JPEG
      • H.261
      • MPEG-1
      • MPEG-2
      • H.263
      • MPEG-4 (Part 2)
      • AVC
      • HEVC
      • 视频质量的国际标准
    • 其他工业标准概述
      • VC-1
      • VP8
      • VP9
    • 总结
  • 视频质量度量
    • 视频质量指标
    • 压缩损失,伪像,视觉质量
      • 压缩损失:量化噪声
      • 常见的伪影
      • 影响视觉质量的因素
    • 视频质量的评估方法和指标
      • 主观视频质量评估
      • 客观视频质量评估和指标
        • 基于误差灵敏度的方法
        • 峰值信噪比
        • 基于结构相似性的方法
        • 基于信息保真度的方法
        • 时空方法
        • 基于显著性的方法
        • 网络感知方法
        • 基于噪声的质量指标
        • 客观编码效率指标
        • 基于ITU-T标准的客观的质量度量方法
    • 视频质量测量
      • 主观测量
      • 客观测量及其应用
    • 调参
      • 影响视频质量的参数
      • 参数之间的权衡
    • 总结
  • 视频编码性能
    • 视频编码性能
    • CPU速度和限制
    • 提升性能的动机
    • 对性能的考虑
      • 资源利用率最大化
      • 专用资源
      • 调整视频参数
        • 决定编码速度的因素
          • 系统配置
          • 工作负载的性质
          • 编码工具和参数
            • 独立数据单元
            • GOP结构
            • 码率控制
            • 多帧参考
            • 率失真的拉格朗日优化
            • 隔行扫描的帧/场模式
            • 自适应去块滤波器
          • 视频复杂度和格式
          • 基于GPU加速的优化
    • 性能优化方法
      • 算法优化
        • 快速算法
          • 快速变换算法
          • 快速帧内预测算法
          • 快速运动估计算法
          • 快速模式决策算法
          • 快速熵编码算法
        • 并行化方法
          • 数据分区
          • 任务并行化
          • 流水线技术
          • 数据并行化
          • 指令并行化
          • 多线程技术
          • 向量化技术
      • 编译器和代码优化
        • 编译器优化
        • 代码优化
      • 超频
      • 性能瓶颈
    • 性能度量和调整
      • 性能思考
      • 性能指标
      • 性能分析工具
    • 总结
  • 视频应用的耗电量
    • 视频应用的耗电量
    • 功耗及其限制
    • 媒体应用的工作负载
      • 媒体应用用途
    • 面向电量设计
    • 电源管理的思考
      • ACPI和电源管理
      • 操作系统电源管理
        • Linux电源管理
        • Windows电源管理
      • 处理器电源管理
      • Voltage-Frequency曲线
    • 电源优化
      • 架构级别优化
      • 算法级别优化
      • 系统整体级别优化
      • 应用级别优化
    • 电源度量
      • 度量方法论
      • 电源度量的思考
    • 测量电源的工具
      • DC电源测量系统
      • 电源测量的软件工具
    • 总结
  • 低功耗平台上的视频应用的功耗
    • 低功耗平台上的视频应用的功耗
    • 低功耗设备的重要事项
    • 低功耗平台上典型的媒体应用
      • 视频播放
      • 视频录制
      • 视频分发
      • 视频电话(会议)
    • 低功耗系统的状态
      • 简单ACPI模型的缺点
      • 待机状态
      • 低功耗状态的组合
    • 低功耗平台的电源管理
      • 电源管理的专用硬件
      • 显示器电源管理
    • 低功耗平台的思考
      • 软件设计
      • 体系结构的思考
    • 低功耗平台的电量优化
      • 快速执行然后关闭
      • Activity调度
      • 减少唤醒次数
      • 突发模式
      • 完善CPU和GPU的并行化
      • 显存带宽优化
      • 显示功耗优化
      • 存储功耗优化
    • 低功耗的度量
      • 电源的处理器信号
      • 媒体应用的功耗指标
    • 总结
  • 性能,电量以及质量的权衡
    • 性能,电量以及质量的权衡
    • 权衡分析的思考
      • 权衡分析的类型
      • 参数调整的效果
      • 优化策略
    • 权衡性能和功耗
      • Case Study
    • 权衡性能和质量
      • Case Study I
      • Case Study II
    • 权衡功耗和质量
      • Case Study
    • 总结
  • 结语
    • 结语
    • 重点和结论
    • 对未来的思考
Powered by GitBook
On this page

Was this helpful?

  1. 视频压缩技术

人类视觉系统

人类视觉系统(HVS,human visual system)是由大脑管理的、人类神经系统的一部分。神经系统和大脑通过大约1000亿个神经细胞进行电化学通讯,这些神经细胞称为神经元。神经元会产生脉冲或抑制现有脉冲,从而产生多种现象:从马赫带(Mach bands),到视觉频率响应的带通特性,再到眼睛的边缘检测机制。研究及其复杂的神经系统并不是一件难事,因为神经系统中只有两种信号:一种是长距离(long distances)信号,另一种是短距离(short distances)信号。无论这些信号所携带的信息是视觉信息、还是听觉信息、亦或是其他信息,对于神经元而言,这些信号都是相同的。

了解HVS的工作方式非常重要,因为:

  • 了解HVS可以解释用户对其观看的内容的准确度的感知。

  • 了解HVS有助于从诸如亮度(luminance)和空间频率(spatial frequencies))的视觉信号的物理量角度了解视觉信号的构成,还有助于制定信号保真度的度量。

  • 了解HVS有助于通过各种属性来表示感知到的信息——例如明度(brightness),颜色,对比度,运动,边缘和形状等。并且还有助于确定HVS对这些属性的敏感性。

  • 了解HVS有助于利用HVS的明显缺陷给用户以最真实的视觉感知。一个比较好的例子是彩色电视:HVS对颜色信息的丢失较不敏感,因此通过色度亚采样减小彩色电视的传输带宽则变得较为容易。

HVS的主要组成部分包括:眼睛,通向大脑的视觉通道,称为视觉皮层(visual cortex)的部分大脑。眼睛捕获光并将其转换为神经系统可以理解的信号,然后这些信号沿着视觉通道传输并处理。

因此,眼睛是视觉信号的传感器。眼睛是一个光学系统,外界的图像投射到位于眼睛后部的视网膜(retina)上。进入视网膜的光透过多层神经元,最后对光线敏感的感光器(light-sensitive photoreceptors)。感光器是可以将入射光能转换为神经信号的特殊神经元。

视网膜有两种类型的感光器:视杆细胞(rods)和视锥细胞(cones)。视杆细胞在低光度(暗视觉)下也较为敏感,但是无法区分光的颜色,仅能感知光的亮度,并且多分布在中央凹(foveal)的边缘。视杆细胞还负责周边视觉(peripheral vision),并有助于运动检测和形状检测。来自多个视杆细胞的信号会聚到单个神经元,从而使得周边视觉的灵敏度很高,但周边视觉的分辨率却很低。另一方面,视锥细胞具有色彩感知功能,其在强光(明视觉)下最为敏感,并且具有带通响应特性。视锥细胞分为三种类型,分别对长波(L),中波(M)和短波(S)比较敏感。视锥细胞构成颜色感知的基础。视锥细胞大多集中在视网膜的中央区域,该区域也称为中央凹。视锥细胞负责中央视觉,并且在黑暗中相对较弱。来自每个视锥细胞的信号会经过多个神经元的编码,从而导致其具备较高的分辨率,但是其灵敏度较低。

视网膜上大约有650万个视锥细胞,1亿个视杆细胞,视杆细胞的的数量比视锥细胞高出一个数量级。这使得HVS对运动信息和结构信息更为敏感,而对颜色信息的丢失则不敏感。另外,HVS的运动敏感性要高于纹理敏感性。例如,与运动的动物相比,HVS对于伪装不动的动物会更难以感知。最后,HVS的纹理敏感性高于视差(disparity)敏感性。例如,不需要太精确的分辨率就可以感知3D深度。

视觉信号通过视神经从视网膜传递到大脑的各个处理中心,因此即使视网膜可以完美地检测到光,这种检测能力也可能无法得到充分利用,或者不为大脑所感知。视觉皮层位于枕叶的距状裂周围,负责高级视觉的相关处理。

除了初级视觉皮层(占HVS的最大部分)外,视觉信号还会达到其他的大约20个皮层区域,但目前对这20多个其他皮层的功能的了解并不多。视觉皮层中的不同细胞具有不同的专长,并且它们对不同的刺激(例如特定的颜色,图案的方向,频率,速度等)具有不同的敏感性。

初级视觉皮层的简单细胞以可预测的方式响应特定的空间频率,方向和相位,并用作定向带通滤波器。复杂细胞是初级视觉皮层中最常见的细胞,也具有方向选择性。与简单细胞不同,复杂细胞可以在其感受范围中的任何位置对正确定向的刺激做出反应。某些复杂细胞是方向选择的,而某些细胞则对大小,角落,曲率或线条的突然中断敏感。

HVS能够适应大范围的光强度或亮度,从而使我们能够区分任何光线水平下相对于周围亮度的亮度变化。物体的实际亮度不依赖于其周围物体的亮度。但是,所感知的物体的亮度却会受到周围环境亮度的影响。因此,具有相同亮度的两个对象在不同的环境中可能具有不同的感知亮度。对比度用来度量这种相对亮度变化。等量的亮度对数的增量被视为等量的对比度的变化。HVS可以检测到1%的对比度变化。

Previous网络限制和压缩NextHVS模型

Last updated 5 years ago

Was this helpful?