本站原创摘 要:视频转码使得不同视频数据格式之间能够互相兼容,在视频应用中有很高的实用价值.主要综述视频转码原理、视频转码体系结构、视频转码技术、视频转码算法等关键问题,在此基础之上展望视频转码技术的未来应用前景.
关 键 词 :转码原理,转码体系结构,转码技术,转码算法
中图分类号:TP
文献标识码:A
文章编号:1672-3198(2010)08-0280-02
1.引言
在通用的多媒体访问中,终端的数据处理能力和显示能力不同,接入网的带宽、误码率和丢包率等信道特性不同,用户的感兴趣内容不同,因此,传输的数据需要动态地适应用户环境的变化.转码正是解决这一问题的重要技术之一.转码还可用于在压缩视频流中增加公司标识、水印以及抗误码特性,数字视频快进、回放等模式的支持和视频点播等方面.
2.视频转码含义
从狭义上讲,视频转码是指将视频数据从一种格式转换为另一种格式,格式包括编码标准、码率、帧率和空间分辨率等.视频转码既包括按相同的视频编码标准压缩的码流间转换(以下简称“同构视频转码”),也包括按不同视频编码标准压缩的码流间相互转换(以下简称“异构视频转码”).视频转换编码,简称转码,是指视频从一种格式到另一种格式的转换,其中格式是由码率、帧率、空间分辨率及编码语法所表征.
从广义上讲,所有对视频流的操作都可被视为视频转码,例如在视频流中嵌入图标、水印信息以及加入差错抑制特征的数据等.视频转码近年得到了广泛的重视,在IEEE等权威期刊和国际会议上已有较多的文献.
视频转码实现了编码、存储和传输、解码的分离,使得压缩后固定格式的多媒体数据能够被灵活地传输和访问,其主要目的就是使得异质网络之间、不同的接入设备之间以及不同视频数据格式之间能够互相兼容.
3.视频转码原理
最直接的视频转码方案就是将一个视频与一个视频编码器进行直接的级联.视频首先将输入视频流完全解码至空域(像素域),然后利用视频编码器将解码后的图像根据分辨率、码率、编码标准等要求进行重新编码.直接级联的转码具有非常高的计算复杂度,而且解码与编码的级联通常会给图像质量带来额外的失真.因此,转码研究需要考虑包括计算复杂度、存储复杂度、视频质量和转码灵活性等多种因素影响下的最佳折中.与一般的视频编码不同的是,原始的视频码流中己包含了第一次编码时的信息,这些信息往往反映了原始视频序列的部分统计特性,如:纹理状况、运动趋势、场景变换等等.视频转码在解码的过程中可以得到这些信息,并可利用这些信息来加速和优化编码过程.目前的视频编码框架均是通过对直接级联转码结构上进行部分简化和模块合并建立起来的.
4.视频转码的体系结构
4.1 空域转码
空域结构的转码器(sDTA)在编码端和解码端各有一个环路,使得两者能独立地、无漂移误差地工作.它支持不同码率、帧率、分辨率以及标准间的转换.这种结构的转码器也存在缺点,就是运算复杂,不支持实时性业务.因此,在实际的应用中可根据实际需要去处某些模块以达到提高运算效率的目的.
4.2 频域转码
考虑到DCT/DICT是线性运算,因此空域转码模型可以等价地用一种结构更简单的频域转码模型来代替.与空域转码模型类似,当视频序列的分辨率不需改变时,频域转码模型也可作进一步的简化.在频域转码结构中,变换和反变换被省略.相应地,运动补偿在频域中进行,并只需要比空域更少的运算量.
频域转码结构减少了运算复杂度,但仍然存在一些问题.尽管从理论上DCT/DCT是线性可逆的运算,但由于系数精度和截断的影响,产生了非线性的因素,同样,在亚像素运动补偿插值中,也会出现非线性的操作.这使得频域转码不可避免地会受到“漂移误差”(drift eorr)的影响.
4.3 混合转码
空域转码结构具有较好的转码性能,并不受漂移的影响,频域转码结构可以有效地减少运算量.混合转码框架基于此,利用两种结构的组合,可以有效地达到速度和质量的折中.
5.视频转码技术
5.1 模式选择
视频转码中的宏块模式选择主要处理以下两类问题:转码前视频标准里定义的一些宏块模式是转码后的标准里没有定义的,在降低分辨率的转码中,使转码前的多个宏块在转码后就成为了一个宏块.
5.2 重量化
在视频转码中,重量化通常在频域转码结构中用于降低码流比特率,进行比较粗糙的码率改变.重量化是进行码率控制的一种重要手段.
5.3 码率控制
视频编码中码率控制的关键问题在于如何在给定的应用环境限制(如信道带宽、时延等)下,通过确定量化参数来达到最佳的图像质量.和模式选择、运动估计一样,码率控制的方案并不影响编码器与之间的匹配.
6.视频转码主要算法
6.1 同类视频转码
同类视频转码指把同一种编码标准的视频数据流从适合某一传输环境的压缩形式转换成适合于另一传输环境的压缩形式.转码器中主要有四大模块,即编码模块、解码模块、图像尺寸变换模块以及码率控制模块.主要有空间分辨率转码、码率转码以及运动矢量重用等算法.
6.2 不同类视频转码
为提供不同视频压缩编码标准间的互操作性,需要将视频压缩码流从某一种压缩标准转码成为另一种视频压缩标准的码流,称为不同类视频转码.这种转码可以为不同条件的网络间提供透明的连接,一般用于具有相似压缩算法的标准间的转换.不同类视频转码器的设计思想是在充分分析不同标准间异同的基础上,采用类似于同类码流间视频转码的结构和算法来设计、研究视频转码的基本结构.
7.视频转码应用展望
视频转码技术对压缩的视频码流进行端到端的处理,使得转码后的压缩码流更能适应传输信道带宽以及接收端的要求.视频转码技术能够灵活地支持多种媒体格式,并且具有较高运算能力、低成本和灵活等的特点,它已成为数字多媒体怎么写作发展的一项重要技术.
视频转码技术在未来几年还将是数字媒体网络网关的关键技术和应用热点.首先,不同类型的转码都可能满足特定的要求,动态地确定一个优化的转码策略是一个有待解决的优化问题.它需要根据视频转码的特点和率失真理论联合优化比特分配和缓冲区控制问题,以在转码质量、有效性、可靠性及安全性等方面取得最佳平衡.其次,视频转码质量的客观评价研究较少,特别是如何将人眼的主观评价及不同的约束条件融入客观评价过程值得研究.
随着各种新的视频编码标准的制定、计算机软硬件技术和网络技术的发展,要有效地解决同一框架内部和不同框架之间的视频转码问题,就需要从转码基础理论出发,建立一种通用的视频转码框架.在这一方面,视频转码在理论研究和应用技术方面仍有许多工作要做.