一种提高多媒体视频服务质量的图像质量增强算法

    目前手机等手持轻便设备上常常具有摄像机，可以拍摄图像，但视频图像的质量往往不好。因此，在移动通讯中，即使是无损的编码和可靠的传输，都不能够得到满意的图像。但是视频质量是个重要而敏感的问题，改善视频的图像质量是提高产品竞争力的一个重要手段。

1 视频图像质量的增强及曝光补偿算法

1.1 视频增强系统的架构
      根据不同的环节，视频图像质量增强与改善的方法也不同，包括基于视频的采集终端和显示终端的增强、基于视频编译码器的增强、基于视频传输通道的增强等。本文主要讨论了基于信源级数位信号的质量增强。

      图1是质量增强系统的参考架构，主要包括3个模块。其中，视频质量分析器是以一个增强处理组为单位来分析、判断。

      在图1中，前两个功能模块都不是必须的。因为有效的图像质量增强算法一定是具有自适应性的，对于质量好的原始视频图像不会引起质量的下降；而有效的质量分析模块能排除一些不需要增强的图像序列，会减少很多用于图像增强的帧一级的计算开销。

1.2 视频增强的功能模块
      由于产生视频质量下降的原因不同，所以视频增强模块中对应的功能设计也不同，它可以是不同的增强算法的组合。图2举出了几种视频质量增强模块的功能，还可以扩展其它功能，比如抗抖动、去马赛克、块效应、去噪声平滑等。

      视频质量增强模块的位置也不是一成不变的，在整个通讯、传输系统中可以分为预处理和后处理两个部分，也可以放在不同的网络媒体网关处。

1.3 基于曝光补偿的图像增强算法
      曝光补偿是对在拍摄过程中由于曝光不良而导致的质量较差的视频图像进行增强。

      (1) 传统的图像增强技术，如全局亮度和对比度增强、伽马校正、对数压缩、直方图均衡化等，一般都不能提供比较令人满意的增强效果。传统的直方图均衡化处理通常产生非自然的图像和视觉效果，原因之一就是它不考虑原始图像的像素分布，而强令所有输出都是一个均匀的分布。

      文献[1]描述的算法是一个新型的直方图增强算法，使用了一个参数来控制对比度增强的程度，确保输出是一个忠实于原始图像分布的增强效果表现，没有产生视觉上的其它干扰效应。该算法的亮度分量也可以扩展到HIS彩色坐标系的颜色饱和度分量，但是增强效果对于视频序列来说不是很稳定。

      (2)某些先进的图像增强技术也有一定的局限性，如经典的多尺度Retinex（MSR）在动态范围压缩和局部对比度增强上比较有效，但都可能产生比较强的“Halo”即光环效应，并且在RGB3个不同的基带上的非线性处理，会产生不正确的颜色效果。

      文献[2]描述的算法是基于照明度-反射模型来改善在曝光不良条件下的数字图像的视觉质量，特点是通过估计场景的照明度和反射度，能够自适应地压缩动态范围、增强色调中频分量。与Retinex和彩色恢复的MSRCR算法相比，它在亮度增强和对比度增强之间有了一个更好的平衡，在颜色表现上更加连续和稳定，不会导致错误的色彩，而且减小了“Halo” 效应。但是此算法的计算复杂度也比较高。

      (3)色调再现是图像质量增强中一个很重要的因素，局部颜色校正算法能够提供比全局算法更有效的图像质量的改善。经典的全局色彩校正曲线只有在非常接近于原始的动态变化时，才会产生一个合理的校正效果。不过某些局部颜色校正算法也面临问题，如：迭代处理的计算复杂度、光环“Halo”效应、分割错误、缺少直接控制参数、不能够查表处理等。文献[3]描述的算法是基于掩模的方法，没有使用任何视觉感知模型，提供了一种可计算行强、简单的参数化框架来执行局部校正，与传统的局部校正算法相比有一定的改进。文献[4]描述的算法是两种独立过程——亮度增强和对比度增强的融合，不同于MSR算法，在MSR中这两种处理是同时实现的。

2 MSR曝光补偿图像增强算法
      针对视频图像在采集的过程中曝光不足或过度造成的图像过暗或过亮，以及曝光不均造成的同一幅图像中部分过亮部分过暗的现象，应采用曝光补偿算法来增强图像的质量。

2.1 传统的MSR算法的局限性
      大部分的光照条件下MSR都有很好的性能，但仍然需要改进的地方。如：恢复的颜色可能是预想之外的非自然的效果；在阴影或者暗区的彩色噪声也会同时被增强；在明暗交界处会产生黑条带和白条带效应；如果图像中亮区域很大而暗区域很小，那么小的暗区域的增强会不充分；大图像的卷积会需要较大的计算量；需要设置很多参数；边缘锐化不足等等。

2.2 改进的MSR曝光补偿增强算法
      对曝光补偿算法进行了深入分析之后，可以得出下面这种改进的、快速有效的MSR图像增强算法，分为5个步骤。

      (1) 用高斯方程定义增强的3个尺度：F(x,y)=K·exp(-(x 2+y 2)/C2)，其中K可由下式定义为：∫∫K·exp(-(x 2+y 2)/C2)dxdy=1，C是高斯常量。

      我们使用其3个尺度：C1等于图像尺寸的1%~5%，来定义更精细的细节；C2等于图像尺寸的10%~15%，控制图像细节和图像色彩的综合平衡；C3等于图像尺寸的30%~50%，定义图像的色彩。

      (2) 根据MSR的规则，计算原始彩色图像的亮度：

      (3) 由传统的MSR公式，我们可以得到：

改进的快速算法为：

      (4) 对上述结果应用Gain-Offset方法：R'(x,y)=G×(R(x,y)+b)，其中对比度的Gain和亮度的Offset是经验值，G=150，b=0.6。

      (5) 对每个通道设置同样的饱和度： ，

      其中：j =1时表示Red分量，j =2时表示Green分量，j =3时表示Blue分量，λ∈[0，1]是灵活自适应常数。

      饱和度由下面Ra计算校正，增强后的像素颜色平均值为：

      像素的增强值为：Rj(x,y )=Rj(x,y )+(Ra -Rj(x,y ))*Kj，其中：j =1时表示Red分量，j =2 时表示Green分量，j =3时表示Blue分量，K1=0.15，K2=K3=0.3。

      该算法的一个优点就是可以通过调整参数控制增强的程度，这样可以与质量检测模块的参数相结合，接受回馈控制程度。

3 实验结果
      试验拍摄使用的是在调试模式下的ZTE E700的手机，视频图像序列未经过任何压缩编解码处理，若经过编解码处理后图像效果要差一些。如图3所示，(a)是原始拍摄图像序列中的一帧；(b)是对应图像帧增强文献[3]算法的效果；(c)是本文改进的MSR算法的增强效果；(d)是图像增强文献[1]算法的增强效果。可以看出，与其它两种增强算法相比，本文提出的改进MSR增强算法在色彩的表现、对比度增强、动态范围压缩、连续性等方面都取得了非常好的效果。

4 结束语
      曝光补偿算法可以在原始视频图像的基础之上增强视频流媒体图像的质量，对提高多媒体视频服务的质量有很大意义。例如在移动可视电话的应用中，对人脸等关键目标加以增强，会得到令人满意的效果。

      在增强模块的功能设计中，各个增强功能对应各自不同的算法。算法的选择一方面要效果好，另一方面由于目前的视频图像增强算法是基于帧的，计算量也是考虑的关键。文献[5]的算法已经达到一定的改进，但仍有局限性。目前随着数字信号处理(DSP)硬件处理器性能的不断发展，一般的计算量都不会成为应用的障碍。文献[6]算法是基于FPGA、协处理器的硬件架构，它利用估计技术获得更快速、简单和有效的硬件体系结构，满足实时应用的要求。这种基于硬件架构的设计和实现也是系统未来的目标和方向。

5 参考文献
[1] Duan j, Qiu g. Novel histogram processing for color image enhancement [C]// Proceedings of 3rd International Conference on Image and Graphics, Dec 18-22, 2004, Hong Kong, China. 2004.
[2] Tao l, Tompkins r, Asari v. An illuminance-reflectance model for nonlinear enhancement of color images[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition: Vol 3, Jan 20-26, 2005, San Diego, CA, USA. Piscataway, NJ, USA: IEEE, 2005: 159.
[3] Moroney n. Local color correction using non-linear masking[C]//Proceedings 8th IS&T/SID Color Imaging Conference, Nov 7-10, 2000, Scottsdale, AZ, USA. Springfield, VA, USA: Society for Imaging Science and Technology, 2000: 108-111.
[4] Tao l, Asari v. An integrated neighborhood dependent approach for nonlinear enhancement of color images[C]// Proceedings of the International Conference on Information Technology: Coding and Computing: Vol 2, Apr 5-7, 2004, Las Vegas, NV, USA. Piscataway, NJ, USA: IEEE Computer Society, 2004: 138-139.
[5] Tao l, Asari v. Modified luminance based MSR for fast and efficient image enhancement[C]// Proceedings of the 32nd Applied Imagery Pattern Recognition Workshop, Oct 15-17, 2003, Washington, DC, USA. Piscataway, NJ, USA: IEEE, 2003: 174-179.
[6] Ngo h, Tao l, Asari v. Design of an efficient architecture for real-time Image enhancement based on a luma-dependent nonlinear approach [C]// Proceedings of the International Conference on Information Technology: Coding and Computing: Vol 2, Apr 5-7, 2004, Las Vegas, NV, USA. Piscataway, NJ, USA: IEEE Computer Society, 2004: 656-660.

收稿日期： 2007-04-28

[摘要] 随着有线和无线宽带技术的迅猛发展，多媒体应用和业务在多媒体通讯系统中也迅速发展起来。在移动通讯中，诸如手机等手持轻便设备上的摄像头所拍摄的图像，由于摄像头的能力有限和所拍摄条件的复杂多变，视频图像本身常常含有噪声，质量不好。但是视频的图像质量是个很敏感和重要的问题，随着目前移动视频应用越来越广泛，视频图像的增强对提高通讯系统中视频服务质量、提高多媒体产品的竞争力以及促进其长足发展都具有重要的作用。在移动可视电话的应用中，针对由于曝光不足、曝光过强或曝光不均而造成视频图像质量的下降，采用基于曝光补偿的图像质量增强算法，可以得到令人满意的效果。

[关键词] 视频服务质量；视频图像增强；曝光补偿；改进MSR算法

[Abstract] With the rapid developments of wired and wireless broadband technologies, multimedia applications and services have been widely used in the multimedia telecommunication systems. In mobile systems, the video images acquired by light and portable cameras such as those integrated in handsets are usually degraded by the noise because of the cameras’ limited capacities and the complicated changing environments. As mobile video services become more and more popular, the quality of video images also becomes more and more important for consumers to enjoy the video services, as well as to increase the multimedia product competencies and to help the long term developments. In the application of Third Generation (3G) mobile phones, the qualities of under-exposed, over-exposed and nonuniform-exposed video images could be enhanced by the exposure compensation algorithm, achieving pleasing video effects. Key words: quality of video services; video image enhancement; exposure compensation; improved MSR algorithm

[Keywords] quality of video services; video image enhancement; exposure compensation; improved MSR algorithm