运动模糊图像复原技术及其应用.ppt

《运动模糊图像复原技术及其应用.ppt》由会员分享，可在线阅读，更多相关《运动模糊图像复原技术及其应用.ppt（93页珍藏版）》请在一课资料网上搜索。

1、运动模糊图像复原技术及其应用,赵丹培 宇航学院图像处理中心D座407 E-mail: 2010年5月,目 录,7.1 图像复原技术概述 7.2 运动模糊图像复原的基本原理 7.3 典型的运动模糊图像复原方法 7.4 几种恢复方法的性能比较 7.5 图像复原质量评价 7.6 运动图像复原方法的应用,什么是图像复原技术？,图像复原技术也常被称为图像恢复技术，是当今图像处理研究领域的重要分支。 图像复原技术能够去除或减轻在获取数字图像过程中发生的图像质量下降（退化）问题，从而使图像尽可能地接近于真实场景。 什么是图像退化？ 景物形成过程中可能出现畸变、模糊、失真或混入噪声，使所成图像降质，称为图像“

2、退化”。,7.1 图像复原技术概述,引起图像退化的原因：,造成图像退化的原因有很多，典型原因表现为： 成像系统的象差、畸变、带宽有限等造成的图像失真； 由于成像器件拍摄姿态和扫描非线性引起的图像几何失真； 运动模糊，成像传感器与被拍摄景物之间存在相对运动，引起所成图像的运动模糊； 灰度失真，光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同； 辐射失真，由于场景能量传输通道中的介质特性如大气湍流效应，大气成分变化引起图像失真； 图像在成像、数字化、采集和处理过程中引入的噪声。,图像复原与图像增强的关系：,图像复原与图像增强存在密切的联系，它们都是为了改善图像的视觉效果，得到某种意

3、义上的改进图像，也就是希望改进输入图像的视觉质量，便于后续处理。 图像增强技术：更偏向主观判断，即要突出所关心的信息，满足人的视觉系统，具有好的视觉结果。 图像复原技术：根据图像畸变或退化的原因，进行模型化处理，将质量退化的图像重建或恢复到原始图像，即恢复退化图像的本来面目，忠实于原图像。因此必须根据一定的图像退化模型来进行图像复原。,图像复原方法的分类：,图像复原大致可以分为两种方法： 一种方法适用于缺乏图像先验知识的情况，此时可对退化过程建立模型进行描述，进而寻找一种去除或消弱其影响的过程，是一种估计方法； 另一种方法是针对原始图像有足够的先验知识的情况，对原始图像建立一个数学模型并根据它

4、对退化图像进行拟合，能够获得更好的复原效果。 两种方法各有优缺点，第一种方法不需要先验知识，但其缺点是速度较慢，效果也不如第二种好；而第二种方法只要有正确的模型，就可在相对较短的时间内得到较好的效果，其缺点是建立准确的模型通常是十分困难的。,从方法和应用角度的分类：,频域图像恢复方法：逆滤波、维纳滤波等； 线性代数恢复方法：线性代数滤波方法、空间域滤波方法等； 非线性代数恢复方法：投影法、最大熵法、正约束方法、贝叶斯方法、蒙特卡罗方法等； 频谱外推法：哈里斯外推法、长球波函数外推法； 反卷积恢复方法：盲复原方法 典型应用： 大气湍流退化图像复原； 离焦衍射图像复原； 高速运动模糊图像的复原；,

5、频域法,逆滤波法,维纳滤波法,约束最小平方 滤波法,小波变换法,线性代数 复原法,无约束复原法,有约束复原法,伪逆滤波法,奇异值矩阵分解 SVD法,非线性代数 复原法,凸集投影法,最大熵复原法,贝叶斯复原法,遗传进化法,频谱外推法,哈里斯外推法,长球波函数 外推法,能量连续降减法,神经网络法,消除运动模糊的几种补偿方法,运动模糊的实质是由于相机与景物之间相对运动而造成曝光瞬间感光介质相对被照物影像相对运动，也就是说存在着像移。如果能减小或者消除这种像移就可以抑制运动模糊的产生。目前常用的消除像移的方法有以下几种： 机械式像移补偿法 光学式像移补偿法 电子式像移补偿法 集成像移补偿法 图像式像移

6、补偿法,机械式补偿法： 利用机械结构及其组件在曝光时移动光感应介质，使剩余像移量尽可能小，从而达到抑制运动模糊的目的。 该补偿法适用于飞行器横滚、俯仰和相机扫描引起的运动模糊，主要用在胶片式垂直照相相机上，实现时是用拉动型量片机构移动胶片并精确控制卷片机构以保证必要的补偿精度。美国的KA-112A航空侦察相机用移动胶片法消除扫描和横滚造成的像移。 优点：感光面上各点的补偿速度一样且没有附加光学系统。 缺点：它对结构的运行及制作精度要求高、需大功率传动装置，限制了它在航空相机特别是广角镜头相机上的应用；感光材料逐渐在由胶片往CCD 转变，其相应的像移补偿方法也在发生改变。,光学式像移补偿法,光学

7、式像移补偿法的原理是按照与相机焦面上像移速度一致的原则旋转或移动光路元件以改变光线方向达到抑制运动模糊的目的。 目前常用旋转物镜前方的回转反射镜补偿前向像移。 优点：光学式像移补偿法的反射镜体积小、重量轻且易控制，除补偿前向像移外还能补偿俯仰和偏航引起的像移，主要用在长焦距全景式相机上。 KA-112A相机和美国芝加哥航空工业公司八十年代初研制的KS-146航空侦察相机都用了该补偿法，它目前用得较多。,电子式像移补偿法,电子式像移补偿方法主要是针对CCD相机，利用一系列 CCD电荷转移驱动技术来控制CCD曝光以同步像移速度的补偿法。目前国内外采用的电子式像移补偿法有针对TDI CCD（Time

8、 Delay and Integrate Charge Coupled Device）的真角度像移补偿法和对面阵CCD的阶梯式像移补偿法。 它已应用到美国的CA-260、CA-270、CA-290 等电光分幅式航空侦察相机上，带有这种阶梯式像移补偿技术的面阵CCD器件目前属于军事禁售品。,集成像移补偿法,集成像移补偿法是最新的像移补偿技术，它是将像移补偿同芯片集成为一体，目前加拿大Dalsa公司为美国海军实验室做成了5kByte 5kByte带像移补偿功能的芯片，帧频为2.5HZ，为超高分辨率CCD探测器。,图像式像移补偿法,图像式像移补偿又称软件补偿法。模糊图像是由清晰图像与点扩散函数PSF

9、卷积而得。根据这个原理，由退化图像进行图像复原（Image Restoration，IR）来完成像移补偿。图像式像移补偿法是对已有数字图像的后期处理，是一种被动式的补偿方法且必须用在CCD相机上，通常是对事后图像进行复原和分析。 优点：图像式像移补偿的成本低、软件算法相对比较成熟、应用灵活等特点现已经引起广泛关注，随着DSP等快速高效器件的推广使用，这种方法将很快用于准实时的像移补偿。,模糊图像 复原后的清晰图像,举例：图像式补偿方法的应用举例,图像复原的本质是根据图像退化原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需的信息，沿着使图像降质的逆过程恢复图像本来面貌。广义上讲，图像

10、复原是一个求逆过程，逆问题经常存在非唯一解，甚至无解。 实际的复原过程是设计一个滤波器，使其能从降质图像 计算得到真实图像的估值 ，使其根据预先规定的误差准则，最大程度地接近真实图像 。 引出：如何建立图像的退化模型？,小 结,7.2 运动模糊图像复原的基本原理,运动模糊的基本原理 运动模糊图像的退化模型 运动模糊图像的点扩散函数 匀速直线运动模糊点扩散函数的参数确定 运动模糊点扩散函数的离散化,在用摄像机获取景物图像时，如果在相机曝光期间景物和摄像机之间存在相对运动，例如用照相机拍摄快速运动的物体，或者从行驶中的汽车上拍摄外面静止不动的景物时，拍得的照片都可能存在模糊的现象，这种由于相对运动

11、造成图像模糊现象就是运动模糊。 下图为实验室实际拍摄的含有噪声干扰的运动模糊图像。,7.2.1 运动模糊的基本原理,由于高速运动产生的运动模糊图像,以拍摄快速运动的汽车为例来分析运动模糊图像的形成过程。,运动模糊图像成像原理,解决运动模糊的方法一般有两种: 一是减少曝光时间。但相机的曝光时间并不可能无限制地减小，随着曝光时间减小，图像信噪比减小，图像的质量也较低，所以这种方法用途极其有限; 二是建立运动图像的复原模型，通过数学模型来解决图像的复原问题。这种方法具有普遍性，因而也是研究解决运动模糊的主要手段。,举例：以航空侦察相机为例讲述运动模糊的基本原理,当飞机以速度V在空中飞行时，如图所示，

12、地面景物A点相对飞机向后移动到A。通过光学系统成像于a点，在CCD靶面上像移速度为： V：飞机飞行速度； H：飞行高度； ：光学系统最大焦距。 在CCD摄像机每场积分时间内像移量为： 为CCD摄像机的场积分时间,像移模型,小结： 像移量的存在导致图像模糊，为得到清晰图像，必须要对像移进行控制。在实际工程中，CCD的积分时间不能无限的缩小，而且高帧频CCD的价格很贵。积分时间缩短后，为了保证图像质量，所需的地面照度就越大，这就限制了相机的工作条件，在许多情况下是不能接受的。 目前解决运动模糊的主要手段是通过了解图像的退化过程，建立运动图像的复原模型，通过数学模型来解决图像的复原问题。,在实际降质

13、过程中，降质的另一个复杂因素是随机噪声，考虑有噪声的图象恢复，必须知道噪声统计特性以及噪声和图像信号的相关情况，这是非常复杂的。 实际中假设是白噪声-频谱密度为常数，且与图像不相关，(一般只要噪声带宽比图像带宽大得多时，此假设成立)，由此得出图像退化模型。 可以将图像退化过程描述成一个退化系统，这里原图像 是通过一个系统 并与加性噪声 相加退化成图像 的，其过程如下图所示：,7.2.2 运动模糊图像的退化模型,模糊图像的一般退化模型：,图像降质过程模型,图像的降质公式：,以后讨论中对降质模型H作以下假设： H是线性的 H是空间（或移位）不变的 对任一个 和任一个常数 都有： 就是说图像上任一点

14、的运算结果只取决于该点的输入值，而与坐标位置无关。,如果考虑噪声的影响，运动模糊图像的退化模型可以描述为一个退化函数和一个加性噪声项 ，设一幅输入图像 ，则产生的退化图像 可以用下式表示： 因此，图像复原是在已知 ， ， 等一些先验知识的条件下，求得 的过程。 由于空间域的卷积等同于频率域的乘积，所以上式的频率域描述为：,讨论恢复问题： 若略去噪音N，得： 反变换,可求 F f,若H有零点，G也有零点出现，0/0的不定值，这样模型不保证所有逆过程都有解？ 通常， 在离频率平面原点较远的地方数值较小或为零，因此，必须限制图像复原在原点周围的有限区域进行，即将退化图像的傅里叶谱限制在 没有出现零点

15、而且数值又不是太小的有限范围内。 由于引起退化的因素众多，而且性质不同，而目前又没有统一的恢复方法，许多人根据不同的物理模型，采用不同的退化模型、处理技巧和估计准则，从而导出了多种恢复方法。 有效方法：针对特定条件，用特定模型处理。,图像复原可以看成是一个预测估计的过程，由已给出的退化图像 估计出系统参数 ，从而近似地恢复出 ， 为一种统计性质的信息。这样图像退化过程的数学表达式就可以写为： 通常，在不考虑加性噪声的情况下，上式可以作如下简化： 将 理解成一种运算，而模糊恢复的过程就是由 恢复出 的过程，也就是寻求逆变换 使得,我们用卷积的方法模拟出运动模糊的退化过程，可以描述为： 称为模糊算

16、子或点扩散函数，“*”表示卷积， 表示原始(清晰)图像， 表示观察到的退化图像。 图像复原的过程：,在所有运动模糊中，由匀速直线运动造成图像模糊的复原问题更具有一般性和普遍意义。因为变速的、非直线运动在某些条件下可以被分解为分段匀速直线运动。 本节只讨论由匀速直线运动而产生的运动模糊问题。在曝光量适当和聚焦正确的情况下，假设快门开启和关闭瞬时完成，则 可以表达为对实际景物图像 的一个积分： 如果景物是静止的，即 ，那么上述积分只是 与时间的乘积，曝光时间的变化只影响成像的反差。,匀速直线运动模糊的退化模型,但如果景物是运动的，那么曝光的叠置成像 作为运动中 的积分就必定会随着 的增大而模糊起来

17、。实际上只要把 代入上式，即可得到描述上述匀速直线运动模糊图像的形成过程的表达式： 这就是匀速直线运动模糊的成像表达式。上述公式表明，运动模糊图像是由景物在不同时刻的无限多个影像叠加而成的。 景物和照相机之间的相对运动有其不同的方向和速率，因此无论使用何种方法来恢复运动模糊图像，都需要先确定景物与照相机相对运动的方向和速率这两个基本要素，然后才能确定这幅图像的恢复模型，这就是运动参数的确定问题，也是估计PSF参数的过程。,假设图像 是一个二维平面运动，令 和 分别为在x和y方向上运动的变化分量，T 表示运动的时间。记录介质的总曝光量是在快门打开后到关闭这段时间的积分，则模糊后的图像为： 式中

18、为模糊后的图像，以上就是由于目标与摄像机相对运动造成的图像模糊的连续函数模型。 如果模糊图像是由景物在x方向上做匀速直线运动造成的，则模糊后图像任意点的值为：,式中 是景物在x方向上的运动分量，若图像总的位移量为a，总的时间为T，则运动的速率为 ，则上式变为： 对于离散图像来说，对上式进行离散化，则： 其中，L为照片上景物移动的像素个数的整数近似值， 是每个像素对模糊产生影响的时间因子。由此可知，运动模糊图像的像素值是原图像相应像素值与其时间的乘积的累加。,从物理现象上看，运动模糊图像实际上就是同一景物图像经过一系列的距离延迟后再叠加，最终形成的图像。如果要由一幅清晰图像模拟出水平匀速运动产生

19、的模糊图像，可按下式进行： 这样可以理解此运动模糊与时间无关，而只与运动模糊的距离有关，在这种条件下，使实验得到简化。因为对一幅实际的运动模糊图像，由于摄像机不同，很难知道其曝光时间和景物运动速度。,如果用卷积的方法模拟出水平方向匀速运动产生的模糊图像，其过程可表示为： 为模糊算子或点扩散函数，“ ”表示卷积， 表示原始的清晰图像， 表示观察到的退化图像。,其中：,不同的点扩散函数（PSF）会产生不同的模糊图像。明确的知道退化函数是很有用的，有关它的知识越精确，则复原结果就越好。 即确定： 与 先验知识方法与图像无关 后验知识方法与图像有关,经验性的,7.2.3 运动模糊图像的点扩散函数,几类

20、典型模糊图像的点扩散函数,大气湍流造成的传递函数 Gauss退化函数（也是大气扰动模型） Gauss退化函数是许多光学成像系统最常见的退化函数，它是光学系统衍射、象差等因素的综合结果，其表达式为: 其中，K是归一化常数，a是一个正常数， 表示模糊程度，C是 的支持域。由于Gauss函数的傅立叶变换仍是Gauss函数，并且没有过零点，因此Gauss退化函数的辨识不能利用频域过零点进行。, 光学系统散焦退化函数 离焦模糊是由于成像区域中存在不同深度的对象造成的图像退化，几何光学的分析表明，光学系统散焦造成的图像退化相应的点扩散函数是一个均匀分布的圆形光斑，其表达式为: 其中R为散焦斑半径。如果退化

21、图像的信噪比较高时，则可由 的傅立叶变换在频域图上产生的圆形轨迹来确定R。,二维模糊 二维模糊(2D Blur)也是散焦造成的图像退化的一个近似模型。同散焦模型相比，2D模糊表示了更严重的退化形式。其点扩散函数可以表示为: 其中，L假定为奇数。, 运动模糊 在曝光过程中，像机与被摄物体之间的相对运动导致所拍摄的照片发生的运动模糊，不仅与运动的速度、大小有关，而且也与运动方向有关。 已知：设相机不动，对象运动，运动分量 ， 分别为 ， 相机快门速度是理想的，快门开启时间（曝光）T。,假如当图像只存在单一方向x方向的运动，移动像素个数为a,曝光时间为T，即此时 ， ，可得到：,它表明，当 时，H为

22、0。如果Y分量也变化，按 运动，则运动模糊的退化函数为：,即水平方向运动模糊的数学退化模型为：,7.2.4 匀速直线运动的点扩散函数参数确定,如果引起图像退化的点扩散函数具有零点，这些零点就会迫使退化图像的频谱在某些特定的频率上变成0。引起运动模糊的点扩散函数的表达式具有零点，所以导致模糊图像的频谱也会在某些频率上出现零点，表现在频谱上就会出现一系列暗线。对于水平匀速直线运动的模糊图像而言，会在 处存在零点，其中n为整数，L为模糊的长度，因而运动模糊图像在频率平面上存在一些垂直的等间距直线。对于 方向的运动模糊图像，其频谱一定在 的方向存在暗线。,1、基于频谱特征的参数估计：,对于运动模糊图像

23、，频谱图上存在一系列等间隔的相互平行的暗线，暗线与x轴正方向的夹角是在图像运动方向的基础上逆时针旋转90得到的，图像频谱图暗线的个数即为图像实际运动的距离，单位为像素。但是如果图像噪声较大，这种方法很难获得正确结果。,45方向具有10像素模糊的图像及其傅里叶频谱,实拍图像的傅里叶频谱，很难分辨模糊尺度,小结： 这种方法的缺点是受到噪声影响较大，当存在噪声时，对傅立叶频谱影响较大，通常很难辨认方向和尺度。因此在实际中这种方法并不适用。,如果相机的参数已知，可以通过相机参数和物体的运动参数直接计算出图像的运动模糊参数。基本思想是：在图像序列中通过跟踪运动物体，获得物体在序列图像中的运动参数，再结合

24、已知的相机参数，从而确定出运动模糊的点扩散函数，实现模糊图像复原。 假设序列图像的帧频(FPS)为每秒钟25帧，并且假设在两帧之间物体进行匀速直线运动。通过准确跟踪运动物体，可以知道运动物体在当前帧和上一帧的位置。设运动物体在前一帧中的位置为 ，在当前帧中的位置为 ，则物体的运动方向的角度正切值为：,2、根据照相机参数确定运动参数：,物体的运动速度为： 则物体的模糊尺度为： 通过运动模糊的方向 和运动模糊的尺度Length即可确定运动模糊的点扩散函数。,（t为照相机的积分时间）,7.2.5 运动模糊点扩散函数的离散化,对于运动模糊而言，根据相机与目标的相对运动速度，相机的焦距以及相机相对目标的

25、距离等就可以计算出PSF。例如通过计算得到一幅模糊图片的模糊方向是x=6,y=4，连续的PSF如图所示。,(a) 连续PSF (b) 离散PSF,其中，m为水平方向的模糊尺度，n为垂直方向的模糊尺度。当 时用式（1）计算，当 时用式（2）计算。因此图像模糊的方向和尺度是进行图像恢复的两个主要参量。,假设获得模糊尺度和角度两个参数后，就可以建立点扩散函 数离散化矩阵。设模糊的方向为，模糊的尺度为L，则PSF 的宽度为 ,高为 。通过下面两个公式， 可以计算点扩散函数 。由于离散化的原因， 并 非是直线。,（1）,（2）,7.3.1 逆滤波法,7.3 典型的运动模糊图像复原方法,逆滤波（去卷积）方

26、法在20世纪60年代中期开始被广泛地应用于数字图像复原，其中最简单的方法是直接逆滤波法。 考虑图像的退化过程是原始图像 通过系统H并与加性噪声 相叠加而形成退化图像。 逆滤波的方法是直接将退化过程H的逆变换与退化图像进行反卷积。利用傅里叶变换卷积特性，上述过程可以表述为：,H(u,v),F(u,v),G(u,v),N(u,v),P(u,v),(u,v),退化函数,复原滤波,若不考虑噪声：,若考虑噪声影响：,就是恢复后图像的傅里叶变换。其中， 是输入图像的傅里叶变换， 是噪声的傅里叶变换， 是点扩散函数（即退化过程）的傅里叶变换。,为了克服 接近0所引起的计算问题，在分母中加入一个小的常数k，将

27、上式修改为：,结论： 逆滤波对于没有被噪声污染的图像很有效，但是实际应用中，噪声通常无法计算，因此通常忽略加性噪声，而当噪声存在时，该算法就对噪声有放大作用，如果对一幅有噪声的图像进行恢复，噪声可能占据了整个恢复结果。,逆滤波的实验结果,逆滤波方法对不带噪声的模糊Lena图像的恢复效果,(a)模糊图像(x=20 y=10) (b) k=0.1 (c) k=0.01,下图是对不含噪声的模糊图像进行恢复的实验结果，其中模糊的尺度为x=20 y=10。当参数k取不同值时，恢复结果相差很大。最佳参数出现在k=0.01和k=0.1，此时SNR和PSNR的参数都比较理想，但k=0.1时图像不够清晰，轮廓也

28、不够鲜明，而k=0.01时虽然轮廓清晰，但引入较大噪声，且振铃效应比较明显。,逆滤波方法对含有噪声的实拍图像的恢复效果,结论： 对于实际拍摄的含有噪声的“航空”图像，由于逆滤波算法对噪声有明显的放大作用，恢原后图像以噪声为主，淹没了原始图像信号，由此可见，逆滤波算法不适合用来恢复含有噪声的图像。,通常功率谱的低频部分以信号为主，而高频部分则主要被噪声所占据。由于逆滤波滤波器的幅值随着频率的升高而升高，因此会增强高频部分的噪声。为克服以上缺点，最小均方误差的方法（维纳滤波）被提出用来进行模糊图像恢复。 维纳（wiener）滤波可以归于逆滤波算法一类，它是由 Wiener首先提出的，并应用于一维信

29、号，取得很好的效果。以后算法又被引入二维信号处理，也取得相当满意的效果，尤其在图像复原领域。由于维纳滤波器的复原效果良好，计算量较低，并且抗噪性能优良，因而在图像复原领域得到了广泛的应用，并不断得到改进，许多高效的复原算法都是以此为基础形成的。,7.3.2 维纳滤波,Wiener滤波恢复是在假定图像信号可近似看作平稳随机过程的前提下，按照使原图像 与恢复后的图像 之间的均方误差 达到最小的准则，来实现图像恢复的。即：,Andrew和Hunt推导出满足这一要求的转移函数为：,注意到当 时，为标准维纳滤波器； 时，为含参维纳滤波器。若没有噪声时，即 ，维纳滤波器则退化成理想逆滤波器。 实际应用中必

30、须调节 以满足上式。因为 ， 实际很难求得，因此，可以用一个比值k代替两者之比，从而得到简化的维纳滤波公式： 下图为在不同参数下维纳滤波方法对实际拍摄的运动模糊图像的恢复效果。,维纳滤波实现运动模糊图像恢复的实验结果,(c) K = 0.01 (d) K = 0.1,在K取不同参数时维纳滤波的恢复结果,(a) 实际拍摄的运动模糊图像 (b) K = 0.001,在K取不同参数时对复原图像的二值化结果,(a) K =0.001 (b) K = 0.01,边缘提取的结果,(c) K = 0.1 (d) K =0.01时恢复图像的边缘检测结果,结论： 随着k值不断减小，图像噪声越来越明显，但字符的轮

31、廓越来越清晰。在极端情况下即k=0，维纳滤波退化为逆滤波。另一方面，当k值不断增大时，图像边缘越来越模糊。 比较几幅复原图像可以发现，K越大，抑制噪声效果越好，恢复越不准确，文字较为模糊，边缘模糊不清，不能对文字进行很好地分割；而当K越小，恢复越准确，文字轮廓清晰，但对噪声抑制效果越不好，也无法很好地对文字进行分割。 通过比较发现，当k=0.01时，能够取得较好的恢复效果，在同样的分割阈值下，能够去掉大部分噪声，字体轮廓也相对清晰，去噪后即可对文字进行较好地边缘提取。 K的选取原则是：噪声大，则K适当增加，噪声小则K适当减小。一般取0.001一0.1之间，视具体情况而定。,7.3.3 投影恢复

32、法,将忽略噪声的退化模型写为矩阵的形式，如下式所示： 其中， 是清晰图像的采样，g是模糊图像的采样， 为常数， 表示点扩散函数矩阵的元素。 和g的采样数目为图像大小。 可以看成n 维空间中的一个向量和一个点，而上 式中的每一个方程式代表一个超平面。通常会选取模糊图像作 为初值，初始估值为 ，即 。,具体的迭代步骤：,对 进行估计，取 在第一个超平面 上的投影，即 ,其中， 圆点代表向量的点积。 再取 在第二超平面上 的投影，并称为 。 依次推导下去，直到得到 满足最后一个方程式，这就实现了迭代的第一个循环。 然后再从第一个方程式开始进行第二次迭代，即取 在 上的投影，直到最后一个方程式，这就实

33、现了第二个迭代循环。 按照上述方法依次迭代下去，便得到了一系列向量 ， ， 可以证明，对于任何给定的n、m 和向量 、 都收敛于f。,投影法与维纳滤波的恢复结果比较（一）,（a）水平运动模糊图像 （b）使用维纳滤波的恢复效果 （c）使用投影法恢复效果,（d）维纳滤波法对“航空”图像的的恢复结果 （e）投影法的恢复结果（迭代30次）,7.3.4 Richardson-Lucy算法,Richardson-Lucy（RL）算法是一种迭代方法，在复原HST(哈勃太空望远镜)图像是得到了广泛的应用，是目前应用较多的图像恢复技术之一。RL算法能够按照泊松噪声统计标准求出与给定PSF卷积后，最有可能成为输入

34、模糊图像的图像。当PSF已知，但图像噪声信息未知时，也可以使用这种恢复方法进行有效恢复。 在符合泊松统计前提下，推导如下： 其中， 为未被模糊对像， 为PSF（点扩散函数）， 为不含噪声的模糊图像。,令 ，当下式成立时存在最大似然性解： 则可利用下式作为RL迭代公式：,（a）模糊的Lena图像（b）Richardson-Lucy滤波迭代70次的效果（c）Richardson-Lucy滤波迭代200次的效果,Richardson-Lucy滤波恢复结果,(a) 对含有高斯噪声的图像10次迭代恢复结果 (b) 50次迭代恢复结果 (c) 100次迭代恢复结果,小结： 对于没有噪声干扰的理想模糊图像，

35、迭代次数越多恢复的效果越好。在无噪声情况下，RL每次迭代时，都会提高解的似然性，随着迭代次数的增加，最终将会收敛在最大似然性的解，但随着迭代次数的增加也会增加计算量。 但是对于含有噪声干扰的模糊图像，随着迭代次数的增加噪声被放大，而且迭代时间随之增长。当迭代超过50次后，恢复结果并没有明显改观。,运动造成图像模糊的过程实质就是对原始图像进行多点平滑的过程，也就是一个像素与运动方向上的周围像素进行累加平均的过程。这个过程在数学上就是卷积，所以恢复过程就等于逆卷积（也称去卷积）。在逆卷积恢复图像的过程中，每个像素都得需要相邻像素的信息才能得以恢复，但图像边沿的像素由于没有足够的相邻像素可以利用，所

36、以会导致恢复图像的边沿变差，并且整幅图像有明暗相间的条纹，即振铃效应。,7.3.5 振铃效应的抑制,产生振铃效应的原因：,抑制振铃效应的方法:,循环边界法： 在使用维纳滤波进行图像复原时，为了抑制边界截断引起的寄生波纹，可以将原来的复原问题变成具有循环边界的复原问题。其做法是将观测图像按反射对称方式延拓，由原图尺寸mn变成2m2n，下图表示了延拓方法的基本原理。,图像延拓示意图,由于FFT在空间域和频率域的双周期性，当在2m2n尺寸上使用FFT技术时，意味着以2m2n尺寸对原图像进行周期延拓。这时在任何一个延拓的结合处都不会出现灰度值的跳变，这就消除了造成边界截断寄生波纹的主要因素。,循环边界

37、法的实验结果,（a）原始图像 (b) 模糊图像x=20 y=10,(e) 模糊图像拼接 (f) 恢复拼接图像的结果,(c)截取的模糊图像,(d)直接对截取图像的恢复结果,(g)利用循环边界法的恢复结果,小结： 循环边界法的缺点是图像的尺寸变为原来的四倍，这样运算量也就增加许多，在仿真实验中或事后处理系统中这是可以接受的，但在实时性要求比较高的情况下这是不允许的。如何在不增加图像尺寸的基础上对振铃效应进行抑制呢？ 基于循环边界法的缺点，Limetal提出了对二维模糊图像进行恢复的最优窗法。,最优窗法：,随着PSF的变换，最优窗的形式也随之变化。最优窗对观测图像的边界进行加权处理，使得像素值向外逐

38、步过度到零。这样修正的目的是使得观测图像在边界附近接近于完全卷积的自然边界图像，边界结合处不会出现灰度值的跳变，从而达到抑制振铃效应的目的。,最优窗,最优窗将图像平面分为9个区域,最优窗矩阵,和 分别表示在积分时间内图像在水平和垂直方向上的运动分量。,最优窗法实验结果（一）,(a) x=20 y=10 的模糊图像 (b) 截取的模糊图片 (c)直接用维纳滤波恢复的结果,(d) 最优窗 (e) 加窗后的图像 (f) 对加窗口的图像进行维纳滤波恢复结果 (g)边界修整后的图像,(a)对图像加最优窗 (b)加窗后的图像,(c)没有加窗对实拍运动模糊的恢复 (d) 加窗方式下后使用维纳滤波恢复的图像,

39、加窗前后对图像恢复的结果对比,最优窗方法的实验结果（二）,7.4 几种恢复方法的性能比较,逆滤波方法在没有噪声干扰下恢复效果较好，但无法恢复含有噪声的图像； 恢复效果比较明显的是维纳滤波方法和在空域下的投影迭代方法。 维纳滤波是一种比较常用的运动模糊恢复方法，它是在频域下进行的,需要进行两次正傅里叶变换和一次逆傅里叶变换,其恢复的效果可以通过k值作相应调整，运算时间固定。,在轻微模糊和适度噪声条件下，采用去卷积（逆滤波）效果较差；而维纳滤波器会产生超过人眼所希望的严重的低通滤波效应。 基于线性代数的图像恢复方法，可以适用于各种退化图像的复原，但是由于涉及到的向量和矩阵尺寸都非常大，因此线性代数

40、方法可能无法给出一种高效的实现算法。,投影法是在空域下进行的迭代方法，其算法复杂度根据模糊程度和角度而不同，在角度和模糊尺度较大的情况下，恢复速度较慢；但是如果模糊程度不大，且只有水平方向的模糊，则速度快于维纳滤波；投影法恢复效果没有明显的振铃效应，在背景能量较小的情况下（背景颜色为黑色）得到的恢复效果要比维纳滤波好得多。 因此,对于深空背景这种灰度级较低的情况，建议采用投影法进行恢复。,7.5 图像复原质量评价,图像质量是指人们对图像视觉感受的评价，可以分为客观评价和主观评价两种。前者凭感知者主观感受评价对象的质量；后者依据模型给出的量化指标或参数来衡量图像质量。 图像客观质量评价方法是先计

41、算出被评价图像的某些统计特性和物理参量，最常用的是图像相似度的测量。 图像相似度的测量通常是用恢复图像与原图像之间的统计误差来衡量恢复图像的质量，若误差越小，则从统计意义上来说被评价图像与原图像的差异越小，图像的相似度就越高，获得的图像质量评价也就越高，此种评价方法多适用于黑白图像及灰度图像的质量评价。,常用的图像相似度测量参数有： 平均绝对误差（MAE） 均方误差（MSE） 归一化均方误差（NMSE） 信噪比（SNR） 峰值信噪比（PSNR）等。 客观评价根据有无参考图片，可以分为有参照质量评价和无参照 质量评价。 有参照图像质量评价 ：将原始图像作为参考来评价一幅图像。 常用的有参照质量评

42、价方法有： MAE、MSE、NMSE、SNR、PSNR、ISNR,（1）平均绝对误差(MAE),平均绝对误差的计算是把被评价图像与原始图像各点灰度差的绝对值之和除以图像的大小，其值越小表示与原始图像的偏差越小，图像质量越好。它的公式如下： 式中，M和N分别是图像长度和宽度上的像素个数， 和 分别是原始图像和复原图像在点 处的灰度值。,有参照图像质量评价,（2）均方误差（MSE）,均方误差是判断图像质量最常用的算法之一，它是值越小表示图像质量越好。其计算表达式为：,归一化均方误差是一种基于能量归一化的测量方法，它相对 均方误差是将分母的图像大小变成了原始图像各个像素灰度 的平方和，同样是值越小表

43、示图像质量越好。公式为：,（3）归一化均方误差（NMSE）,（4）信噪比（SNR）与峰值信噪比（PSNR）,信噪比与峰值信噪比也是用来测量图像质量的常用参数，不同的是前几个参数是越小表示图像质量越好，但信噪比与峰值信噪比是值越大代表图像质量越好。它们的表达式分别如下：,（5）信噪比改善因子（ISNR ）,MSE和PSNR只表征了复原图像相对于原始理想图像的相似程度，但没有表明复原图像相对于退化图像的改善程度，而这一点对于图像复原算法的评价是非常重要的。为此，改善信噪比ISNR评价标准被提出，其定义如下：,式中， 、 和 分别是原始图像、复原后的图像和退化图像在点 处的灰度值。ISNR为复原图像

44、与退化图像的峰值信噪比之差。如果ISNR0，ISNR越大，表明相对于退化图像复原的改善程度越大，算法的复原能力越好。ISNR0，表明算法不能使退化图像得到改善。,设图像为MxN的灰度图像，模糊度和复原后的模糊度可以通过下式进行计算：,式中， ， 分别表示模糊图像和复原图像。原始图像的模糊度为 ；复原图像的模糊度 ，图像质量改善百分比为：,（6）全局复原性能评价分析,无参照图像质量评价,有参照质量评价方法的参数计算前提都必须以原始图像作为参照，但是在实际应用中还存在无法知道原始图像信息的情况。例如，在评价航空拍摄的运动模糊图像时就不存在原始清晰的图像，这就需要采用无参照的图像质量评价方法。 无参

45、照图像质量评价方法常用的有： 灰度平均梯度值方法（Gray Mean Grads，GMG）和拉普拉斯 算子和方法（Laplacian）。 灰度平均梯度值方法是分别将图像长度和宽度方向上的相邻像素灰度值做差后求平方和，再求均方根值，它能较好地反映图像的对比度和纹理变化特征，其值越大表示图像越清晰，图像质量越好。,灰度平均梯度值方法：,拉普拉斯算子（Laplacian）和是对每一个像素在33 的邻域内 采用拉普拉斯算子得到8 邻域微分值，然后在图像范围内求和， 表达式如下：,拉普拉斯算子和方法：,一般图像越清晰，轮廓越鲜明，则每一像素附近的灰度值变化越大，LS值就越大。,结论： 灰度平均梯度值与拉

46、普拉斯算子和虽然都不用参照原始图像进行计算，但对于背景、对比度、纹理结构等成像条件不一样的含有不同目标的图像来说，它们的值差别很大，不具有可比性，只能用于对相同目标图像质量的比较，也可以用于比较对同一图像经过不同处理手段后的质量，以判断处理方法的效果和有效性。,7.7 图像复原技术的应用,天文成像领域: 一方面，对地面上的成像系统来说，由于受到射线及大气的影响，会造成图像的退化;另一方面，在太空中的成像系统，由于宇宙飞船的速度远远快于相机快门的速度，从而造成了运动模糊; 航空成像领域： 无人机、预警机、侦察机的成像侦察；巡航导弹地形识别，侧视雷达的地形侦察等； 交通智能监控领域：电子眼（车速超

47、过60km/小时）； 公安领域： 指纹自动识别，手迹、人像、印章的鉴定识别，过期档案文字的识别等，都与图像复原技术密不可分; 医学领域： 在该领域，图像复原技术也有着极其重要的作用，如X光、CT等。,安防领域： 监控录像中犯罪嫌疑人辨别、监视等； 发射井下的导弹姿态遥测系统； 实现井下单站高精度位置、姿态测量的前提是:测量图像为“理想”清晰图像。由于导弹起飞时的相对运动、振动、离焦和衍射等问题，相机拍照的图像退化，甚至无法判读。实际拍照瞬间，相机振动信号参数(幅度、频率以及位相)、目标运动参数(速度、加速度)以及离焦量是没法检测的，因此研究运动、振动、离焦、衍射等退化模型的参数解算和模糊图像图

48、像复原至关重要。 残损图像复原： 由于噪声和记录介质自身缺陷的存在以及在后期制作时出现的失误，图像还可能有部分信息丢失或不可用。,离焦衍射模糊图像： 湍流退化图像复原： 目标通过大气湍流的成像是诸如宇航卫星、天文观测、精确制导等宇航光电探测成像系统必然会遇到的问题。（在大气湍流环境中天基、机/弹载光学成像系统） 图像及视频编码领域： 随着提高编码效率、降低编码图像码率的技术的发展，一些人为图像缺陷，如方块效应，成为明显问题。如移动视频通信，由于带宽的限制，压缩比高，若解压缩后不经处理，则存在非常明显的方块效应。一些简单的图像增强处理不能从根本上消除方块效应，特别是情况复杂时，如在编码前或编解码时引入噪声的情况，这时就需要借助于图像复原技术。,其它领域: 诸如对老照片的处理、对由于散焦或运动造成的图像模糊等，都必须用图像复原技术。 随着宽带通信技术的发展，电视电话、远程诊断等都将进入我们的生活，而所有这些技术都将高度依赖于图像质量，因此，图像复原技术更显得至关重要。,谢谢大家！,