2024年3月10日发(作者：)
一种单幅图像雨滴去除的方法
周远;韩裕生;周浦城
【摘 要】Under the condition of rainy day, because of the rain has the bad
influence on imaging system, it will lead the decrease of the quality of the
image, and does not help to further processing image information. To deal
with this problem, a kind of automatic image rain removal approach is
proposed. Firstly, the rainy image is decomposed into rough sub-graph
and detail sub-graph based on internal generative mechanism theory. And
then, the sparse decomposition based on morphological component
analysis method was used to divide the detail sub-graph into rainy
component and non-rain component. Finally, the rough sub-graph was
combined with non-rain component so as to reconstruct the rain-free
image. The experimental results show that the proposed method can
effectively remove the rain streaks in image and keep the state-of-the-art
detail information of the scene.%在雨天条件下，由于雨滴对成像系统的不良影
响，将会导致获取的图像质量下降，不利于对图像信息进一步处理。针对该问题，
首先根据内部生成机制有关理论将雨天图像分解为粗糙子图与细节子图；然后，采
用基于形态学分量分析的稀疏分解方法将细节子图划分为有雨部分和无雨部分；最
后，利用粗糙子图与无雨部分进行重构得到去雨后的图像。实验结果表明，该方法
能够有效去除图像中的雨线，并较好地保留场景的细节信息。
【期刊名称】《图学学报》
【年(卷),期】2015(000)003
【总页数】6页(P438-443)
【关键词】图像处理;雨滴;稀疏分解;形态学分量;方向梯度
【作 者】周远;韩裕生;周浦城
【作者单位】偏振光成像探测技术安徽省重点实验室，安徽 合肥 230031; 陆军军
官学院军用光电技术与系统实验室，安徽 合肥 230031;偏振光成像探测技术安徽
省重点实验室，安徽 合肥 230031; 陆军军官学院军用光电技术与系统实验室，安
徽 合肥 230031;偏振光成像探测技术安徽省重点实验室，安徽 合肥 230031; 陆军
军官学院军用光电技术与系统实验室，安徽 合肥 230031
【正文语种】中 文
【中图分类】TP391
在雨天，环境中随机分布了大量快速运动的雨滴，造成目标物体与背景光线的反射
和折射，从而导致图像对比度降低、成像模糊，细节信息丢失，给交通运输、户外
视频监控、军事侦察等领域带来巨大困难。因此，对雨天图像进行清晰化处理具有
重要的现实意义和广泛地应用价值。
目前，绝大多数的去雨技术研究工作都是建立在视频的基础上。例如，Garg和
Nayar[1]通过雨滴光学特性和时空相关特性检测视频中受雨影响的像素，但该方
法在大雨情况下检测效果较差；张颖翔等[2]在Nayar方法的基础上，将检测帧数
扩展为5帧，在雨量较大情况下取得了较好的效果；Zhang等[3]利用视频序列中
像素强度直方图的峰值进行K-means聚类，并通过雨滴色彩约束条件区分雨滴和
背景；Brewer和Liu[4]利用雨线长宽比和方向角等形状特性来检测雨滴，但是大
雨和噪声往往会使雨线重合，从而导致雨线的误检测和漏检测；刘鹏等[5]提出了
基于色彩特性的雨滴检测方法；董蓉等[6]构建对数图像处理框架下灰色调约束的
雨滴检测模型，提高了检测的准确性；Barnum等[7]利用雨线分布的统计学特性，
在傅立叶频域中对视频中的雨线进行检测和去除，但该方法只适用于雨线明显的场
合。
由于单幅雨天图像缺失雨滴分布的时空相关特性，可用的雨滴特征描述符较少，使
得单幅图像去雨问题成为当前研究的难点。Chen和 Shen[8]采用了小波分解的方
法来检测和去除雨滴，但在检测的准确性上有所不足。Kang等[9]提出利用双边滤
波器分解图像来检测并去除雨滴，但在某些情况下，双边滤波器不能将雨线从低频
部分完全分离出来，而且在边缘区域易出现过增强现象，从而导致去雨效果不理想。
针对 Kang等[9]提出的去雨方法存在的不足，本文采用符合人脑感知与理解信息
的内部生成机制(internal generative mechanism, IGM)有关理论，结合基于形态
学分量分析(morphological component analysis, MCA)的稀疏分解方法，较好
地实现了单幅图像的雨滴检测与去除。
根据大脑 IGM理论，大脑受到事物相关性的刺激分析场景，结合固有的先验知识，
将场景优化为预测的基本信息和残留的不确定信息两个部分[10]。其中，预测的基
本信息可以转化为更高层次的人类视觉系统来进行理解和识别，而不确定信息则被
忽略。根据该理论可以将图像分解为粗糙子图（预测的基本信息）和细节子图（不
确定信息）。
在实际分解过程中，IGM可以通过自动回归(auto regressive, AR)贝叶斯预测模
型来实现。该模型的重点在于建立一个概率模型使得图像预测误差达到最小。如果
用X表示任意一幅图像，xij∈X为图像中像素(i, j)处的灰度值，Wij表示xij的相
邻像素的集合，那么P(xij, Wij)为条件概率，P(xij, Wij)越大则图像预测误差越小。
因此，可以把中心像素xij与其周围像素xmn的互信息I(xij; xmn)作为AR系数，
AR模型xij的预测值如式(1)：
其中，ε为高斯白噪声，Cmn为xij的权重，即：
由IGM理论可知，预测值x'ij代表了图像的基本视觉信息，这里用粗糙子图CoX
表示，其不确定信息用细节子图PreX表示，即：
综合式(1)、(3)可知，粗糙子图中保留了原始图像中的基本视觉信息，细节子图中
剩余了原图的一些不确定信息。因此，根据大脑 IGM对待去雨图像进行初步分解，
从而得到包含了雨线、纹理等信息的细节子图。
图1为基于IGM理论与双边滤波器待去雨图像分解的实例。图1(a)是原始图像，
包含大量雨线；图1(b)、1(c)是利用IGM分解得到的细节子图与粗糙子图，其中，
图1(c)中没有明显雨线，而图1(b)中包含了原图雨线及纹理部分；图1(e)、1(f)为
经过双边滤波得到的高频部分和低频部分，其中图1(f)包含少量雨线和噪声，而图
1(e)与图1(b)相比，雨线并不明显；图1(d)、1(g)分别为图1(c)、1(f)放大的效果
图，可以看出，经过双边滤波后的低频部分保留了过多的高频信息，车头处有明显
的雨线痕迹，而利用 IGM分解得到的粗糙子图有效地去除了雨线部分。
为了从细节子图中去除雨线，本文采用基于MCA的稀疏分解方法[11]，利用雨线
的形态学差异性将细节子图字典分为有雨字典和无雨字典，将单幅图像去雨问题转
化为基于稀疏编码的图像分解问题。
2.1 字典学习
在字典学习阶段，首先将细节子图中的图像块作为训练模型来训练字典Dprex，
从而构建字典学习问题[12]为：
其中，代表细节子图中第k个图像块，的稀疏系数，字典的稀疏度或者最大非零
系数个数。
由于l0最小化问题很难求解，在大多数情况下将其转化为 l1最小化问题来获得近
似结果[13]。因此，上述l0最小化问题可以转化为：其中，λ为调整参数。本文采
用在线字典学习方法求解式(4)获得字典 Dprex，并利用正交匹配追踪
(orthogonal matching pursuit, OMP)算法求解式(5)获得相应的稀疏系数。
2.2 字典分类
由于细节子图中包含有雨部分和无雨部分，本文通过利用HOG特征[14]来描述雨
线与纹理之间的形态学差异性，从而将字典Dprex进一步分解为有雨字典和无雨
字典。若b(x, y)表示字典原子b在像素点(x, y)处的灰度值，则该像素点的梯度幅
度和梯度方向可以定义为：
通过统计字典Dprex中原子的梯度方向直方图，形成字典原子的 HOG特征描述
符，然后利用K-means聚类分析将其初步分割为两个子字典。由于雨线的方向在
图像中基本一致[9]，因此通过比较平均梯度方向方差值就可以将两个子字典确定
为有雨字典和无雨字典
根据雨滴形状特征先验可知，图像中雨线的长宽比μ只与相机曝光时间e和雨滴
的直径d有关[4]：
一般认为雨滴直径范围为0.1～3.0 mm，相机曝光时间为1～40 ms，由此可知，
雨线长宽比范围为3.9～95.0。因此，可以用雨线长宽比 μ范围实现对有雨字典和
无雨字典的精确分类。
图2(a)、2(b)是Kang方法[9]字典分类后得到的无雨字典和有雨字典，图2(c)是
Kang方法的去雨效果，此图右侧的窗户模糊不清，是因为Kang方法将背景中的
窗框误认为是雨线，因而在图像重建时导致纹理细节的丢失；图 2(d)、2(e)为本
文方法得到的无雨字典和有雨字典，图2(f)是利用本文方法得到的去雨效果，与图
2(c)相比，窗框纹理清晰且雨线去除更加彻底。
2.3 图像重构
为了从细节子图中获得雨线部分与纹理部分，对每一个图像块采用OMP算法来得
到相应字典的稀疏系数。因此，细节子图中的无雨图像可以通过将有雨字典对应的
稀疏系数置为0之后，再与字典Dprex进行重构来获得，即：
式中，为去雨后细节子图，为将有雨字典稀疏系数设为0后式(5)的求解结果。同
理细节子图中的雨线图像也可以通过该方法求出。
再根据大脑 IGM理论，采用将粗糙子图与去雨后的细节子图相加来重构图像，即：
其中，X′是重构图像，Cox为根据大脑IGM有雨图像分解获得的粗糙子图，最终
获得去雨图像。
2.4 算法描述
本文提出的单幅图像雨滴去除算法如下：
(1) 图像分解。对待去雨的图像按照式(1)～(3)联立方程组进行分解，获得其粗糙
子图和细节子图；
(2) 字典学习。根据式(4)提取细节子图中的图像块进行字典学习，形成字典Dprex；
(3) 字典分类。通过式(6)计算字典原子的HOG特征描述符，并利用K-means聚
类初步将字典 Dprex分割为有雨字典和无雨字典，再根据式(7)通过雨线长宽比对
子字典进行二次判别，最终形成有雨字典和无雨字典；
(4) 稀疏编码。根据 OMP利用有雨字典和无雨字典分别对提取的细节子图图像块
进行稀疏编码，获得其相应的稀疏系数；
(5) 图像重构。根据式(8)、(9)对细节子图图像块进行重建，得到去雨后细节子图，
最后将粗糙子图与去雨后的细节子图相加，获得最终的去雨图像结果。
为了验证本文算法的可行性，首先通过Adobe Photoshop软件对无雨图像人工
添加雨线，定量对比本文方法与Kang提出的去雨算法之间的效果。在实验中，字
典大小设为1 024，图像块采用16×16像素，实验结果如图3所示。
可以看出，与Kang算法相比，本文算法在去除雨滴的同时很好保持了图像的纹理
和细节信息，取得了良好的视觉效果。为了定量评估不同算法的去雨效果，采用3
种客观评价图像质量方法，分别为峰值信噪比(peak signal to noise ratio, PSNR)、
视觉信息保真度(visual information fidelity, VIF)[15]以及图像结构相似质量指数
(structural similarity index metric, SSIM)[16]。表1给出了本文算法与Kang提
出的算法的评价指数，在PSNR、VIF及SSIM上也优于Kang的算法，并且也符
合人眼视觉上对两者的评价结果。
图4给出了本文算法在不同场景下的2组去雨效果。其中，图4(a)是城市场景，
局部有明显的雨线；图4(b)是Kang去雨结果，不难发现，在去除雨滴的同时也
使墙体上的字母变得模糊；图4(c)为本文算法的去雨结果，去雨效果明显；图4(d)
是自然场景，图中只有少量的雨线；图4(e)是Kang算法的去雨效果，在图像中
有个别雨线没有去除；图4(f)为本文算法去雨效果，在去除雨线的同时很好地保留
了叶片的细节信息。
本文利用大脑IGM理论对雨天图像进行分解，得到粗糙子图和细节子图，然后采
用基于MCA的稀疏分解方法对细节子图中有雨部分和无雨部分进行分解，并利用
HOG特征和雨线长宽比特征对有雨字典和无雨字典进行分类，最后通过粗糙子图
与无雨部分进行重构得到去雨后的结果。实验结果表明，该算法能够获得更好的去
雨效果。由于单幅图像中雨滴特征描述符较少，如何找到一种更为有效的雨滴分类
方法以进一步提高图像去雨的质量是今后需要研究的一个方向。
【相关文献】
[1] Garg K, Nayar S K. Detection and removal of rain from videos [C]//Proceedings of the
2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
Columbia, New York, USA, 2004: 528-535.
[2] 张颖翔, 陈 强, 刘允才. 视频图像中雨滴检测与去除方法研究[J]. 微型电脑应用, 2007, 23(12):
16-20.
[3] Zhang Xiaopeng, Li Hao, Qi Yingyi, et al. Rain removal in video by combining temporal
and chromatic properties [C]// Proc of IEEE International Conference on Multimedia and
Expo, Toronto, Canada, 2006: 461-464.
[4] Brewer N, Liu Nianjun. Using the shape characteristics of rain to identify and remove
rain from video [J]. Lecture Notes in Computer Science, 2008, (5342): 451-458.
[5] 刘 鹏, 徐 晶, 刘家锋, 等. 一种受雨滴污染视频的快速分析方法[J]. 自动化学报, 2010, 36(10):
1371-1378.
[6] 董 蓉, 李 勃, 陈启美. 一种视频雨滴检测与消除的方法[J]. 自动化学报, 2013, 39(7): 1093-1099.
[7] Barnum P, Narasimhan S G, Kanade T. Analysis of rain and snow in frequency space [J].
International Journal of Computer Vision, 2010, 86(2-3): 256-274.
[8] Chen Zhen, Shen Jihong. A new algorithm of rain (snow) removal in video [J]. Journal
of Multimedia, 2013, 8(2): 168-174.
[9] Kang Liwei, Lin C W, Fu Y H. Automatic single-image-based rain streaks removal via
image decomposition [J]. IEEE Transactions on Image Processing, 2012, 21(4): 1742-1755.
[10] Wu Jinjian, Lin Weisi, Shi Guangming, et al. Perceptual quality metric with internal
generative mechanism [J]. IEEE Transactions on Image Processing, 2013, 22(1): 43-54.
[11] Starck J L, Elad M, Donoho D L. Image decomposition via the combination of sparse
representations and a variational approach [J]. IEEE Transactions on Image Processing,
2005, 14(10): 1570-1582.
[12] Aharon M, Elad M, Bruckstein A M. The K-SVD: an algorithm for designing of
overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal
Processing, 2006, 54(11): 4311-4322.
[13] Mairal J, Bach F, Ponce J, et al. Online learning for matrix factorization and sparse
coding [J]. Journal of Machine Learning Research, 2010, 11: 19-60.
[14] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//2005
IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
SanDiego, CA, USA, 2005: 886-893.
[15] Sheikh H R, Bovik A C. Image information and visual quality [J]. IEEE Transactions on
Image Processing, 2006, 15(2): 430-444.
[16] Wang Zhou, Bovik A, Sheikh H, et al. Image quality assessment: from error visibility to
structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
发布评论