改进的生成对抗网络图像去噪算法编程频道|福州电脑网

2024年3月10日发(作者：)

1682021，57（5）

ComputerEngineeringandApplications计算机工程与应用

⦾

图形图像处理

⦾

改进的生成对抗网络图像去噪算法

陈人和，赖振意，钱育蓉

新疆大学软件学院，乌鲁木齐830046

摘要：由于图像噪声的存在会干扰人对图像的理解，为了有效地去除噪声并获得比较好的视觉观感，提出一种基

于生成对抗网络算法，该算法通过增加生成网络的宽度来获取更多的图像特征，并加入一个全局残差对输入的噪声

图像进行特征的提取与学习，避免特征的丢失。网络采用对抗损失和重建损失的加权和，在去除噪声的同时能够有

效地保留图像的细节信息。实验结果表明，该算法能够有效地去除图像噪声，改善图像的视觉观感。

关键词：生成对抗网络；图像去噪；全局残差；重建损失

文献标志码：A中图分类号：TP399doi：10.3778/.1002-8331.2003-0336

ImprovedImageDenoisingGenerativeAdversarialNetworkAlgorithm

CHENRenhe,LAIZhenyi,QIANYurong

SchoolofSoftware,XinjiangUniversity,Urumqi830046,China

Abstract：Theexistenceofimagenoisewilldisturbpeople’rtoeffectivelyremove

thenoiseandobtainabettervisualperception,

algorithmobtddsaglobalresidualto

thefeaworkusesaweightedsumof

theanti-lossandreconstructionloss,-

mentalresultsshowthatthealgorithmcaneffectivelyremoveimagenoiseandimprovethevisualperceptionoftheimage.

Keywords：generativeadversarialnetwork;imagedenoising;globalresidual;reconstructionloss

数字图像在采集和网络传输的过程中，往往会受

到一些随机信号的干扰而产生图像噪声，导致图像质

量降低，从而影响人对图像的理解，所以有效地降低图

像的噪声，提高图像的质量仍是图像处理领域的热点

之一

[1-2]

。

图像去噪已经有很长的一段历史了，传统的图像

去噪方法有空域滤波

[3]

和变换域滤波

[4]

，空域滤波直接

对图像的像素用滤波模板进行卷积，包括领域中值滤

波

[5]

、均值滤波

[6]

等。变换域滤波利用噪声图像和无噪

图像在频域的分布差异，将图像转换到频域进行处理后

再将结果变换回空间域，从而获得去噪后的图像，常见

的变换域有小波变换域

[7]

、傅里叶变换域

[8]

等。这些方

法在一定程度上可以抑制图像的噪声，但修复结果往

往会使图像纹理信息缺失，导致图像模糊。BM3D

[9]

（Block-Matchingand3Dfiltering）利用自然图像中存

在的自相似性，通过对相似块转换并进行加权处理得到

目标块，取得了不错的去噪效果。CBM3D

[10]

是BM3D

改进的彩色图像去噪方法，该方法利用了亮度-色度颜

色空间的每个通道中高度稀疏的局部3D变换域中的滤

波，这种去噪效果依赖相似块的选取，在图像去噪过程

中常常存在一些复杂的优化问题。

近年来，深度学习在目标识别及检测等图像处理领

域大放异彩，使得很多学者将深度学习模型应用于图像

去噪。深度卷积神经网络拥有很好的学习能力，通过对

噪声样本的学习，能够实现图像去噪的自动化与智能

化。Burger等

[11]

提出多层感知器MLP（Multi-LayerPer-

基金项目：国家自然科学基金（61966035）；国家自然科学基金联合重点项目（U1803261）；新疆维吾尔自治区教育厅创新团队项目

（XJEDU2016S035）。

作者简介：陈人和（1993—），男，硕士研究生，CCF学生会员，研究领域为图像修复，E-mail：****************；赖振意（1994—），

男，硕士研究生，研究领域为图像识别；钱育蓉（1980—），通信作者，女，博士，教授，CCF高级会员，研究领域为遥感图

像处理。

收稿日期：2020-03-23修回日期：2020-05-19文章编号：1002-8331（2021）05-0168-05

陈人和，等：改进的生成对抗网络图像去噪算法

ceptron）将噪声图像映射到去噪后的图像成功实现图像

去噪，Mao等

[12]

利用深度卷积编码器在对图像进行编码

和解码的过程中学习噪声图像到去噪图像的分布来实

现图像去噪，Zhang等

[13]

提出DnCNN网络来对图像去

噪，通过残差学习并加入批量归一化将去噪任务扩展到

通用性的图像去噪。为了应对更复杂的真实噪声，

Zhang等

[14]

提出FFDNet去噪网络，FFDNet使用噪声估

计图作为输入，权衡对均匀噪声的抑制和细节的保持，

从而应对更加复杂的真实场景。生成对抗网络

[15]

相比

于卷积神经网络多了一个判别网络，其采用博弈论的思

想用判别网络来指导生成网络学习样本的分布。由于

其有较强的样本模拟能力，在图像去噪领域取得了成功

应用。张元祺

[16]

针对现有图像去噪方法存在的纹理细

节丢失等问题，提出一种新的生成对抗网络作为去噪网

络，通过采用大小不同的卷积核提取图像的多尺度特征

进行去噪与筛选，采用跳跃连接以便更好地修复图像的

纹理细节并加速网络收敛。谢川等

[17]

针对现有的蒙特

卡罗图像去噪方法存在的高频细节丢失问题，设计了全

卷积网络的生成对抗网络，网络的输入除了图像像素以

外还包括多维辅助特征。损失函数采用包含平滑损失

函数，并采用基于法向量方差和梯度大小相似度偏差的

局部重要性采样技术用于网络训练。Chen等

[18]

提出一

个新的两步去噪网络框架，首先利用生成网络生成输入

噪声图像上的噪声样本，将得到的噪声样本与干净的图

像构建成训练数据集，然后再用卷积神经网络训练该数

据集得到去噪模型。

本文提出一种基于生成对抗网络的图像去噪算法，

该方法可以很好地保存图像纹理细节，生成网络采用双

层网络来增加网络的宽度，并引入一个全局残差，很好

地保留图像的原始信息，避免训练过程中梯度消失，使

训练更加稳定。对抗损失采用WGAN-GP损失（Was-

sersteinGANlosses），并在生成网络中加入重构损失提

高生成图像的质量。采用CelebA作为训练数据集。相

比于其他算法，本文提出了一种新的生成网络结构，可

以直接从噪声图像中生成干净的图像，通过加宽网络而

不增加网络深度的同时获取到更多的图像特征，降低计

算成本。利用Wasserstein距离和Lipschitz连续性条件

来改进对抗损失函数，有效地提高模型训练的稳定性，

同时改进网络的输入模式，使其输入并不限制输入图像

的大小，增加网络的灵活性。实验结果表明，本文提出

的算法在去除图像噪声的时候能够很好地重建出图像

的细节。

1相关工作

1.1生成对抗网络

生成对抗网络（GANs）最先是由蒙特利尔大学的

IanGoodfellow提出，被广泛地应用于图像处理的各个

2021，57（5）

169

领域。其灵感主要来源于零和博弈的思想，即参与博弈

的各方，一方的收益必然导致另一方的损失。GANs的

强大之处在于它可以模拟任何数据的分布，它由两个网

络组成，生成网络

（Generator）和判别网络

（Dis-

criminator）。生成网络

用来模拟数据的分布，判别网

络

用来分辨生成网络

模拟数据分布质量的好坏。

GANs的优化目标函数为：

min

max

V(D,G)=E

x~p

data

(x)

(lgD(x))+

z~p

(z)

(lg(1-D(G(z))))

（1）

式中，

是生成网络的输入，

data

是真实数据的分布。

整个函数的目标就是让

尽可能地去模拟

data

数据的

分布。生成网络

的目标就是生成的图像尽可能地真

实。判别网络

的目标就是将生成网络

生成的图像

与真实的图像区分开。当判别网络无法区分生成网络

生成的图像与真的图像的时候，说明生成网络

生

成的图像已经达到最优。

1.2残差模块

随着卷积网络层数的加深，网络能够提取到的特征

也更加丰富，但是，过深的网络在进行带步长卷积或者

池化操作的时候会导致图像信息的丢失。残差网络的

引入很好地解决了这个问题，残差网络通过跳跃连接

将浅层特征直接传递到深层特征，从而只需要学习浅

层特征与深层特征之间的差异。典型的残差模块

[19]

如

图1所示。

Weightlayer

F(x)

Relu

identity

Weightlayer

F(x)+x

Relu

图1残差模块

为这个残差模块的输入，

F(x)+x

是残差模块的

输出，通过跳跃连接将信息传递到神经网络的更深层，

即使网络再深，图像的特征也不会丢失，有效地解决梯

度消失和梯度爆炸问题，稳定了网络的性能。

2网络结构设计及去噪模型

2.1生成网络结构

图像去噪的本质实际上是一个图像翻译过程，即将

含噪图像通过非线性映射到去噪图像。本文设计的生

成网络由上下两层卷积神经网络组成以便提升网络的

宽度，不同层的网络提取出更丰富的特征可以更好地映

射到去噪图像。图2是本文构建的生成网络，上下两层

为一样的结构，用来获取更多的图像特征。输入图像经

过一个卷积层和Relu激活层，然后经过6个卷积块，每

1702021，57（5）

ComputerEngineeringandApplications计算机工程与应用

GlobalRes

BLOCK-1

ReLUReLU

ReLU

Conv

BLOCK-6

ReLU

ConvConv

个卷积块由卷积层、归一化层、Relu层组成。其中通过

一个全局残差，直接将输入传到最后一层特征前面并进

行融合，最后再次卷积后输出去噪图像。

本文设计的网络具有输入灵活性，网络的深度为22

层，除了最后一个卷积层，其余卷积层的卷积核大小均

为64×3×3×64，最后一层卷积层的卷积核大小为64×3×

3×3，该网络并不限制输入图像的大小，采用双层网络可

以获取更多的图像特征，并引入一个全局残差将噪声图

像的特征直接传递到输出，使生成网络能够保留更多的

图像特征。

…

Concat

Conv

图2

ReLU

ConvConv

…

生成网络模型

Mover）距离来比较原始数据与生成数据的分布，WGAN

的优化公式为：

W(P

data

D∈1-Lipschitz

max{E

x~p

data

[D(x)]-E

x~P

[D(x)]}

（3）

式中，判别网络

要符合1-Lipschitz条件，

data

表示原

始数据分布，

表示生成数据分布。判别网络

为了

满足1-Lipschitz条件，对参数weight做了一个weight-

clipping操作，即将weight限制在某个常数

(-c,c)

之间，

这样就间接满足了1-Lipschitz条件，然而这样会导致

weight几乎都集中在最大值和最小值上。WGAN-GP是

一个带有梯度惩罚的WGAN改进版本。它增加一个额

外的损失来限制判别网络

的梯度：

)

-1||)

]

λE

x~px

[(||∇

D(x

2.2判别网络结构

判别器网络用来判别生成的图像与原图像是否相

似，本文设计的判别网络为全卷积网络，对输入的噪声

图像和清晰图像进行特征提取，如图3所示。

（4）

)

是

式中

是对

data

、

之间的空间采样，

||∇

D(x

判别网络的梯度。在判别网络充分训练之后，其梯度会

稳定在1附近，通过加梯度惩罚可以稳定住梯度。

重构损失采用均方误差

loss，均方误差通过计算

Real

Average

Fake

该判别网络共有6层卷积层，每一层都使用Relu激

活函数，其中第二层和第四层卷积核使用步长为2的卷

积核，最后一层激活函数为Sigmoid函数，前5层卷积核

大小均为64×3×3×64，最后一层卷积核大小为64×3×3×

1。判别网络输出的为一个

N×N

的矩阵，这个矩阵中

的每一个元素代表原图中的一个区域块。元素的值表

示生成图像区域块与原图像区域块相似度，然后求这个

矩阵的平均值得到判别网络的输出，也就是整个生成图

像与原图像的相似度。

Conv+ReluConv+ReluConv+ReluConv+ReluConv+ReluConv+Relu

去噪后的图像与原图像像素之间的平方差距，均方误差

越小，说明去噪后的图像与原图越接近，去噪的效果也

就越好。

Sigmoid

N×N

图3判别网络模型

3实验验证

3.1实验平台及数据集

为了对本文所设计的算法进行验证，实验的硬件配

置为CPU为IntelCorei7，GPU为NVIDIAGeForce1060，

内存为16GB，软件配置为Window1064bit，CUDA9.0，

python3.6，神经网络的搭建采用Google的深度学习框

架Tensorflow1.14.0。

本文的训练数据集采用香港中文大学的开放数据

集CelebA，随机地从中选取1000作为本实验的训练

集，并在训练集图像中添加高斯白噪声。测试集采用经

典的Kodak24数据集，Kodak24由24张自然图像组成，

大小为500×500。

2.3损失函数

本文采用对抗损失和重构损失的加权和：

Loss=Loss

WGAN

+Loss

3.2

（2）

评价指标

图像的质量包含图像的可读懂性和图像的逼真度，

Loss

WGAN

代表对抗损失，

Loss

代表重构损失，式中，对

可读性往往与人类视觉的主观感受有关，图像的逼真度

是指被评价图像与标准图像的偏离程度，偏差越小说明

抗损失是WGAN的改进版本，WGAN使用EM（Earth-

陈人和，等：改进的生成对抗网络图像去噪算法

逼真度越高。本文采用PSNR（峰值信噪比）和SSIM（结

构相似性）作为定量评价指标，PSNR是基于对应像素点

间的误差，它通过均方差（MSE）进行定义：

MSE=

∑

m-1

∑

n-1

[I(i,j)-K(i,j)]

（5）

i=0j=0

PSNR=10⋅lg

MAX

MSE

（6）

式中，

MAX

表示像素点的最大值，由公式可知MSE越

小，PSNR越大，说明修复的图像与原来越接近。SSIM

分别从亮度、对比度和结构三个方面来度量图像的相似

性，它的取值范围为[0，1]，值越大，表明图像失真越小。

3.3实验结果

本文采用的对比算法CBM3D、DnCNN和FFDNet

都是当前具有一定代表性的算法。在Kodak24测试集

上分别添加标准差

为15、25、50的高斯白噪声。图像

去噪后的PSNR和SSIM对应的实验结果如表1和表2

所示。

表1不同方法的PSNR值

NoiseCBM3DDnCNNFFDNet

本文算法

=15

34.2834.7334.5534.82

=25

31.6832.2332.1132.38

=50

28.4629.0228.9929.17

表2不同方法的SSIM值

NoiseCBM3DDnCNNFFDNet

本文算法

=15

0.94170.94550.94650.9467

=25

0.84470.85970.85820.8612

=50

0.77590.79650.79410.7972

从表中的实验数据可以看出，在不同的噪声环境

下，本文算法的去噪效果均要优于其他经典的算法，不管

是PSNR值还是SSIM值相比其他算法都有一定的提高，

说明本文算法对不同的噪声环境具有更强的鲁棒性。

一个好的去噪网络不仅需要能够很好地去除噪

声，去噪的时间复杂度也是影响去噪网络能不能得到实

际应用的一个重要指标。因此本文对比了CBM3D、

DnCNN和FFDNet算法运行所用的时间。测试的图像大

小为500×500，添加的高斯白噪声标准差为

=25，所使

用的GPU为GeForce1060，CPU为IntelCorei7-7700HQ。

从表3中的数据可以看出传统的图像去噪方法

CBM3D在CPU上处理时间要低于深度学习算法，但不

能在GPU上加速。得益于GPU的加持，深度学习算法

在GPU上的速度要远远高于传统图像去噪方法。本文

算法的处理速度相比于DnCNN与FFDNet不管是在

CPU上还是GPU上均有一定的优势，这是因为本文算

表3不同方法运行时间对比

DeviceCBM3DDnCNNFFDNet

本文算法

CPU3.539.7305.3404.250

GPU

—

0.1070.0930.082

2021，57（5）

171

法通过增加网络的宽度而不是深度在减少网络参数量

的同时，降低了计算量，提升了运行速度，并取得了不错

的效果。这说明本文算法在实际应用中更具有优势。

对去噪效果的评价中，人的主观感受也是非常重要

的，为了对比本文算法与其他算法在主观视觉上的差

异，从测试集中选取部分样本图并添加标准差

=25的

高斯白噪声进行测试，测试结果如图4和图5所示。

（a）原图

（b）噪声图

（c）CBM3D去噪效果

（d）DnCNN去噪效果

（e）FFDNet去噪效

（f）本文算法去噪效果

图4不同算法去噪效果对比

图4（a）为原始不含噪声图像，（b）为添加高斯白噪

声的图像，（c）为CBM3D算法去噪后图像，（d）为DnCNN

1722021，57（5）

ComputerEngineeringandApplications计算机工程与应用

（a）原图（b）噪声图（c）CBM3D

（d）DnCNN（e）FFDNet（f）本文算法

图5不同算法去噪局部效果对比

算法去噪后图像，（e）为FFDNet去噪后图像，（f）为本文

算法去噪后图像。图5为不同算法去噪后局部效果图，

其中局部放大倍数为原图的三倍。从图中可以看出

CBM3D算法在图像去除噪声后，部分图像纹理丢失，图

像出现部分模糊状态。DnCNN算法和FFDNet在去除

噪声的同时能保留图像的纹理信息，但是在图像的某些

部分边缘会产生模糊的光滑部分，相比之下本文算法在

去除噪声的同时能够得到更清晰的边缘，并且能够恢复

出接近原图的纹理细节。

4结束语

本文提出了一种基于生成对抗网络的图像去噪算

法，该算法通过加宽生成网络来提取图像特征，并引入

全局残差，有效地去除噪声的同时又很好地保留住了图

像的细节信息。采用对抗损失与重建损失的加权和来

对网络进行训练，不仅避免了网络训练中的梯度消失问

题，还可以更好地恢复图像的纹理细节，使图像纹理恢

复得更加自然。实验结果表明，本文提出的算法与其他

去噪算法不论从视觉上的观察效果还是定量的客观评

价，本文所提出的算法都取得了不错的效果。

参考文献：

[1]李传朋，秦品乐，张晋京.基于深度卷积神经网络的图像去

噪研究[J].计算机工程，2017（3）：259-266.

[2]魏江，刘潇，梅少辉.基于卷积神经网络的遥感图像去噪算

法[J].微电子学与计算机，2019（8）：59-62.

[3]ZHANGX，tivefourth-orderpartialdif-

ferentialequationforimagedenoising[J].Computers&

MathematicswithApplications，2017，74（10）：2529-2545.

[4]DABOVK，FOIA，KATKOVNIKV，estoration

bysparse3Dtransform-domaincollaborativefiltering[C]//

ImageProcessing：AlgorithmsandSystemsVI，SanJose，

California，USA，2008.

[5]tdomaindenoisingmethodbasedonmul-

tistagemedianfiltering[J].TheJournalofChinaUniversities

ofPostsandTelecommunications，2013，20（2）：113-119.

[6]LUCT，CHENMY，SHENJH，etal.X-raybio-image

denoisingusingdirectional-weighted-meanfilteringand

blockmatchingapproach[J].JournalofAmbientIntelli-

gence&HumanizedComputing，2018（5）：1-18.

[7]singapproachviawaveletdomain

diffusionandimagedomaindiffusion[J].Multimedia

Tools&Applications，2017，76（11）：13545-13561.

[8]MOUSAVIP，gorithmforimage

inpaintinginFouriertransformdomain[J].Computational

andAppliedMathematics，2019，38（1）：22.

[9]DABOVK，FOIA，KATKOVNIKV，enoising

bysparse3-Dtransform-domaincollaborativefiltering[J].

IEEETransactionsonImageProcessing，2007，16（8）：

2080-2095.

[10]DABOVK，FOIA，KATKOVNIKV，mage

denoisingviasparse3Dcollaborativefilteringwith

groupingconstraintinluminance-chrominancespace[C]//

IEEEInternationalConferenceonImageProcessing，2007.

[11]BURGERHC，SCHULERCJ，

denoising：canplainneuralnetworkscompetewith

BM3D?[C]//2012IEEEConferenceonComputerVision

andPatternRecognition（CVPR），2012.

[12]MAOXJ，SHENC，estorationusing

convolutionalauto-encoderswithsymmetricskipcon-

nections[J].arXiv：1606.08921，2016.

[13]ZHANGK，ZUOW，CHENY，aGaussian

denoiser：residuallearningofdeepCNNforimage

denoising[J].IEEETransactionsonImageProcessing，

2017，26（7）：3142-3155.

[14]ZHANGK，ZUOW，：towardafast

andflexiblesolutionforCNNbasedimagedenoising[J].

IEEETransactionsonImageProcessing，2018，27（9）：

4608-4622.

[15]GOODFELLOWIJ，POUGET-ABADIEJ，MIRZAM，etal.

Generativeadversarialnets[C]//InternationalConference

onNeuralInformationProcessingSystems，2014.

[16]张元祺.基于生成对抗网络的彩色图像去噪方法[D].辽

宁大连：大连理工大学，2018.

[17]谢川，王勇超，林志洁，等.基于对抗生成网络的蒙特卡罗

噪声去除算法[J].模式识别与人工智能，2018，31（11）：

1047-1060.

[18]CHENJingwen，CHENJiawei，CHAOHongyang，etal.

Imageblinddenoisingwithgenerativeadversarialnet-

workbasednoisemodeling[C]//ProceedingsoftheIEEE

ConferenceonComputerVisionandPatternRecognition，

2018：3155-3164.

[19]HEK，ZHANGX，RENS，siduallearning

forimagerecognition[C]//2016IEEEConferenceon

ComputerVisionandPatternRecognition（CVPR），2016.

改进的生成对抗网络图像去噪算法

发布评论取消回复

最近发表

相关推荐

标签列表

改进的生成对抗网络图像去噪算法

发布评论 取消回复

最近发表

相关推荐

标签列表

发布评论取消回复