2024年3月10日发(作者：)

基于多尺度方形Densenet的图像超分辨算法

崔浩翔

【摘 要】近年来,基于CNN的单张图像超分辨(SISR)算法取得了巨大的进步.目前

基于CNN的SISR算法都是以单尺度CNN网络为主,但是这种网络结构难以有效

利用图像的多尺度信息.针对这一问题,本文提出了一种基于多尺度方形

Densenet(MSR-Densenet)的SISR算法.首先,设计了一种多尺度方形(MSR)网络,

使得CNN网络能够有效利用图像多尺度信息;其次,将Densenet的稠密连接思想

引入MSR网络,提升算法的收敛性;最后,定义多尺度损失函数,使得算法在测试时能

够对网络自适应剪枝以降低计算复杂度.实验结果表明,MSRD算法明显优于传统超

分辨方法(PSNR和SSIM分别提升0.8dB和0.1),而且MSRD能够在保证超分辨

性能的前提下,通过自适应剪枝有效降低计算量.

【期刊名称】《深圳信息职业技术学院学报》

【年(卷),期】2019(017)003

【总页数】6页(P68-73)

【关键词】单图像超分辨;CNN;多尺度;Densenet

【作 者】崔浩翔

【作者单位】深圳大学信息工程学院,广东 深圳 518060

【正文语种】中 文

【中图分类】TP391.41

引言

在图像的应用当中，超分辨率是一个重要的研究方向，其主要思想是使用图像处理

的方法由一幅低分辨率图像或图像序列恢复出高分辨率图像。这一思想于20世纪

60年代产生，经过多年的发展，已经广泛应用于卫星遥感成像、医学影响、安防

监控、数字媒体等诸多领域，成为这些领域中的关键技术。[1]

图像超分辨率按照重建信息获取的方式大致可以分为三类：（1）从低分辨图像自

身获取信息的基于插值的方法；（2）从连续多帧图像中获取信息的基于重建的方

法；（3）从外部样本库中获取信息的基于学习的方法。尤其在近些年来的研究当

中，深度学习方法是一种重要的研究手段，它属于第三类研究方法，相比于传统的

算法取得了更好的效果。[2]在这一类超分辨方法中，传统的CNN方法大都集中

在单尺度层面进行研究，很难利用图像的多尺度信息，并且随着网络的加深，会由

于梯度消失等问题产生网络收敛性变差的问题。[3]

针对以上问题，本文提出了一种多尺度方形DenseNet（MSRD）的图像超分辨算

法。通过多尺度网络可以有效提取不同尺度的特征信息用于超分辨算法中的细节还

原，通过稠密连接的方法可以有效地避免梯度消失的问题，并且可以提高网络中产

生的特征图的利用率。实验表明，使用MSRD算法，可以带来比传统图像超分辨

算法更好的效果。[4]

1 相关技术概述

1.1 图像的降质退化过程

在使用光学成像仪器获取图像时，由于种种原因，会产生变形（平移、旋转）、模

糊（如运动模糊、光学模糊、散焦模糊）等问题，并且由于存储等原因的影响，高

分辨率的图像会经过下采样，并且在传播过程中也不可避免地会受到噪声的影响，

最终成为低分辨率图像。整个过程可以表示为：

其中，x为高分辨率图像，y为低分辨率图像，M为几何运动矩阵，B为模糊矩阵，

D为亚采样矩阵，n为噪声。如图1所示为图像的一般降质退化过程。

图1 图像的降质退化过程

1.2 SRCNN

SRCNN是一种经典的图像超分辨算法，其网络结构如图2所示。

图2 SRCNN的网络结构图

SRCNN的输入图片为低分辨率图片，在输入之后会使用双三次插值将低分辨率图

片放大到目标尺寸，之后输入网络进行卷积操作，最终得到与高分辨率图片同尺寸

的输出图片。SRCNN中包含了3个卷积层，其卷积核大小分别为9×9，1×1和

5×5，分别进行特征提取、特征非线性映射和图像重建。

SRCNN是深度学习算法应用于图像超分辨领域的经典算法，使用这种算法可以取

得不错的性能。但是SRCNN网络较为简单，只能提取单尺度特征，并且在加深

网络深度后会出现梯度消失的问题。

1.3 图像超分辨率的客观评价指标

图像质量客观评价指标是通过数学计算方法得到的，通常使用峰值信噪比（Peak

Signal-to-Noise Ratio,PSNR）和结构相似性（structural similarity

index,SSIM），结构相似性来度量图像的客观质量。

PSNR的定义如下：

式中，w和h分别为图像的宽和高；fc (i,j)和f(i,j)分别为处理后的图像和原图像在

对应点的像素的值。一般来说，PSNR越大则图像质量越高。但是PSNR并不与

图像质量一一对应，即使是同样的PSNR所对应的图像可能视觉观感完全不同。

比如说，在很亮或细节很多的区域的加性噪声非常不明显，但是同样的噪声如果出

现在暗或平滑的区域就易于被察觉。这主要是由于人的视觉系统对于不同情况下的

亮度或者细节的敏感度不同，但是PSNR与图像本身的亮度和细节无关，而只与

亮度变化的程度有关。另外，同样的PSNR，如果噪声是均匀分布于图像之中，人

们并不易于察觉这些噪声，但是如果集中分布，则非常的显眼。

SSIM的定义如下：

式中，是x的平均值，是y的平均值，是x的方差，是y的方差，是x和y的协

方差。是用来维持稳定的常数。L是像素值的动态范围。结构相似性的范围为0到

1。当两张图像一模一样时，SSIM的值等于1。作为结构相似性理论的实现，结

构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场

景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。

用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度

量。

2 基于多尺度方形Densenet的图像超分辨算法MSRD

2.1 MSRD的网络结构

常用的获取多尺度信息的方法主要有两种：（1）使用下采样等手段获取不同尺度

的输入图片，再缩放到同一尺寸用于图像处理；（2）将不同尺度的特征图缩放到

同一尺寸用于图像处理[5]。MSRD采用第一种方法提取多尺度信息，其网络结构

如图3所示。

图3 MSRD的网络结构图

MSRD中使用下采样的方法获取不同尺度的图片，通过多次的卷积操作可以逐步

提取不同尺度的图片中的特征信息，低层网络中包含更多的细节性能，而高层网络

中则包含更多的环境信息。

在MSRD中不同尺度的图像会包含不同层级的特征信息，在每一层中需要通过多

次的卷积操作提取不同层次的特征信息，为了避免随着深度的增加而产生的梯度消

失问题，我们采取了稠密连接的方式，从结构图中可以看到，每层网络都是一个

DenseNet，这样做可以有效地提高特征的利用率，有效缓解梯度消失的问题。

2.2 MSRD的卷积单元

MSRD中的卷积单元RD-Block如图4所示。

图4 MSRD中的卷积单元

RD-Block中包含2个卷积层、2个BN层和2个ReLU层，卷积层中的卷积核大

小为3×3，在每次卷积之后都加入了BN层和ReLU。使用BN层可以改善流经网

络的梯度，其次在训练过程中还允许更大的学习率进而大幅提高训练时的收敛速度，

再次使用BN层可以减少网络对于初始化的强烈依赖，并且减少了对于dropout

的需求。

2.3 MSRD的“剪枝”特性

MSRD的网络结构较为复杂，运算量较大。针对这一问题，我们可以使用MSRD

的“剪枝”特性来自适应地降低计算复杂度，如图5所示[6]。

图5 MSRD的“剪枝”特性示意图

MSRD具备“剪枝”特性，在较为简单的应用当中可以使用低级的网络，而在较

为复杂的应用当中，则可以使用较为高级的网络，基于这一特性可以在保证网络性

能的情况下降低运算量。

3 实验分析

3.1 数据库

本实验所用数据库为BSDS-300数据库，其中包含训练集和测试集，如表1所示。

表1 图像超分辨实验数据图像数目图像尺寸 Patch Size训练集 200 340×480

256×256/192×192测试集 100 340×480 256×256/192×192

为便于实验的进行，在训练时我们将图像进行中心裁剪，在图片的缩小比例为2x

和4x的实验当中，我们将patch size取为256×256，在缩小比例为3x的实验中，

我们将patch size取为192×192。

3.2 实验环境

我们的实验环境为一台Linux服务器，系统版本为ubantu 16.04，我们所使用的

深度学习框架为Pytorch，其版本为4，使用nVidia Tesla K80进行

GPU加速。

3.3 损失函数

本实验使用的损失函数为基于均方误差的损失函数，其公式为：

式中，r为样本数量，W和H分别为图像的宽度和高度，表示高分辨率图像中的

像素，表示重构图像中的像素。

3.4 实验方案

在训练时，我们将数据集中的图片经过下采样取得缩放比例为2x、3x、4x的图片，

将其作为输入图片，将原图片所谓目标图片，网络的输出结果为4、9、16通道的

输出图片，最终将输出结果还原为原分辨率的图片进而计算其损失进行反向传播。

实验中所使用的MSRD的深度为6层，层数为3层，同时我们使用SRCNN、U

型多尺度CNN（U-Net）作为平行对照网络，实验中使用的U-Net为3层。实验

中所使用的学习速率为并在迭代80次后将学习速率调整为实验使Adam优化器，

迭代次数设定为100代，batch size设定为16。使用训练集进行训练，并在每代

之后将测试集数据输入网络，通过PSNR和SSIM来反映网络性能。

3.5 实验结果

我们训练的迭代次数设定为100，训练结束后，我们比较了双线性插值、SRCNN、

U-Net和MSRD算法的PSNR、SSIM和测试时间等指标，我们在测试集中取出

了Tiger、Talking、Airplane、Elephant等图片进行测试分析，所得结果如表2

所示。

表2 图像超分辨实验结果Image Name Scale bilinear SRCNN U-Net MSRD

PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM Tiger 2

25.30/0.8727.02/0.9027.90/0.9228.19/0.93 3 23.56/0.79 23.52/0.79

24.09/0.82 24.15/0.82 4 21.80/0.71 21.92/0.70 22.47/0.74 22.61/0.75

Talking 2 24.56/0.8725.92/0.9026.84/0.9227.07/0.92 3 23.09/0.81

23.15/0.81 23.79/0.83 23.94/0.83 4

21.63/0.7521.94/0.7422.78/0.7822.89/0.79 Airplane 2 27.36/0.88 29.08/0.90

30.47/0.93 30.76/0.93 3 26.42/0.8526.46/0.8527.33/0.8727.40/0.87 4

24.95/0.81 25.52/0.82 26.20/0.84 26.38/0.84 Elephant 2

28.75/0.8829.69/0.9030.67/0.9130.87/0.91 3 27.33/0.84 27.49/0.84

28.21/0.86 28.30/0.86 4 26.06/0.81 26.46/0.81 27.32/0.83 27.43/0.84 All 2

23.93/0.8325.22/0.8626.18/0.8926.38/0.89 3 22.18/0.76 22.27/0.76

23.08/0.80 23.15/0.80 4 21.05/0.7021.39/0.7022.10/0.7422.19/0.74

从表2中可以看出，相比于传统算法中的双线性插值方法，深度学习方法的性能

非常突出。在2x、3x、4x比例的实验中，SRCNN在PSNR指标上比双线性插值

高出1.29dB、0.11dB、0.34dB。而U型多尺度CNN网络U-Net相比于

SRCNN分别在2x、3x、4x中PSNR指标高出0.96dB、0.81dB、0.71dB，说明

在使用多尺度网络提取多尺度特征进行图像超分辨重建任务可以带来更高的性能提

升，多尺度特征对于指导图像的修复起着至关重要的作用。MSRD相比于U-Net

分别在2x、3x、4x中PSNR指标高出0.2dB、0.07dB、0.09dB，说明稠密连接

方法对于图像超分辨研究确实有性能的提升。另外，图像超分辨任务中，SSIM指

标的提升并不明显，因为图像超分辨任务中，下采样获取的低分辨率图片依旧可以

很好地保留图像的结构信息，另外使用MSE作为损失函数会得到更好的PSNR指

标，而对于SSIM指标的提升也并不突出。

由于MSRD的网络结构较为复杂，会提高网络的计算量，因此MSRD可以利用其

“剪枝”特性自适应的调整网络的深度，在保证网络性能的前提下降低网络的计算

量。我们在训练时，定义了多尺度损失函数，在网络中的输出端使用多个损失函数

进行监督，提取出不同级别的输出结果，我们将2x图像超分辨任务的结果表示在

图6中。

图6 超分辨率实验结果图 (a)双线性插值 (b)SRCNN实验结果 (c)U-Net实验结果

(d)MSRD depth=2实验结果 (e)MSRD depth=3实验结果 (f)MSRD depth=4

实验结果 (g)MSRD depth=5实验结果 (h) MSRD depth=6实验结果

根据上图可以明显看出，在增加多尺度损失函数后，各级MSRD的输出结果均表

现良好，深度为2、3、4、5、6层的MSRD相比于SRCNN网络在PSNR上分

别高出1.46dB、1.59dB、1.56dB、1.64dB、1.68dB，说明MSRD相比于

SRCNN性能提升非常明显。而MSRD中PSNR指标最低的深度为2的网络模型

依旧比U-Net网络高出0.07Db，而深度为6的网络模型则高出U-Net0.29dB，

说明稠密连接的思路对于超分辨率算法的提升非常明显。由于低层网络的网络参数

较少，计算复杂度远低于高级网络，因此在较为简单的应用场景中可以使用较为低

级的MSRD网络，其性能依旧高于传统的图像超分辨算法。

4 结论

本文提出的基于多尺度方形DenseNet的图像超分辨率算法相比于传统算法具有

很好的性能，这种网络是在多尺度CNN网络模型的基础上加入了稠密连接的思想，

相比于传统的图像超分辨算法在不同的缩小比例中可以在PSNR上有超过0.8dB

的提升，另外MSRD可以在不同场景中根据其“剪枝”特性来降低其计算量，保

证运算速度。

参考文献：

【相关文献】

[1]Harris J L .Diffraction and Resolving Power[J].Journal of the Optical Society of America

(1917-1983),1964,54(7)：931-933.

[2]苏衡,周杰,张志浩.超分辨率图像重建方法综述[J].自动化学报,2013,39(8).

[3]罗山.基于多尺度几何分析的图像增强方法综述[J].山西电子技术,2015(2)：94-96.

[4]Dong C ,Loy C C ,He K ,et ng a Deep Convolutional Network for Image Super-

Resolution[C]//European Conference on Computer er,Cham,2014.

[5]Yan Y,Zhang L,Li J,et te Spectral Superresolution from Single RGB Image Using

Multi-scale CNN[J].2018.

[6]Molchanov P,Tyree S,Karras T,et g Convolutional Neural Networks for

Resource Efficient Inference[J].2016.