2024年4月29日发(作者:)



文章编号网址

::

www.ssele.com

1001506X

2022

02038509

 

44

 

2022

系统工程与电子技术

SstemsEnineerinndElectronics

ygg

Vol.44

 

No.2

Februar022

融合深度图像先验的全变差图像着色算法

南京邮电大学理学院

江苏南京

210023

在即插即用

totalvariation

TV

图像着色模型

luandla

  

 

提出了融合深度图像先验的全变差

pgpy

框架下

结合交替方向乘子法

设计出相应的数值求解

PnP

alternatinirectionmethodofmultiliers

ADMM

并给出该算法的收敛性结果

数值实验结果表明

该模型能有效整合耦合

TV

边缘捕获和卷积神经网络算法

细节捕捉的功能

对结构图像和纹理等细节丰富的图像

均能实现较大范围

convolutionalneuralnetwork

CNN

的有效着色

关键词

图像着色

耦合全变差

卷积神经网络

即插即用框架

交替方向乘子算法

中图分类号

TP7issn.1001506X.2022.02.0451

    

文献标志码

    

犇犗犐

10.12305

 

金正猛

姜亚琴

犜狅狋犪犾狏犪狉犻犪狋犻狅狀犪犾狅狉犻狋犺犿狑犻狋犺犱犲狋犺犻犿犪犲

狉犻狅狉狊犳狅狉犻犿犪犲犮狅犾狅狉犻狕犪狋犻狅狀

犵狆犵犵

犛犺狅狅犾狅犮犻犲狀犮犲

犖犪狀犻狀

犝狀犻狏犲狉狊犻狋狊狋狊犪狀犱犜犲犾犲犮狅犿犿狌狀犻犮犪狋犻狅狀狊

犖犪狀犻狀

210023

犆犺犻狀犪

犼狔

犘狅

ZHANGXi

JINZhennIANGYain

me

thealorithm.Theexerimentalresultsshowthatthemodelcaneffectivelnteratetheedecaturefunction

gpy

ggp

aofcouledTVandthedetailcaturefunctionofconvolutionalneuralnetwork

CNN

ndalsocanachievea

pp

larescaleeffectivecolorinorstructuralimaesandmultitexturesdetailedimaes.

gg

gg

;;

犓犲狉犱狊

imaecolorincouledtotalvariation

TV

convolutionalneuralnetwork

CNN

luand

gg

pg

狑狅

PnP

framework

alternatinirectionmethodofmultiliers

ADMM

la

ppy

该方法的着色效果依赖于人为添加的颜色

随灰度图像

引言

  

着人工智能的快速发展

基于深度学习的图像着色方法

39

图像着色是借助计算机技术将灰度图像转化为彩色图已得到越来越广泛的应用

该方法利用在大量数据集下训

像的过程

目前广泛应用于广告

医疗

影视

古画修复等领练好的卷积神经网络

以端对端的方式直接对灰度图像进

[]

12

传统的图像着色方法可以分为两类

一类是基于颜行着色

减少了人工参与

但其着色效果取决于网络本身的

色转移的图像着色方法

另一类是基于颜色扩散的图像着设计和训练集的选取

色方法

基于颜色转移的图像着色方法需要用户首先输入近

基于变分偏微分方程的颜色扩散着色方法

年来

一幅与目标灰度图像内容信息相近的彩色源图像

再通过已得到广泛研究

Sairo

10

首次将图像修复的偏微分方程

合适的算法将源图像中的颜色转移到输入的灰度图像上

,(

方法用于图像着色

将待

artialdifferentialeuation

PDE

pq

该方法的着色效果依赖于彩色源图像的选取

基于颜色扩着色区域作为颜色修补区域

通过亮度信息

的梯度所决

散的图像着色方法需要人为地将部分颜色添加到目标灰度定的引导场将色度信息

Cb

Cr

扩散至整幅图像

Yatziv

[]

图像中

再利用适当的算法将所给的颜色信息扩散到整个等人

11

利用加权距离色度混合技术

通过最短路径来进行

收稿日期

20210302

修回日期

20210422

网络优先出版日期

20210714

///

网络优先出版地址

httns.cnki.netkcmsdetail11.2422.TN.20210714.1122.007.html

国家自然科学基金

资助课题

基金项目

11771005

通讯作者

引用格式

张玺

金正猛

姜亚琴

融合深度图像先验的全变差图像着色算法

[:

3J

系统工程与电子技术

2022

44

85393.

犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋

ZHANGX

JINZM

JIANGYQ.Totalvariationalorithmwithdethimae

riorsforimaecolorization

.Sstems

gpggy

3EnineerinndElectronics

2022

44

85393.

gg

Copyright©博看网 . All Rights Reserved.

狊狋狉犪犮狋

Inthis

aer

we

rooseatotalvariation

TV

modelwithdethimae

riorsforimae

  

犃犫

pppgg

colorization.Underthe

luandlaPnP

framework

wedesinthenumericalalorithmtosolvethemodel

gggpy

abncororatinhealternatinirectionmethodofmultiliers

ADMM

nd

ivetheconverenceresultof

pg

pg

系统工程与电子技术第

86

·

 

 

 

·



(:

图像的快速着色

滕升华等人

12

在灰度图像上人工添加

}(

Ω

颜色线条后求解拉普拉斯方程

使得所给颜色均匀地扩散

对于灰度图像

定义拉普拉斯算子

Ω

到目标灰度图像中

但这些方法都没有考虑保留图像轮

狓狓

狔狔

Δ

以致会出现颜色越界和颜色边缘模糊的问题

为克服

Δ

来表示

中等值线的曲率信息

25

颜色在扩散过程中的越界现象

YCbC

Kan

等人

13

提出基于加

颜色空间中

彩色图像的亮度信息

为灰

权调和映射的全变差

通过某种合适的算法恢复该灰度图像的

totalvariation

TV

模型

以下简称

度图像的灰度值

用目标灰度图像的亮度梯度信息来刻画颜色

色度信息

(,

再通过

YCbC

Kan

模型

Cb

Cr

空间与

RGB

空间的变换

从而阻止颜色在扩散过程中越界

其他形式的加

关系计算出

的边缘

三通道的像素值

即完成了着色的

GB

TV

模型

1416

也陆续被提出

用于指导颜色扩散

这些

过程

加权

TV

模型都是利用亮度的梯度信息来控制颜色扩散

PnP

框架灵活地利用了

ADMM

或其他临近点算法中

着色效果容易受到图像轮廓中伪边缘的影响

以致着色范

去噪器的功能

经过变量分离技术

优化问题被分解为更

围较小

为了克服这一缺陷

而正则化的临近点算子即为其中之一的子

Jin

等人

17

提出基于曲率驱

简单的子问题

动的耦合

TV

模型

以下简称

Jin

模型

),

该模型使用亮度

问题

正则化的临近点算子

被定义为

rox

Φ

的曲率信息来控制颜色扩散

减弱了伪边缘的影响

对结

ρ

}((){())

rox=armin

+3

Φ

pg

Φ

[]

18

构信息明显的图像着色效果较好

Min

等人在

Jin

[]

17

型的基础上

提出一种基于自然矢量

TV

的着色模型

即将输入的

映射到式

的极小值

PnP

框架下

以下简称

Mi

称为去噪器

取代

本文

模型

),

该方法能更好地保留颜色边缘

正则化的临近点算子被去噪算法

少颜色越界

使用去噪

CNNFFDNet

26

来替换相应的正则化临近点算

现有的基于亮度信息驱动的颜色扩散模型在对结构图

以更好地解决相关子问题

像进行着色时

能较好地保护图像的颜色轮廓

但由于这

1.2

 

犑犻狀

模型

些模型中的扩散函数无法有效地刻画纹理等多细节图像的

Jin

等人

17

YCbCr

颜色空间中对灰度图像进行着

颜色边缘

在对纹理图像着色时会出现颜色扩散不均匀和

提出如下基于亮度曲率驱动的耦合

TV

模型

[]

越界等问题

Zhao

等人

19

结合卷积神经网络

convolu

λ

(()

in

犌犢犞狓

狘狘狘狘+

Δ

σ

Ω

利用深度图像先验来提取图

tionalneuralnetwork

CNN

像中的纹理等细节

在低采样率下

该方法能很好地修复

Cb

Cr

YCbCr

空间中色度

图像的细节缺损信息

受文献

中深度图像先验思想的

式中

表示卷积运算

19

为已知的色度信息

为高斯磨光

Cb

Cr

σ

启发

本文在

YCbC

颜色空间机制下

把深度图像先验融

信息

入到基于曲率驱动的耦合

TV

模型中

提出融合深度图像

=11+

τ

为单调递减函数

λ

为权重

系数

先验的

TV

着色模型

同时在即插即用

luandla

pgpy

模型式

中的扩散函数

框架

2022

结合交替方向乘子法

σ

|Δ

利用拉普拉

PnP

alternatinirec

给出该模型的数值求解

斯算子能有效地刻画图像的结构边缘信息并驱动颜色扩

tionmethodofmultiliers

ADMM

从而实现对目标灰度图像进行大面积着色

但是纹理

算法

并分析该算法的收敛性

本文首先介绍相关知识点

边缘不清晰

及本文模型

然后给出求解本文模型的算法

接着给出本文

等细节丰富的图像的结构

σ

|Δ

如图

模型和其他模型在结构图像和纹理图像上的着色实验结果

无法有效地刻画出这些图像的边缘

所示

其结

及数据

验证本文所提模型的有效性

并给出算法的收敛性

果就是

Jin

模型

17

在对纹理图像进行着色时

会出现颜色

扩散不均匀等问题

对图

中纹理图像图

分析

最后对所做工作进行总结

进行着色

模型

17

的着色结果如图

Jind

所示

很容易看出

模型介绍

 

人为添加的初始颜色与扩散后的颜色有较大的图

偏差

1.1

 

预备知识

对目标灰度图像进行着色

需要选择合适的颜色空间

reen

RGB

red

blue

颜色空间是目前广泛使用的颜色空

间之一

除此之外还有

YCbCr

luminance

twocolordiffer

encecom

onents

空间

YIQ

luminance

hue

andsatura

[]

2324

空间和

CB

tion

chromaticitndbrihtness

空间等

这些空间将彩色图像分解为色度和亮度

并与

RGB

颜色空

间有某种联系

在本文中

Ω

记为图像的支持域

Ω

表示待着色区域

Ω

表示图像中给予颜色信息

的区域

RGB

颜色空间中的彩色图像可以表示为

Copyright©博看网 . All Rights Reserved.

Δ

∫∫

 

·

387

·

  



张玺等

融合深度图像先验的全变差图像着色算法

 

本文算法

为已知的色度信息

σ

分别为式

中的高斯磨

光核和单调递减函数

是隐式

λ

λ

均是权重系数

Φ

正则项

PnP

框架下把在自然图像数据集上训练好的

二维去噪

CNNFFDNet

插入到模型式

以解决与

相关的子问题

Φ

本文模型具有大数据的优势

在给定颜色较少的情况

能有效整合耦合

TV

边缘捕获和

CNN

细节捕捉的功

对结构图像和纹理等细节丰富的图像

均能实现较大范

围的有效着色

本文对图

中图像的着色结果如图

图像所示

不难发现

本文模型能很好地克服

Jin

模型对纹

理图像着色出现扩散不均匀的问题

对纹理等细节丰富的

图像能实现较大范围的有效着色

Copyright©博看网 . All Rights Reserved.

Δ

Δ

Δ

Δ

Δ

1.3

 

本文模型

为克服亮度信息驱动的局部颜色扩散模型在对纹理图

扩散不均匀等问题

本像着色时出现的颜色扩散区域较小

文在

Jin

模型

17

的基础上

结合

CNN

提出融合深度图像

先验的

TV

着色模型

σ

min

Ω

Δ

狘+

λ

Φ

λ

式中

YC

Cb

Cr

bCr

空间中色度信息

CbCr

ΔΔ

 

σ

|Δ

的绘图及两种模型的着色效果

Fi1

 

Plotof

σ

ndcolorinesultoftwomodels

|Δ

本节在

PnP

框架下

结合

ADMM

算法

2728

给出本文

模型式

的快速数值求解算法

先引入符号

16

Cb

240

Cb

Cr

Cr

Γ

55255

λ

λ

以及辅助变量

模型式

等价为如下约束优化

问题

λ

()

狓犣

armin

狘狘++

λΦ

 

Ω

s.t.

Γ

将式

转化为无约束极值问题

得到其增广拉格朗日

函数

Λ

Λ

Λ

Ω

Λ

μ

〈〉

μ

犣犞犣

Λ

Φ

λ

22

μ

犠犞

〈,

λ

χ

Γ

-+

Λ

式中

χ

Γ

Λ

Λ

Λ

是拉格朗日乘数

μ

是惩罚参数

义为

Γ

χ

Γ

其他

下面分别对

个子问题进行求解

求解关于

的子问题

μ

〈,〉

arin

狓犞犱

狘狘+-+

Λ

Ω

10

等价于

Λ

μ

arin

Ω

μ

11

其中

对所有

Ω

都有

为常数

可得

Λ

Λ

μ

ma

=x12

μ

Λ

μ

μ

求解关于

的子问题

Δ

Δ

Δ

88

·

 

 

·

=0

Λ

=0

步骤

=0

犞犱

   

Λ

12

μ

()〈,〉()

arin

+13

λΦΛ

12

Λ

=0

步骤

 

在第

步迭代

σ

则等价于求解

λ

μ

()

步骤

由式得

122

 

Λ

()()()

rox

=armin

+14

Φ

Φ

犽犽

+d

((

σ

μ

×

犉犣

-iv

iv

ΛΛ

22

Λ

μ

μ

+1-1

×

PnP

框架下

正则化的临近点算子

rox犚

Δ

μ

×

×

被快速灵活的去噪

CNNFFDNet

替换

步骤

由式

212

 

/,

馈入中可以解得

Λ

μ

FFDNe

Λ

+1

Λ

=FFDNet

μ

15

σ

μ

+1

Λ

+1

+1

Λ

max

μ

μ

FFDNe

参数

σ

与噪声水平有关

此处与估计值

μ

与真实值情况之间的误差水平有关

步骤

3

 

由式

15

求解关于

的子问题

Λ

+1

+1

λ

=FFDNet

()

arin

++

χ

Γ

μ

σ

步骤

由式

417

 

μ

〈,〉()

+16

Λ

+1

Λ

λ

03

μ

+1

=Pro

可对

求导并令其等于

解得

λ

μ

+1

犽犽

+1

+1

Λλ

((

步骤

μ

25=+

23

 

ΛΛ

11

μ

()

ro17

Γ

+1

犽犽

+1

+1

)()

步骤

λ

μ

6

24

 

Λ

Λ

μ

式中

+1

犽犽

+1

+1

步骤

27

25

 

Λ

Λ

μ

(,,

ro

max

min

pj

Γ

步骤

28

 

+1

+1

26

{{,},})()

maxmin

犫犪

18

ε

步骤

 

返回步骤

直到满足

其中

ε

求解关于

的子问题

是控制迭代终止的参数

当满足停止条件时

求出

arin

〈,

μ

Λ

Λ



系统工程与电子技术第

44

 

{}

实验步骤及结果分析

 

μ

μ

〈,〉()

+19

Λ

22

22

本文图像着色的具体步骤如下

等价于求解

步骤

 

RGB

颜色空间上

输入一幅灰度图像

μ

Λ

在图上绘出适当的彩色线条

arin

μ

步骤

 

将步骤

中输入的带有少量颜色的图像转换

YCbC

并获取色度信息

和亮度信息

颜色空间中

ΛΛ

()

20

μ

μ

步骤

 

对本文参数进行赋值

ε

=1×10

-4

=1

μ

控制函数

中的参数

τ

=1000

根据彩色图像的最高峰值

根据

EulerLarane

方程得出

gg

eaksinaltonoiseratio

PSNR

值来选择所提模型

pg

Δ

μ

Λ

Λ

μ

div

+div21

信噪比

Λ

μ

中的

λ

λ

λ

与输入

FFDNet

中的噪声水平图

σ

再利用快速傅里叶变换求出

λ

μ

相关

而在本文模型中是与估计值和真实值情况之间的误

(()

犉犣

-div

+div

ΛΛ

Λ

μ

μ

-1

)(

22

 

差水平有关

λ

用于平衡正则项和保真项

具体参数设置

()

2-

Δ

μ

如表

所示

利用本文所提模型式

求出色度信息

其中

-1

分别为傅里叶变换及其逆变换

并结合亮度信息

得到

YCbCCb

Cr

),

颜色空间中的

、、,

结合式

本文算法的具

12

15

17

和式

22

彩色图像

体步骤如下

{}

输出图

  

步骤

 

将彩色图像转换到

RGB

颜色空间中

完成着色

本文采用

PSNR

均方误差

meansuareerror

MSE

和四元数结构相似性

uaternionstructuralsimilarit

qy

作为着色效果的评价标准

定义如下

QSSIM

参数

λ

λ

图像

0.1

120

 

实验中

10

幅图的参数设置

犜犪犫犾犲1

 

犘犪狉犪犿犲狋犲狉狊狊犲狋狋犻狀犳狋犲狀

犻犮狋狌狉犲狊犻狀狋犺犲犲狓犲狉犻犿犲狀狋

图像

图像

图像

图像

图像

图像

0.50.10.50.50.20.8

200120508080100

图像

150

([(

∑∑

MSE

)[(

max

烄烌

true

PSNR=10l

MSE

烎烆

Copyright©博看网 . All Rights Reserved.

Δ

()

Δ

Δ

Δ

()

Δ

Δ

Δ

图像

0.5

250

图像

10

10

27

28

true

)])

·

张玺等

融合深度图像先验的全变差图像着色算法

89

·

  

 



QSSIM

详见

Amir

等人的文章

29

其中

true

表示原始

3.1

 

结构图像着色

彩色图像

本小节展示各着色方法在结构图像

见图

上的着色

IM

值越

是着色后图像

PSNR

值和

QSS

表示图像着色效果越佳

MSE

值越低

效果

实验结果如图

所示

从图

中的图像可以看出

为验证本文模型和算法的适用性以及有效性

本节对结

模型

模型

所输出彩色图片与实际图

arssonizuka

构图像和纹理图像进行着色实验

并与其他模型进行比较

像相差较大

,))

不符合视觉效果

从图

幅图和图

cc

其中包括两个基于深度学习的全自动着色方法

arsson

10

的颜色信息扩散范围较

第幅图可以看出模型

4Kan

[][]

57

以及

个基于颜色扩散的着色方法

Iizuka

模型

[]

Kan

[[

17

18

对结构图像着色效果较好

模型模型但

Jinin

[][]

101718

模型

模型和

模型

在实验中

使用

KaJininn

在图

的孩子手肘部分和左下角的番茄

模型

10

模型

17

模型

18

中的参数设置

并如

JJininin

图的右上角和图

幅图的右边苹果处颜色仍有扩散

等人

17

所提

采用

Δ

σ

仅用做数学分析

并通过有限

可以看出

本文模型将深度

差分法代替

Δ

σ

进行计算

由于

模型

不均匀和少量越界

从图

arsson

所以仅需输入

图像先验用于捕捉颜色细节部分

所以在图像细节处的着

Iizuka

模型

是基于深度学习的全自动着色

生成的颜色更为准确

由此可见

本文模型对

模型

10

模型

17

色效果较佳

相应的灰度图像

而在

KanJinin

结构图像的着色效果更佳

18

和本文模型中

输入带有部分颜色的图像

 

添加部分颜色的灰度结构图像和原始结构图像

Fi2

 

Grascalestructuralimaewithsomecolor

ivenandoriinalcolorstructuralimae

yggg

 

使用不同模型得到的彩色结构图像

Fi3

 

Colorizedstructuralimaewithdifferentmethods

Copyright©博看网 . All Rights Reserved.

系统工程与电子技术第

90

·

 

 

 

·



  

列出了图

中各彩色图像的

PSNR

MSE

和文模型的平均

PSNR

值最高

平均

MSE

值最低

从而可以得到各模型在这

幅图上的平均

QS

但相较于第一名的

LQSSIM

SIM

值排在第三名

arsson

模型

平均

MSE

和平均

QS

如表

所示

其中最高和第二名的

IPSNR

SIM

izuka

模型

其所生成的彩色图像更符合视

第二高值以粗体标记

从表

可以看出

本觉效果

值以蓝色标记

图像

图像

图像

图像

图像

评价指标

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

 

中彩色图像的

犘犛犐犕

犛犖犚

犕犛犈

犜犪犫犾犲2

 

犞犪犾狌犲狊狅犳犘犛犖犚

犕犛犈犪狀犱

犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻3

犵犵

Larsson

模型

Iizuka

模型

KanJin

模型

Min

模型

模型

18.9417.8520.5625.4224.01

0.01280.01640.01250.00290.0040

0.93450.94290.90920.94400.9410

26.9024.3424.5914.3315.15

0.00080.00150.00140.01490.0123

0.96550.97440.95420.93850.9570

14.5913.8921.2324.8624.77

0.03470.04080.00750.00330.0033

0.91310.91840.88270.92550.9211

12.6718.4422.1713.3621.78

0.05400.01430.0.046100610.0066

0.89230.85800.88620.85750.8518

本文模型

25.52

0.0028

0.9442

25.40

0.0012

0.9619

24.64

0.0034

92260.

22.49

0.0056

0.8577

本文模型

24.51

0.0033

0.9216

评价指标

平均

PSNR

平均

MSE

平均

QSSIM

 

中彩色图像的平均

平均

犕犛犛犖犚

和平均

犛犛犐犕

犜犪犫犾犲3

 

犃狏犲狉犪犲狏犪犾狌犲狊狅犳犘犛犖犚

犕犛犈犪狀犱

犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻3

犵犵犵

Larsson

模型

Iizuka

模型

KanJin

模型

Min

模型

模型

14.8921.7824.2015.3123.79

0.03090.00880.00350.02710.0038

0.92980.90610.92270.92030.9131

3.2

 

算法的收敛情况

从数值实验可以看出

本文模型在图像着色上取得了

较好的效果

但是

PnP

框架下的

ADMM

算法是否具有良

好的收敛性仍是一个悬而未决的问题

文献

30

从固定点

的角度考虑了在

PnP

框架下

ADMM

的收敛性

文献

31

讨论了在

PnP

框架下

ADMM

与经过适当训练的去噪器相

融合的问题

展示了

张纹理图像在本文算法上相对

变化

+1

的变化曲线

从图

可以看到

着迭代次数的不断增加

本文算法最终都能满足迭代终止

条件

达到数值收敛

 

本文算法在纹理图像

10

上的相对变化曲线

Fi4

 

Relativechaninurveofthe

roosedalorithmin

gg

pg

textureimae5

10

3.3

 

纹理图像着色

本节展示各着色方法在纹理图像

见图

上的着色效

实验结果如图

所示

arsson

模型

Iizuka

模型

对图像

图像

10

的着色效果都不佳

着色后的彩色图像

与原始彩色图像相差较大

也不符合视觉效果

从图

以看出

对于纹理图像

Kan

模型

10

的颜色信息扩散范围

从图

可以看出

较小

Jin

模型

17

在对纹理图像着色时

会出现颜色扩散不均匀

颜色越界的问题

从图

中人的

衣袖

草原

沙滩和鼻子边缘可以看出

Min

模型

18

对纹理

图像着色依旧有明显的颜色扩散不均匀和颜色越界现象

较于这些方法

从图

中的第一幅下侧

草地

沙漠

沙滩

鼻子可以看出

本文模型有效整合耦合

TV

边缘

捕获和

CNN

细节捕捉的功能

减少了颜色的越界

同时对

图像的细节和纹理部分着色效果更佳

由此可见

本文模

型对纹理图像着色效果较好

列出各个模型对不同纹理图片着色后彩色图像的

PSNR

MSE

QSSIM

本文模型的

PSNR

值均为最

MSE

值均为最低

在图像

和图像

上取得了最高

QSSIM

中列出了各模型在

幅图像上的平均

平均

MSE

和平均

QSPSNR

SIM

在平均

QSSIM

值上

本文模型排在第二名

与第一名的

本文

izuka

模型

相比

模型所生成的彩色图像更符合视觉效果

Copyright©博看网 . All Rights Reserved.

 

·

391

·

  



张玺等

融合深度图像先验的全变差图像着色算法

 

添加部分颜色的纹理灰度图像和原始纹理图像

Fi5

 

Grascaletextureimaewithsomecolor

ivenandoriinalcolortextureimae

yggg

 

使用不同模型得到的彩色纹理图像

Fi6

 

Colorizedtextureimaewithdifferentmethods

Copyright©博看网 . All Rights Reserved.

92

·

 

 

·

图像

图像

图像

图像

图像

图像

图像

10



评价指标

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

PSNR

MSE

QSSIM

犘犛犖犚

犕犛犈

犙犛犛犐犕

 

中彩色图像的

犘犛犖犚

犕犛犈

犛犛犐犕

犜犪犫犾犲4

 

犞犪犾狌犲狊狅犳犘犛犖犚

犕犛犈犪狀犱

犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻6

犵犵

Lrasson

模型

Iizuka

模型

KanJin

模型

模型

24.5925.4919.0328.37

0.00280.01250.00150.0035

0.98890.98910.96240.9831

24.8223.2724.684428.

0.00330.00470.00340.0014

0.98580.98800.98640.9726

15.0824.2123.2126.94

0.02930.00360.00450.0019

0.95710.98070.97790.9726

26.7424.5228.1229.10

0.00210.00120.00350.0015

0.97480.98570.98330.9832

19.8324.8227.7527.55

0.01040.0033001700180.0.

0.95160.94820.95850.9526

16.6317.57120823.24.

0.0.0.0.0217017500490039

0.94679417939593980.0.0.

系统工程与电子技术第

44

 

Min

模型

28.42

0.0014

0.9830

29.07

0.0012

0.9382

28.86

0.0012

0.9684

29.22

0.0012

0.9727

27.41

00180.

0.9536

24.24

0.0038

0.9409

本文模型

29.63

0.0011

0.9839

29.20

0.0012

0.9753

29.44

0.0011

0.9753

29.85

0.0010

0.9805

29.52

00110.

0.9606

0725.

0.0031

95000.

本文模型

28.79

0.0014

0.9709

评价指标

平均

PSNR

平均

MSE

平均

QSSIM

 

中彩色图像的平均

平均

犕犛犛犖犚

和平均

犛犛犐犕

犜犪犫犾犲5

 

犃狏犲狉犪犲狏犪犾狌犲狊狅犳犘犛犖犚

犕犛犈犪狀犱

犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻6

犵犵犵

Larsson

模型

Iizuka

模型

KanJin

模型

Min

模型

模型

27.8721.5124.0823.7227.02

0.0.01160.00550.00510.00210018

0.96890.97220.96800.96590.9595

3.4

 

计算时间

在相同设备上

本文将

40

张图片分别在

Larsson

模型

10

Iizuka

模型

KanJin

模型

17

Min

18

以及本文模型上进行运算

各模型的平均计算时间如

所示

18

的着色效果进行比较

可以发现

该模型能有效整合

耦合

TV

边缘捕获和

CNN

细节捕捉的功能

对结构图像

和纹理等细节丰富的图像

均能实现较大范围的有效

着色

 

图像的平均计算时间

犜犪犫犾犲6

 

犜犺犲犪狏犲狉犪犲犮犪犾犮狌犾犪狋犻狅狀狋犻犿犲狅犳狋犺犲犻犿犪犲狊s

犵犵

rssonIizukakaninMin

本文

评价指标

La

模型模型模型模型模型模型

平均运行时间

3.23.7420.781.3882.5230.2

参考文献

PAULS

BHATTACHARYAS

GUPTAS.Satiotem

oral

colorizationofvideousinteerable

ramids

.IEEE

3Ds

Trans.onCircuitsandSstemsforVideoTechnolo2017

27

ygy

 

结束语

从表

可以看出

相较于基于深度学习的全自动图像

本文算法的耗时更着色方法

(,

Larsson

方法和

Iizuka

方法

但相较于基于颜色扩散的图像着色方法

Kan

方法和

本文算法的耗时更少

同时

通过对结构和纹

Min

方法

理图像进行数值实验可知

本文算法的着色效果较上述其

他方法更佳

总体优势较大

本文从

结合

CNN

的数据补偿和细节

in

模型

17

出发

捕捉功能

提出融合深度图像先验的

TV

着色模型

并在

PnP

框架下

结合

ADMM

算法进行数值求解

通过与

Larsson

模型

Iizuka

模型

KanJin

模型

17

Min

模型

10

16051619.

汪冬宇

汪磊

基于

MRI

医学图像的脑肿瘤区域着色方法

养生保健指南

3018

11.

WANGDY

WANGL.Braintumorreioncolorinthod

gg

me

3basedonMRImedicalimae

.HealthGuide

2018

11.

CHENGZZ

YANGQX

SHENGB.Deeolorization

Proc.oftheIEEEInternationalConferenceonCom

uterVision

2015

415423.

DESHPANDEA

ROCKJ

FORSYTHD.Learninarescale

automaticimaecolorization

Proc.oftheIEEEInternational

ConferenceonCom

uterVision

2015

567575.

LARSSONG

MAIREM

SHAKHNAROVICHG.Learnin

reresentationsforautomaticcolorization

roc.oftheCom

016

uterVisionECCVSrinerInternationalPublishin

ppgg

577593.

Copyright©博看网 . All Rights Reserved.

 

ISOLAP

ZHUJY

ZHOUT

etal.Imaetoimaetransla

gg

tionwithconditionaladversarialnetworks

Proc.ofthe

IEEEConferenceonCom

uterVisionandPatternReconition

2017

11251137.

[:

IIZUKAS

SIMOSERRAE

ISHIKAWAH.Lettherebecolor

·

393

·

  



张玺等

融合深度图像先验的全变差图像着色算法

ointendtoendlearninf

lobalandlocalimae

riorsforautomatic

jg

imaecolorizationwithsimultaneousclassification

.ACMTrans.

1onGrahics

2016

35

10.

ZHANGR

ZHUJY

ISOLAP

etal.Realtimeuseruided

imaecolorizationwithlearneddeeriors

.ACMTrans.on

gpp

1Grahics

2017

36

19.

徐中辉

吕维帅

基于卷积神经网络的图像着色

电子技术

应用

1018

44

10

922.

XUZH

LYUWS.Imaecolorinasedonconvolutionneural

gg

.A

licationofElectronicTechniue

2018

network

pq

144

10

922.

10

SAPIROG.Inaintinhecolors

roc.oftheIEEEInter

pg

nationalConferenceonImaeProcessin005

698701.

gg

11

YATZIVL

SAPIROG.Fastimaeandvideocolorization

usinhrominanceblendinJ

.IEEETrans.onImaeProcessin

gg

12006

15

1201129.

12

滕升华

谌安军

邹谋炎

一种基于拉普拉斯方程的图像彩色

化方法

中国图象图形学报

2006

11

45548.

TENGSH

CHENAJ

ZOUMY.Colorizationusinalaceeua

pq

tion

.JournalofImaeandGrahics

2006

11

545548.

gp

13

KANGSH

MARCHR.Variationalmodelsforimaecolori

zationviachromaticitndbrihtnessdecom

osition

.IEEE

2Trans.onImaeProcessin007

16

2512261.

gg

14

CASELLESV

FACCIOLOG

MEINHARDTE.Anisotroic

Cheeersetsandalications

.SIAMJournalonImain

gppgg

1Sciences

2009

2111254.

15

LIF

BAOZ

LIURH

etal.Fastimaeinaintinndcoloriza

gpg

sdualmethod

.JournalofVisualCommunitionbambolle

Ch

5cationandImaeReresentation

2011

22

29542.

gp

16

金正猛

周晨

基于耦合全变差的快速图像着色算法

电子

学报

2016

44

10

3642369.

JINZM

ZHOUC.Afastcouledtotalvariationalorithm

pg

forimaecolorization

.ActaElectronicaSinica

2016

44

10

23642369.

17

JINZM

ZHOUC

NGMK.Acouledtotalvariationmodel

withcurvaturedrivenforimaecolorization

.InverseProb

1lemsandImain017

10

0371055.

gg

18

MINLH

LIZH

JINZM

etal.Colorede

reservinmae

gg

colorizationwithacoulednaturalvectorialtotalvariation

Com

uterVisionandImaeUnderstandin020

196

102981.

gg

19

ZHAOXL

XUWH

JIANGTX

etal.Deeluandla

ppgpy

riorforlowranktensorcom

letion

.Neurocom

utin

pg

2020

400

137149.

20

SREEHARIS

VENKATAKRISHNANSV

WOHLBERGB

etal.Pluandlariorsforbrihtfieldelectrontomorah

gpypggpy

andsarseinterolation

.IEEETrans.onCom

utational

pp

4Imain016

08423.

gg

21

VENKATAKRISHNANSV

BOUMANCA

WOHLBERGB.

Pluandlariorsformodelbasedreconstruction

Proc.of

gpyp

theIEEEGlobalConferenceonSinalandInformationProcessin

gg

2013

945948.

22

CHANSH

WANGX

ELGENDYOA.Pluandla

gpy

ADMMforimaerestoration

fixedointconverenceand

gpg

alications

.IEEETrans.onCom

uterImain006

gg

pp

8498.

23

KOJUR

JOSHISR.Com

arativeanalsisofcolorimaewa

yg

termarkinechniueinRGB

YUV

andYCbCrcolorchan

nels

.NealJournalofScienceandTechnolo015

pgy

115

33140.

24

CHELALIFZ

CHERABITN

DJERADIA.Facereconition

sstemusinkindetectioninRGBandYCbCrcolorsace

yg

Proc.oftheWorldSosiumonWebA

lication&Networkin

ppg

2015.

25

SAPIROG.Geometric

artialdifferentialeuationsandimae

qg

analsis

.Cambride

CambrideUniversitress

2006.

yggy

26

ZHANGK

ZUOWM

ZHANGL.FFDNet

towardafast

andflexiblesolutionforCNNbasedimaedenoisinJ

.IEEE

gg

4Trans.onImaeProcessin018

27

6084622.

gg

27

GABAYD

MERCIERB.Adualalorithmforthesolutionofnon

linearvariational

roblemsviafiniteelementaroximations

pp

Com

uterandMathematicswithA

lications

1976

1740.

28

BOYDS

PARIKHN

CHUE

etal.Distributedotimization

andstatisticallearniniathealternatinirectionmethodof

.FoundationsandTrendsinMachineLearninmultiliers

pg

112010

22.

29

AMIRK

ORLYYP.Quaternionstructuralsimilaritew

an

.IEEETrans.onImaeProualitndexforcolorimaes

gqy

1cessin012

21

5261536.

30

CHANSH

WANGX

ELGENDYOA.Pluandla

gpy

ADMMforimaerestoration

fixedointconverenceanda

gpgp

lications

.IEEETrans.onCom

uterImain2016

pgg

8498.

31

RYUE

LIUJ

WANGS

etal.Pluandlathods

rov

gpy

me

ablonverewith

roerlraineddenoisers

roc.ofthe

gpy

019

36thInternationalConferenceonMachineLearnin

55465557.

硕士研究生

主要研究方向为基于偏微分方程

 

1997

—)

的图像处理

教授

博士

主要研究方向为非线性偏微分方程

金正猛

(,

1982

—)

及其在图像处理中的应用

副教授

博士

主要研究方向为偏微分方程数

姜亚琴

1976

—)

值解

作者简介

Copyright©博看网 . All Rights Reserved.