2024年4月29日发(作者:)
文章编号网址
::
www.ssele.com
1001506X
(
2022
)
02038509
y
第
44
卷
第
2
期
2022
年
2
月
系统工程与电子技术
SstemsEnineerinndElectronics
ygg
a
Vol.44
No.2
Februar022
y
2
融合深度图像先验的全变差图像着色算法
(
南京邮电大学理学院
,
江苏南京
210023
)
在即插即用
(
totalvariation
,
TV
)
图像着色模型
,
luandla
摘
要
:
提出了融合深度图像先验的全变差
(
pgpy
,
,
框架下
,
结合交替方向乘子法
(
设计出相应的数值求解
PnP
)
alternatinirectionmethodofmultiliers
,
ADMM
)
g
d
p
并给出该算法的收敛性结果
。
数值实验结果表明
,
该模型能有效整合耦合
TV
边缘捕获和卷积神经网络算法
,
(
细节捕捉的功能
,
对结构图像和纹理等细节丰富的图像
,
均能实现较大范围
convolutionalneuralnetwork
,
CNN
)
的有效着色
。
关键词
:
图像着色
;
耦合全变差
;
卷积神经网络
;
即插即用框架
;
交替方向乘子算法
/
中图分类号
:
TP7issn.1001506X.2022.02.0451
文献标志码
:
A
犇犗犐
:
10.12305
j
.
张
玺
,
金正猛
,
姜亚琴
犜狅狋犪犾狏犪狉犻犪狋犻狅狀犪犾狅狉犻狋犺犿狑犻狋犺犱犲狋犺犻犿犪犲
狆
狉犻狅狉狊犳狅狉犻犿犪犲犮狅犾狅狉犻狕犪狋犻狅狀
犵狆犵犵
(
犛犺狅狅犾狅犮犻犲狀犮犲
,
犖犪狀犻狀
犵
犝狀犻狏犲狉狊犻狋狊狋狊犪狀犱犜犲犾犲犮狅犿犿狌狀犻犮犪狋犻狅狀狊
,
犖犪狀犻狀
犵
210023
,
犆犺犻狀犪
)
犳
犛
犼狔
狅
犳
犘狅
犼
ZHANGXi
,
JINZhennIANGYain
g
me
g
,
J
q
thealorithm.Theexerimentalresultsshowthatthemodelcaneffectivelnteratetheedecaturefunction
gpy
i
ggp
,
aofcouledTVandthedetailcaturefunctionofconvolutionalneuralnetwork
(
CNN
)
ndalsocanachievea
pp
larescaleeffectivecolorinorstructuralimaesandmultitexturesdetailedimaes.
gg
f
gg
;;
p
犓犲狉犱狊
:
imaecolorincouledtotalvariation
(
TV
)
convolutionalneuralnetwork
(
CNN
)
luand
gg
;
pg
狔
狑狅
PnP
)
framework
;
alternatinirectionmethodofmultiliers
(
ADMM
)
la
g
d
ppy
(
该方法的着色效果依赖于人为添加的颜色
。
随灰度图像
,
引言
0
着人工智能的快速发展
,
基于深度学习的图像着色方法
[
39
]
图像着色是借助计算机技术将灰度图像转化为彩色图已得到越来越广泛的应用
,
该方法利用在大量数据集下训
像的过程
,
目前广泛应用于广告
、
医疗
、
影视
、
古画修复等领练好的卷积神经网络
,
以端对端的方式直接对灰度图像进
[]
域
12
。
传统的图像着色方法可以分为两类
:
一类是基于颜行着色
,
减少了人工参与
,
但其着色效果取决于网络本身的
色转移的图像着色方法
,
另一类是基于颜色扩散的图像着设计和训练集的选取
。
色方法
。
基于颜色转移的图像着色方法需要用户首先输入近
2
基于变分偏微分方程的颜色扩散着色方法
0
年来
,
一幅与目标灰度图像内容信息相近的彩色源图像
,
再通过已得到广泛研究
。
Sairo
[
10
]
首次将图像修复的偏微分方程
p
合适的算法将源图像中的颜色转移到输入的灰度图像上
,(
方法用于图像着色
,
将待
artialdifferentialeuation
,
PDE
)
pq
该方法的着色效果依赖于彩色源图像的选取
。
基于颜色扩着色区域作为颜色修补区域
,
通过亮度信息
Y
的梯度所决
散的图像着色方法需要人为地将部分颜色添加到目标灰度定的引导场将色度信息
Cb
和
Cr
扩散至整幅图像
。
Yatziv
[]
图像中
,
再利用适当的算法将所给的颜色信息扩散到整个等人
11
利用加权距离色度混合技术
,
通过最短路径来进行
收稿日期
:
20210302
;
修回日期
:
20210422
;
网络优先出版日期
:
20210714
。
///
网络优先出版地址
:
httns.cnki.netkcmsdetail11.2422.TN.20210714.1122.007.html
∥
k
p
:
国家自然科学基金
(
资助课题
基金项目
:
11771005
)
通讯作者
.
引用格式
:
张玺
,
金正猛
,
姜亚琴
.
融合深度图像先验的全变差图像着色算法
[:
3J
]
.
系统工程与电子技术
,
2022
,
44
(
2
)
85393.
犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋
:
ZHANGX
,
JINZM
,
JIANGYQ.Totalvariationalorithmwithdethimae
p
riorsforimaecolorization
[
J
]
.Sstems
gpggy
:
3EnineerinndElectronics
,
2022
,
44
(
2
)
85393.
gg
a
Copyright©博看网 . All Rights Reserved.
狊狋狉犪犮狋
:
Inthis
p
aer
,
we
p
rooseatotalvariation
(
TV
)
modelwithdethimae
p
riorsforimae
犃犫
pppgg
colorization.Underthe
p
luandlaPnP
)
framework
,
wedesinthenumericalalorithmtosolvethemodel
gggpy
(
,
abncororatinhealternatinirectionmethodofmultiliers
(
ADMM
)
nd
g
ivetheconverenceresultof
y
i
pg
t
g
d
pg
系统工程与电子技术第
4
86
·
4
卷
·
3
(:
图像的快速着色
。
滕升华等人
[
12
]
在灰度图像上人工添加
狉
0
,
犫
0
)
狉
0
,
犫
0
>
0
}(
1
)
Ω
→
犚
3
=
{
犳
0
:
犵
0
,
犵
0
,
颜色线条后求解拉普拉斯方程
,
使得所给颜色均匀地扩散
(
对于灰度图像
犳
:
定义拉普拉斯算子
:
狓
,
∈
Ω
→
犚
2
,
狔
)
到目标灰度图像中
。
但这些方法都没有考虑保留图像轮
(
=
狓狓
犳
+
狔狔
犳
2
)
Δ
犳
:
以致会出现颜色越界和颜色边缘模糊的问题
。
为克服
用
Δ
犳
来表示
犳
中等值线的曲率信息
[
25
]
。
廓
,
颜色在扩散过程中的越界现象
,
在
YCbC
Kan
g
等人
[
13
]
提出基于加
r
颜色空间中
,
彩色图像的亮度信息
犢
0
为灰
权调和映射的全变差
(
通过某种合适的算法恢复该灰度图像的
totalvariation
,
TV
)
模型
(
以下简称
度图像的灰度值
,
,
用目标灰度图像的亮度梯度信息来刻画颜色
色度信息
(,
再通过
YCbC
Kan
g
模型
)
Cb
,
Cr
)
r
空间与
RGB
空间的变换
从而阻止颜色在扩散过程中越界
。
其他形式的加
关系计算出
R
,
的边缘
,
,
三通道的像素值
,
即完成了着色的
GB
权
TV
模型
[
1416
]
也陆续被提出
,
用于指导颜色扩散
。
这些
过程
。
加权
TV
模型都是利用亮度的梯度信息来控制颜色扩散
,
PnP
框架灵活地利用了
ADMM
或其他临近点算法中
着色效果容易受到图像轮廓中伪边缘的影响
,
以致着色范
去噪器的功能
。
经过变量分离技术
,
优化问题被分解为更
围较小
。
为了克服这一缺陷
,
而正则化的临近点算子即为其中之一的子
Jin
等人
[
17
]
提出基于曲率驱
简单的子问题
,
动的耦合
TV
模型
(
以下简称
Jin
模型
),
该模型使用亮度
问题
。
正则化的临近点算子
p
犚
狀
→
犚
狀
被定义为
rox
Φ
:
的曲率信息来控制颜色扩散
,
减弱了伪边缘的影响
,
对结
ρ
狓
-
狔
2
}((){())
rox=armin
狓
+3
Φ
pg
狔
Φ
[]
18
狓
构信息明显的图像着色效果较好
。
Min
等人在
Jin
模
2
[]
17
型的基础上
,
提出一种基于自然矢量
TV
的着色模型
即将输入的
狔
映射到式
(
的极小值
。
在
PnP
框架下
,
3
)
(
以下简称
Mi
称为去噪器
)
取代
。
本文
n
模型
),
该方法能更好地保留颜色边缘
,
减
正则化的临近点算子被去噪算法
(
少颜色越界
。
使用去噪
CNNFFDNet
[
26
]
来替换相应的正则化临近点算
现有的基于亮度信息驱动的颜色扩散模型在对结构图
子
,
以更好地解决相关子问题
。
像进行着色时
,
能较好地保护图像的颜色轮廓
。
但由于这
1.2
犑犻狀
模型
些模型中的扩散函数无法有效地刻画纹理等多细节图像的
Jin
等人
[
17
]
在
YCbCr
颜色空间中对灰度图像进行着
颜色边缘
,
在对纹理图像着色时会出现颜色扩散不均匀和
色
,
提出如下基于亮度曲率驱动的耦合
TV
模型
:
[]
越界等问题
。
Zhao
等人
19
结合卷积神经网络
(
convolu
m
λ
犮
狘
犞
-
犞
0
狘
2
d
(()
in
犌犢犞狓
狘狘狘狘+
Δ
犵
0
)
σ
犞
2
犇
Ω
,
利用深度图像先验来提取图
tionalneuralnetwork
,
CNN
)
(
4
)
像中的纹理等细节
。
在低采样率下
,
该方法能很好地修复
犞
=
(
Cb
,
Cr
)
为
YCbCr
空间中色度
图像的细节缺损信息
。
受文献
[
中深度图像先验思想的
式中
:
表示卷积运算
;
19
]
为已知的色度信息
;
为高斯磨光
犞
0
=
(
Cb
0
,
Cr
犌
σ
(
狓
)
启发
,
本文在
YCbC
0
)
r
颜色空间机制下
,
把深度图像先验融
信息
;
/
入到基于曲率驱动的耦合
TV
模型中
,
提出融合深度图像
核
;
狓
)
=11+
τ
狓
2
(
狓
∈
犚
)
为单调递减函数
;
λ
为权重
犵
(
,
系数
。
先验的
TV
着色模型
。
同时在即插即用
(
luandla
pgpy
模型式
(
中的扩散函数
犵
(
框架
[
2022
]
下
,
结合交替方向乘子法
(
4
)
犌
σ
犢
0
)
|Δ
(
|
)
利用拉普拉
PnP
)
alternatinirec
g
d
给出该模型的数值求解
斯算子能有效地刻画图像的结构边缘信息并驱动颜色扩
tionmethodofmultiliers
,
ADMM
)
p
从而实现对目标灰度图像进行大面积着色
。
但是纹理
算法
,
并分析该算法的收敛性
。
本文首先介绍相关知识点
散
,
边缘不清晰
,
及本文模型
;
然后给出求解本文模型的算法
;
接着给出本文
等细节丰富的图像的结构
、
犌
σ
犢
0
)
|Δ
(
|
)
犵
(
如图
1
(
模型和其他模型在结构图像和纹理图像上的着色实验结果
无法有效地刻画出这些图像的边缘
,
b
)
所示
。
其结
及数据
,
验证本文所提模型的有效性
,
并给出算法的收敛性
果就是
Jin
模型
[
17
]
在对纹理图像进行着色时
,
会出现颜色
扩散不均匀等问题
。
对图
1
中纹理图像图
1
(
分析
;
最后对所做工作进行总结
。
a
)
进行着色
,
模型
[
17
]
的着色结果如图
1
(
Jind
)
所示
。
很容易看出
,
在
模型介绍
1
中
,
人为添加的初始颜色与扩散后的颜色有较大的图
1
(
d
)
偏差
。
1.1
预备知识
对目标灰度图像进行着色
,
需要选择合适的颜色空间
。
reen
,
RGB
(
red
,
blue
)
颜色空间是目前广泛使用的颜色空
g
间之一
,
除此之外还有
YCbCr
(
luminance
,
twocolordiffer
encecom
p
onents
)
空间
,
YIQ
(
luminance
,
hue
,
andsatura
[]
2324
空间和
CB
(
tion
)
chromaticitndbrihtness
)
空间等
。
y
a
g
这些空间将彩色图像分解为色度和亮度
,
并与
RGB
颜色空
间有某种联系
。
在本文中
,
Ω
犚
2
记为图像的支持域
,
犇
Ω
表示待着色区域
,
犇
犮
=
Ω
\
犇
表示图像中给予颜色信息
的区域
。
RGB
颜色空间中的彩色图像可以表示为
Copyright©博看网 . All Rights Reserved.
Δ
{
∫∫
}
第
2
期
·
387
·
张玺等
:
融合深度图像先验的全变差图像着色算法
2
本文算法
、
为已知的色度信息
;
犌
σ
(
狓
)
狓
)
分别为式
(
4
)
中的高斯磨
犵
(
光核和单调递减函数
;
犞
)
是隐式
λ
1
和
λ
2
均是权重系数
;
Φ
(
正则项
。
在
PnP
框架下把在自然图像数据集上训练好的
二维去噪
CNNFFDNet
插入到模型式
(
5
)
中
,
以解决与
相关的子问题
。
犞
)
Φ
(
本文模型具有大数据的优势
,
在给定颜色较少的情况
下
,
能有效整合耦合
TV
边缘捕获和
CNN
细节捕捉的功
能
,
对结构图像和纹理等细节丰富的图像
,
均能实现较大范
围的有效着色
。
本文对图
1
(
a
)
中图像的着色结果如图
1
(
e
)
图像所示
,
不难发现
,
本文模型能很好地克服
Jin
模型对纹
理图像着色出现扩散不均匀的问题
,
对纹理等细节丰富的
图像能实现较大范围的有效着色
。
Copyright©博看网 . All Rights Reserved.
Δ
∫
}
Δ
Δ
Δ
{
∫
{
Δ
1.3
本文模型
为克服亮度信息驱动的局部颜色扩散模型在对纹理图
扩散不均匀等问题
,
本像着色时出现的颜色扩散区域较小
、
文在
Jin
模型
[
17
]
的基础上
,
结合
CNN
,
提出融合深度图像
先验的
TV
着色模型
:
犌
σ
犢
0
)
犞
)
+
min
Ω
犵
(
狘
Δ
(
狘
)
狘
犞
狘+
λ
1
Φ
(
犞
λ
2
犮
狘
2
狓
(
5
)
2
犇
犞
-
犞
0
狘
d
式中
:
为
YC
犞
=
(
Cb
,
Cr
)
bCr
空间中色度信息
;
犞
0
=
(
CbCr
0
,
0
)
}
ΔΔ
图
1
犵
(
犌
σ
犢
0
)
|Δ
(
|
)
的绘图及两种模型的着色效果
Fi1
Plotof
犵
(
犌
σ
犢
0
)
ndcolorinesultoftwomodels
|Δ
(
|
)
a
g
.
g
r
本节在
PnP
框架下
,
结合
ADMM
算法
[
2728
]
,
给出本文
模型式
(
的快速数值求解算法
。
先引入符号
5
)
16
≤
Cb
,
240
,
Cb
,
Cr
)
2
Cr
Γ
≡
犞
=
(
≤
55255
犮
狓
∈
犇
2
,
(
6
)
λ
犇
=
λ
0
,
狓
∈
犇
以及辅助变量
犱
、
犣
和
犠
,
模型式
(
5
)
等价为如下约束优化
问题
:
λ
犇
犠
-
犞
0
2
烄
()
犱
d
狓犣
armin
狘狘++
λΦ
g
犵
1
2
(
2
7
)
烅
犞
Ω
s.t.
犱
=
犞
,
犣
=
犞
,
犠
=
犞
,
犠
∈
Γ
烆
将式
(
转化为无约束极值问题
,
得到其增广拉格朗日
7
)
函数
:
犔
(
犱
,
犣
,
犠
,
犞
,
狓
+
〈
Λ
1
,
Λ
2
,
Λ
3
)
=
Ω
犵
狘
犱
狘
d
Λ
1
,
犞
-
犱
〉
+
μ
犱
-
犞
2
)
+
〈〉
+
μ
犣
-
犞
2
犣犞犣
-
Λ
1
Φ
(
2
,
2
+
λ
2
+
22
μ
犠
-
犞
2
犇
犠犞
2
〈,
犠
)
+
λ
χ
Γ
(
-+
0
2
+
Λ
3
犞
-
犠
〉
2
2
2
(
8
)
式中
:
χ
Γ
定
Λ
1
,
Λ
2
,
Λ
3
是拉格朗日乘数
;
μ
>
0
是惩罚参数
;
义为
,
犠
∈
Γ
(
:
9
)
犠
)
=
0
χ
Γ
(
+
∞
,
其他
下面分别对
犱
,
犣
,
犠
,
犞
4
个子问题进行求解
。
(
1
)
求解关于
犱
的子问题
:
μ
犱
-
犞
2
〈,〉
arin
犱
d
狓犞犱
狘狘+-+
Λ
g
m
犵
1
2
犱
Ω
2
(
10
)
等价于
2
Λ
μ
1
arin
Ω
犵
狘
犱
狘
d
狓
+
2
犞
-
犱
+
μ
2
(
11
)
g
m
犱
其中
,
对所有
狓
∈
Ω
,
都有
犵
(
狓
)
犆
为常数
。
可得
≥
犆
>
0
,
1
犞
+
Λ
Λ
1
-
犵
,
0
(
μ
ma
犱
=x12
)
犞
+
μ
Λ
1
μ
犞
+
μ
(
2
)
求解关于
犣
的子问题
:
{
{
}
∫
{
Δ
}
{
∫
∫
Δ
∫
Δ
88
·
·
3
0
=
犣
0
=
犠
0
=0
;
0
=
Λ
0
=0
;
0
=
,
步骤
令
1
犽
=0
犞犱
Λ
12
μ
2
()〈,〉()
arin
犣
+
犞
-
犣
+13
犣
-
犞
λΦΛ
g
m
12
2
0
犣
Λ
3
=0
。
2
步骤
2
在第
犽
步迭代
令
σ
=
槡
则等价于求解
λ
1
/
μ
,
2
()
步骤
2
由式得
122
1
Λ
2
()()()
rox
犣
=armin
犣
+14
p
Φ
g
犣
Φ
2
犽
+
犠
犽
)
犽犽
d
犽
+d
犽
((
σ
2
犣
-
犞
-
μ
狀
×
犉犣
-iv
犱
iv
ΛΛ
22
-
Λ
3
-
μ
1
)
μ
犽
+1-1
犞
=
犉
1
狀
2
×
狀
3
→
:
在
PnP
框架下
,
正则化的临近点算子
p
rox犚
2
Δ
)
μ
-
犉
(
犚
狀
1
×
狀
2
×
狀
3
被快速灵活的去噪
CNNFFDNet
替换
。
将
犞
+
)
步骤
2
由式
(
得
212
/,
馈入中可以解得
t
Λ
2
μ
FFDNe
犽
Λ
1
犽
+1
犞
+
Λ
2
犽
(
犣
=FFDNet
犞
+
μ
,
15
)
σ
μ
犽
+1
+
Λ
1
-
犵
,
犱
犽
+1
=
犽
+1
Λ
max
犞
0
犽
μ
1
μ
在
FFDNe
参数
σ
与噪声水平有关
,
此处与估计值
t
中
,
犞
+
μ
与真实值情况之间的误差水平有关
。
步骤
2
得
3
由式
(
15
)
(
3
)
求解关于
犠
的子问题
:
犽
Λ
2
,
犽
+1
犽
+1
λ
犇
2
犣
=FFDNet
犞
+
()
arin
犠
++
犠
-
犞
χ
g
m
0
2
Γ
犠
μ
σ
2
)
步骤
2
由式
(
得
417
μ
2
〈,〉()
犞
-
犠
+16
犠
-
犞
Λ
3
犽
+1
+
Λ
犽
2
犞
λ
犇
犞
03
+
2
μ
犽
+1
犠
=Pro
j
可对
犠
求导并令其等于
0
,
解得
λ
犇
+
μ
犽
+1
犽犽
+1
-
犱
犽
+1
)
犞
+
Λλ
3
+
犇
犞
0
((
步骤
μ
25=+
犞
23
)
ΛΛ
11
μ
()
犠
=
p
ro17
j
Γ
犽
+1
犽犽
+1
-
犣
犽
+1
)()
步骤
2
λ
犇
+
μ
6
犞
24
Λ
2
=
Λ
2
+
μ
(
式中
:
犽
+1
犽犽
+1
-
犠
犽
+1
)
步骤
(
27
犞
25
)
Λ
3
=
Λ
3
+
μ
(
:
)
=
(,,
ro
狌
=
(
狌
1
,
狌
2
)
max
{
min
{
狌
1
,
犫
}
犪
}
pj
Γ
(
(
步骤
28
犽
=
犽
+1
犽
+1
犽
26
)
{{,},})()
maxmin
狌
2
犫犪
18
犞
≤
ε
,
步骤
3
返回步骤
2
,
直到满足
犞
犞
-
其中
ε
(
4
)
求解关于
犞
的子问题
:
犽
是控制迭代终止的参数
。
当满足停止条件时
,
求出
犞
。
arin
〈,
犞
-
犱
〉
+
μ
犱
-
犞
2
犞
-
犣
〉
+
Λ
2
,
g
m
2
+
〈
犞
Λ
1
系统工程与电子技术第
44
卷
{}
2
实验步骤及结果分析
3
μ
犣
-
犞
2
μ
2
〈,〉()
+
犞
-
犠
+19
犠
-
犞
Λ
3
22
22
本文图像着色的具体步骤如下
。
等价于求解
步骤
1
在
RGB
颜色空间上
,
输入一幅灰度图像
,
并
2
μ
烄
犞
-
犱
+
Λ
1
+
。
在图上绘出适当的彩色线条
arin
g
m
犞
2
μ
2
步骤
2
将步骤
1
中输入的带有少量颜色的图像转换
烆
2
到
YCbC
并获取色度信息
犞
0
和亮度信息
犢
0
。
2
r
颜色空间中
,
ΛΛ
2
+
3
烌
()
20
犞
-
犣
+
μ
2
犞
-
犠
+
μ
2
步骤
3
对本文参数进行赋值
。
令
ε
=1×10
-4
,
=1
,
μ
烎
控制函数
犵
中的参数
τ
=1000
。
根据彩色图像的最高峰值
根据
EulerLarane
方程得出
gg
eaksinaltonoiseratio
,
PSNR
)
值来选择所提模型
pg
2
犞
-
Δ
犞
=
μ
(
犣
+
犠
)
-
Λ
2
-
Λ
3
-
μ
div
犱
+div21
)
信噪比
(
Λ
1
(
μ
中的
λ
1
和
λ
2
。
λ
1
与输入
FFDNet
中的噪声水平图
σ
=
槡
再利用快速傅里叶变换求出
λ
1
/
μ
相关
,
而在本文模型中是与估计值和真实值情况之间的误
(()
犉犣
+
犠
-div
犱
+div
ΛΛ
2
-
Λ
3
-
μ
1
)
μ
-1
)(
犞
=
犉
22
差水平有关
,
λ
2
用于平衡正则项和保真项
,
具体参数设置
()
2-
犉
Δ
μ
如表
1
所示
。
利用本文所提模型式
(
5
)
求出色度信息
犞
=
其中
,
犉
及
犉
-1
分别为傅里叶变换及其逆变换
。
并结合亮度信息
犢
0
得到
YCbCCb
,
Cr
),
r
颜色空间中的
、、,
结合式
(
式
(
式
(
本文算法的具
(
12
)
15
)
17
)
和式
(
22
)
彩色图像
。
体步骤如下
。
{}
输出图
步骤
4
将彩色图像转换到
RGB
颜色空间中
,
像
,
完成着色
。
本文采用
PSNR
、
均方误差
(
meansuareerror
,
MSE
)
q
和四元数结构相似性
(
uaternionstructuralsimilarit
qy
,
作为着色效果的评价标准
,
定义如下
:
QSSIM
)
参数
λ
1
λ
2
图像
1
0.1
120
表
1
实验中
10
幅图的参数设置
犜犪犫犾犲1
犘犪狉犪犿犲狋犲狉狊狊犲狋狋犻狀犳狋犲狀
狆
犻犮狋狌狉犲狊犻狀狋犺犲犲狓犲狉犻犿犲狀狋
犵
狅
狆
图像
2
图像
3
图像
4
图像
5
图像
6
图像
7
0.50.10.50.50.20.8
200120508080100
图像
8
1
150
([(
犳
]
-
[
犳
∑∑
MSE
=
2
2
)[(
max
犳
烄烌
犻
,
true
)
犻
犼
(
犼
]
PSNR=10l
g
MSE
烎烆
犿
犻
=
1
犼
∈
狉
,
犫
犵
,
Copyright©博看网 . All Rights Reserved.
Δ
()
(
犼
犻
3
犿
2
Δ
Δ
Δ
()
{
(
}
)
)
Δ
Δ
Δ
图像
9
0.5
250
图像
10
1
10
(
27
)
(
28
)
true
犼
犻
2
)])
·
3
张玺等
:
融合深度图像先验的全变差图像着色算法
89
·
第
2
期
QSSIM
详见
Amir
等人的文章
[
29
]
,
其中
犳
true
表示原始
3.1
结构图像着色
彩色图像
,
本小节展示各着色方法在结构图像
(
见图
2
)
上的着色
IM
值越
犳
是着色后图像
。
犳
的
PSNR
值和
QSS
高
,
表示图像着色效果越佳
。
MSE
值越低
,
效果
,
实验结果如图
3
所示
。
从图
3
中的图像可以看出
,
为验证本文模型和算法的适用性以及有效性
,
本节对结
L
模型
[
5
]
和
I
模型
[
7
]
所输出彩色图片与实际图
arssonizuka
构图像和纹理图像进行着色实验
,
并与其他模型进行比较
,
像相差较大
,))
不符合视觉效果
;
从图
3
(
第
1
幅图和图
3
(
cc
其中包括两个基于深度学习的全自动着色方法
:
L
模
arsson
[
10
]
的颜色信息扩散范围较
,
第幅图可以看出模型
4Kan
g
[][]
57
型
、
以及
3
个基于颜色扩散的着色方法
:
Iizuka
模型
[]
Kan
g
小
;
[[
17
]
和
M
18
]
对结构图像着色效果较好
,
模型模型但
Jinin
[][]
101718
模型
、
模型和
M
模型
。
在实验中
,
使用
KaJininn
g
在图
3
(
的孩子手肘部分和左下角的番茄
,
图
3
(
d
)
e
)
第
1
幅
模型
[
10
]
、
模型
[
17
]
和
M
模型
[
18
]
中的参数设置
,
并如
JJininin
图的右上角和图
3
(
第
3
幅图的右边苹果处颜色仍有扩散
e
)
等人
[
17
]
所提
,
采用
Δ
犌
σ
犢
0
仅用做数学分析
,
犢
0
并通过有限
f
)
可以看出
,
本文模型将深度
差分法代替
Δ
犌
σ
犢
0
进行计算
。
由于
L
模型
[
5
]
和
不均匀和少量越界
。
从图
3
(
arsson
,
所以仅需输入
图像先验用于捕捉颜色细节部分
,
所以在图像细节处的着
Iizuka
模型
[
7
]
是基于深度学习的全自动着色
生成的颜色更为准确
。
由此可见
,
本文模型对
模型
[
10
]
、
模型
[
17
]
、
M
模
色效果较佳
,
相应的灰度图像
,
而在
KanJinin
g
结构图像的着色效果更佳
。
型
[
18
]
和本文模型中
,
输入带有部分颜色的图像
。
图
2
添加部分颜色的灰度结构图像和原始结构图像
Fi2
Grascalestructuralimaewithsomecolor
g
ivenandoriinalcolorstructuralimae
g
.
yggg
图
3
使用不同模型得到的彩色结构图像
Fi3
Colorizedstructuralimaewithdifferentmethods
g
.
g
Copyright©博看网 . All Rights Reserved.
系统工程与电子技术第
4
90
·
4
卷
·
3
均
表
2
列出了图
3
中各彩色图像的
PSNR
、
MSE
和文模型的平均
PSNR
值最高
,
平均
MSE
值最低
,
平
[
从而可以得到各模型在这
4
幅图上的平均
QS
但相较于第一名的
LQSSIM
值
,
SIM
值排在第三名
,
arsson
模型
5
]
平均
MSE
和平均
QS
如表
3
所示
,
其中最高和第二名的
IPSNR
、
SIM
值
,
izuka
模型
[
7
]
,
其所生成的彩色图像更符合视
第二高值以粗体标记
。
从表
3
可以看出
,
本觉效果
。
值以蓝色标记
,
图像
图像
1
图像
2
图像
3
图像
4
评价指标
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
表
2
图
3
中彩色图像的
犘犛犐犕
值
犛犖犚
、
犕犛犈
和
犙
犛
犜犪犫犾犲2
犞犪犾狌犲狊狅犳犘犛犖犚
,
犕犛犈犪狀犱
犙
犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻3
犵犵
.
Larsson
模型
Iizuka
模型
KanJin
模型
Min
模型
g
模型
18.9417.8520.5625.4224.01
0.01280.01640.01250.00290.0040
0.93450.94290.90920.94400.9410
26.9024.3424.5914.3315.15
0.00080.00150.00140.01490.0123
0.96550.97440.95420.93850.9570
14.5913.8921.2324.8624.77
0.03470.04080.00750.00330.0033
0.91310.91840.88270.92550.9211
12.6718.4422.1713.3621.78
0.05400.01430.0.046100610.0066
0.89230.85800.88620.85750.8518
本文模型
25.52
0.0028
0.9442
25.40
0.0012
0.9619
24.64
0.0034
92260.
22.49
0.0056
0.8577
本文模型
24.51
0.0033
0.9216
评价指标
平均
PSNR
平均
MSE
平均
QSSIM
表
3
图
3
中彩色图像的平均
犘
平均
犕犛犛犖犚
、
犈
和平均
犙
犛犛犐犕
值
犜犪犫犾犲3
犃狏犲狉犪犲狏犪犾狌犲狊狅犳犘犛犖犚
,
犕犛犈犪狀犱
犙
犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻3
犵犵犵
.
Larsson
模型
Iizuka
模型
KanJin
模型
Min
模型
g
模型
14.8921.7824.2015.3123.79
0.03090.00880.00350.02710.0038
0.92980.90610.92270.92030.9131
3.2
算法的收敛情况
从数值实验可以看出
,
本文模型在图像着色上取得了
较好的效果
。
但是
,
PnP
框架下的
ADMM
算法是否具有良
好的收敛性仍是一个悬而未决的问题
。
文献
[
30
]
从固定点
的角度考虑了在
PnP
框架下
ADMM
的收敛性
。
文献
[
31
]
讨论了在
PnP
框架下
,
ADMM
与经过适当训练的去噪器相
融合的问题
。
图
4
展示了
6
张纹理图像在本文算法上相对
变化
犞
犽
+1
-
犞
犽
/
犞
犽
的变化曲线
。
从图
4
可以看到
,
随
着迭代次数的不断增加
,
本文算法最终都能满足迭代终止
条件
,
达到数值收敛
。
图
4
本文算法在纹理图像
5
~
10
上的相对变化曲线
Fi4
Relativechaninurveofthe
p
roosedalorithmin
g
.
gg
c
pg
textureimae5
~
10
g
3.3
纹理图像着色
本节展示各着色方法在纹理图像
(
见图
5
)
上的着色效
实验结果如图
6
所示
。
L
果
,
arsson
模型
[
5
]
和
Iizuka
模型
[
7
]
对图像
5
~
图像
10
的着色效果都不佳
,
着色后的彩色图像
与原始彩色图像相差较大
,
也不符合视觉效果
;
从图
6
(
可
c
)
以看出
,
对于纹理图像
,
Kan
g
模型
[
10
]
的颜色信息扩散范围
从图
6
(
可以看出
,
较小
;
d
)
Jin
模型
[
17
]
在对纹理图像着色时
会出现颜色扩散不均匀
,
颜色越界的问题
;
从图
6
(
中人的
e
)
衣袖
、
草原
、
沙滩和鼻子边缘可以看出
,
Min
模型
[
18
]
对纹理
图像着色依旧有明显的颜色扩散不均匀和颜色越界现象
。
较于这些方法
,
从图
6
(
f
)
中的第一幅下侧
、
草地
、
沙漠
、
草
原
、
沙滩
、
鼻子可以看出
,
本文模型有效整合耦合
TV
边缘
捕获和
CNN
细节捕捉的功能
,
减少了颜色的越界
,
同时对
图像的细节和纹理部分着色效果更佳
。
由此可见
,
本文模
型对纹理图像着色效果较好
。
表
4
列出各个模型对不同纹理图片着色后彩色图像的
PSNR
、
MSE
和
QSSIM
值
。
本文模型的
PSNR
值均为最
高
,
MSE
值均为最低
,
在图像
5
和图像
6
上取得了最高
QSSIM
值
。
表
5
中列出了各模型在
6
幅图像上的平均
平均
MSE
和平均
QSPSNR
、
SIM
值
。
在平均
QSSIM
值上
,
本文模型排在第二名
,
与第一名的
I
本文
izuka
模型
[
7
]
相比
,
模型所生成的彩色图像更符合视觉效果
。
Copyright©博看网 . All Rights Reserved.
第
2
期
·
391
·
张玺等
:
融合深度图像先验的全变差图像着色算法
图
5
添加部分颜色的纹理灰度图像和原始纹理图像
Fi5
Grascaletextureimaewithsomecolor
g
ivenandoriinalcolortextureimae
g
.
yggg
图
6
使用不同模型得到的彩色纹理图像
Fi6
Colorizedtextureimaewithdifferentmethods
g
.
g
Copyright©博看网 . All Rights Reserved.
92
·
·
3
图像
图像
5
图像
6
图像
7
图像
8
图像
9
图像
10
评价指标
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
PSNR
MSE
QSSIM
犘犛犖犚
犕犛犈
犙犛犛犐犕
表
4
图
6
中彩色图像的
犘犛犖犚
、
犕犛犈
和
犙
犛犛犐犕
值
犜犪犫犾犲4
犞犪犾狌犲狊狅犳犘犛犖犚
,
犕犛犈犪狀犱
犙
犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻6
犵犵
.
Lrasson
模型
Iizuka
模型
KanJin
模型
g
模型
24.5925.4919.0328.37
0.00280.01250.00150.0035
0.98890.98910.96240.9831
24.8223.2724.684428.
0.00330.00470.00340.0014
0.98580.98800.98640.9726
15.0824.2123.2126.94
0.02930.00360.00450.0019
0.95710.98070.97790.9726
26.7424.5228.1229.10
0.00210.00120.00350.0015
0.97480.98570.98330.9832
19.8324.8227.7527.55
0.01040.0033001700180.0.
0.95160.94820.95850.9526
16.6317.57120823.24.
0.0.0.0.0217017500490039
0.94679417939593980.0.0.
系统工程与电子技术第
44
卷
Min
模型
28.42
0.0014
0.9830
29.07
0.0012
0.9382
28.86
0.0012
0.9684
29.22
0.0012
0.9727
27.41
00180.
0.9536
24.24
0.0038
0.9409
本文模型
29.63
0.0011
0.9839
29.20
0.0012
0.9753
29.44
0.0011
0.9753
29.85
0.0010
0.9805
29.52
00110.
0.9606
0725.
0.0031
95000.
本文模型
28.79
0.0014
0.9709
评价指标
平均
PSNR
平均
MSE
平均
QSSIM
表
5
图
6
中彩色图像的平均
犘
平均
犕犛犛犖犚
、
犈
和平均
犙
犛犛犐犕
值
犜犪犫犾犲5
犃狏犲狉犪犲狏犪犾狌犲狊狅犳犘犛犖犚
,
犕犛犈犪狀犱
犙
犛犛犐犕狅犳犮狅犾狅狉犻犿犪犲狊犻狀犉犻6
犵犵犵
.
Larsson
模型
Iizuka
模型
KanJin
模型
Min
模型
g
模型
27.8721.5124.0823.7227.02
0.0.01160.00550.00510.00210018
0.96890.97220.96800.96590.9595
3.4
计算时间
在相同设备上
,
本文将
40
张图片分别在
Larsson
模
型
[
5
]
、
模型
[
10
]
、
Iizuka
模型
[
7
]
、
KanJin
模型
[
17
]
、
Min
模
g
型
[
18
]
以及本文模型上进行运算
,
各模型的平均计算时间如
表
6
所示
。
型
[
18
]
的着色效果进行比较
,
可以发现
,
该模型能有效整合
耦合
TV
边缘捕获和
CNN
细节捕捉的功能
,
对结构图像
和纹理等细节丰富的图像
,
均能实现较大范围的有效
着色
。
表
6
图像的平均计算时间
犜犪犫犾犲6
犜犺犲犪狏犲狉犪犲犮犪犾犮狌犾犪狋犻狅狀狋犻犿犲狅犳狋犺犲犻犿犪犲狊s
犵犵
rssonIizukakaninMin
本文
g
J
评价指标
La
模型模型模型模型模型模型
平均运行时间
3.23.7420.781.3882.5230.2
参考文献
[
1
]
PAULS
,
BHATTACHARYAS
,
GUPTAS.Satiotem
p
oral
p
colorizationofvideousinteerable
p
ramids
[
J
]
.IEEE
g
3Ds
y
:
Trans.onCircuitsandSstemsforVideoTechnolo2017
,
27
(
8
)
ygy
,
4
结束语
从表
6
可以看出
,
相较于基于深度学习的全自动图像
本文算法的耗时更着色方法
(,
Larsson
方法和
Iizuka
方法
)
多
,
但相较于基于颜色扩散的图像着色方法
(
Kan
g
方法和
,
本文算法的耗时更少
。
同时
,
通过对结构和纹
Min
方法
)
理图像进行数值实验可知
,
本文算法的着色效果较上述其
他方法更佳
,
总体优势较大
。
本文从
J
结合
CNN
的数据补偿和细节
in
模型
[
17
]
出发
,
捕捉功能
,
提出融合深度图像先验的
TV
着色模型
,
并在
PnP
框架下
,
结合
ADMM
算法进行数值求解
。
通过与
Larsson
模型
[
5
]
、
Iizuka
模型
[
7
]
、
KanJin
模型
[
17
]
和
Min
模
g
模型
[
10
]
、
16051619.
[
2
]
汪冬宇
,
汪磊
.
基于
MRI
医学图像的脑肿瘤区域着色方法
[
J
]
.
养生保健指南
,
2
:
3018
(
5
)
11.
WANGDY
,
WANGL.Braintumorreioncolorinthod
gg
me
:
3basedonMRImedicalimae
[
J
]
.HealthGuide
,
2018
(
5
)
11.
g
[
3
]
CHENGZZ
,
YANGQX
,
SHENGB.Deeolorization
[
C
]
∥
p
c
Proc.oftheIEEEInternationalConferenceonCom
p
uterVision
,
2015
:
415423.
[
4
]
DESHPANDEA
,
ROCKJ
,
FORSYTHD.Learninarescale
g
l
g
automaticimaecolorization
[
C
]
∥
Proc.oftheIEEEInternational
g
ConferenceonCom
p
uterVision
,
2015
:
567575.
[
5
]
LARSSONG
,
MAIREM
,
SHAKHNAROVICHG.Learnin
g
reresentationsforautomaticcolorization
[
C
]
roc.oftheCom
∥
P
p
016
:
uterVisionECCVSrinerInternationalPublishin
ppgg
,
2
577593.
Copyright©博看网 . All Rights Reserved.
第
2
期
[
6
]
ISOLAP
,
ZHUJY
,
ZHOUT
,
etal.Imaetoimaetransla
gg
tionwithconditionaladversarialnetworks
[
C
]
∥
Proc.ofthe
IEEEConferenceonCom
p
uterVisionandPatternReconition
,
g
2017
:
11251137.
[:
7
]
IIZUKAS
,
SIMOSERRAE
,
ISHIKAWAH.Lettherebecolor
!
·
393
·
张玺等
:
融合深度图像先验的全变差图像着色算法
ointendtoendlearninf
g
lobalandlocalimae
p
riorsforautomatic
jg
o
g
imaecolorizationwithsimultaneousclassification
[
J
]
.ACMTrans.
g
:
1onGrahics
,
2016
,
35
(
4
)
10.
p
[
8
]
ZHANGR
,
ZHUJY
,
ISOLAP
,
etal.Realtimeuseruided
g
imaecolorizationwithlearneddeeriors
[
J
]
.ACMTrans.on
gpp
:
1Grahics
,
2017
,
36
(
4
)
19.
p
[
9
]
徐中辉
,
吕维帅
.
基于卷积神经网络的图像着色
[
J
]
.
电子技术
应用
,
2
:
1018
,
44
(
10
)
922.
XUZH
,
LYUWS.Imaecolorinasedonconvolutionneural
gg
b
J
]
.A
p
licationofElectronicTechniue
,
2018
,
network
[
pq
:
144
(
10
)
922.
[
10
]
SAPIROG.Inaintinhecolors
[
C
]
roc.oftheIEEEInter
∥
P
pg
t
nationalConferenceonImaeProcessin005
:
698701.
gg
,
2
[
11
]
YATZIVL
,
SAPIROG.Fastimaeandvideocolorization
g
usinhrominanceblendinJ
]
.IEEETrans.onImaeProcessin
g
c
g
[
gg
,
:
12006
,
15
(
5
)
1201129.
[
12
]
滕升华
,
谌安军
,
邹谋炎
.
一种基于拉普拉斯方程的图像彩色
:
5
化方法
[
J
]
.
中国图象图形学报
,
2006
,
11
(
4
)
45548.
TENGSH
,
CHENAJ
,
ZOUMY.Colorizationusinalaceeua
g
l
pq
:
tion
[
J
]
.JournalofImaeandGrahics
,
2006
,
11
(
4
)
545548.
gp
[
13
]
KANGSH
,
MARCHR.Variationalmodelsforimaecolori
g
zationviachromaticitndbrihtnessdecom
p
osition
[
J
]
.IEEE
y
a
g
:
2Trans.onImaeProcessin007
,
16
(
9
)
2512261.
gg
,
2
[
14
]
CASELLESV
,
FACCIOLOG
,
MEINHARDTE.Anisotroic
p
Cheeersetsandalications
[
J
]
.SIAMJournalonImain
gppgg
:
1Sciences
,
2009
,
2
(
4
)
2111254.
[
15
]
LIF
,
BAOZ
,
LIURH
,
etal.Fastimaeinaintinndcoloriza
gpg
a
sdualmethod
[
J
]
.JournalofVisualCommunitionbambolle
’
y
Ch
:
5cationandImaeReresentation
,
2011
,
22
(
6
)
29542.
gp
[
16
]
金正猛
,
周晨
.
基于耦合全变差的快速图像着色算法
[
J
]
.
电子
学报
,
2
:
2016
,
44
(
10
)
3642369.
JINZM
,
ZHOUC.Afastcouledtotalvariationalorithm
pg
:
forimaecolorization
[
J
]
.ActaElectronicaSinica
,
2016
,
44
(
10
)
g
23642369.
[
17
]
JINZM
,
ZHOUC
,
NGMK.Acouledtotalvariationmodel
p
withcurvaturedrivenforimaecolorization
[
J
]
.InverseProb
g
:
1lemsandImain017
,
10
(
4
)
0371055.
gg
,
2
[
18
]
MINLH
,
LIZH
,
JINZM
,
etal.Colorede
p
reservinmae
gg
i
g
colorizationwithacoulednaturalvectorialtotalvariation
[
J
]
.
p
Com
p
uterVisionandImaeUnderstandin020
,
196
:
102981.
gg
,
2
[
19
]
ZHAOXL
,
XUWH
,
JIANGTX
,
etal.Deeluandla
ppgpy
riorforlowranktensorcom
p
letion
[
J
]
.Neurocom
p
utin
pg
,
2020
,
400
:
137149.
[
20
]
SREEHARIS
,
VENKATAKRISHNANSV
,
WOHLBERGB
,
etal.Pluandlariorsforbrihtfieldelectrontomorah
gpypggpy
andsarseinterolation
[
J
]
.IEEETrans.onCom
p
utational
pp
:
4Imain016
,
2
(
4
)
08423.
gg
,
2
[
21
]
VENKATAKRISHNANSV
,
BOUMANCA
,
WOHLBERGB.
Pluandlariorsformodelbasedreconstruction
[
C
]
∥
Proc.of
gpyp
theIEEEGlobalConferenceonSinalandInformationProcessin
gg
,
2013
:
945948.
[
22
]
CHANSH
,
WANGX
,
ELGENDYOA.Pluandla
gpy
ADMMforimaerestoration
:
fixedointconverenceand
gpg
:
alications
[
J
]
.IEEETrans.onCom
p
uterImain006
,
3
(
1
)
gg
,
2
pp
8498.
[
23
]
KOJUR
,
JOSHISR.Com
p
arativeanalsisofcolorimaewa
yg
termarkinechniueinRGB
,
YUV
,
andYCbCrcolorchan
g
t
q
nels
[
J
]
.NealJournalofScienceandTechnolo015
,
pgy
,
2
:
115
(
2
)
33140.
[
24
]
CHELALIFZ
,
CHERABITN
,
DJERADIA.Facereconition
g
sstemusinkindetectioninRGBandYCbCrcolorsace
[
C
]
∥
yg
s
p
Proc.oftheWorldSosiumonWebA
p
lication&Networkin
y
m
ppg
,
2015.
[
25
]
SAPIROG.Geometric
p
artialdifferentialeuationsandimae
qg
analsis
[
M
]
.Cambride
:
CambrideUniversitress
,
2006.
yggy
P
[
26
]
ZHANGK
,
ZUOWM
,
ZHANGL.FFDNet
:
towardafast
andflexiblesolutionforCNNbasedimaedenoisinJ
]
.IEEE
gg
[
:
4Trans.onImaeProcessin018
,
27
(
9
)
6084622.
gg
,
2
[
27
]
GABAYD
,
MERCIERB.Adualalorithmforthesolutionofnon
g
linearvariational
p
roblemsviafiniteelementaroximations
[
J
]
.
pp
:
Com
p
uterandMathematicswithA
p
lications
,
1976
,
2
(
1
)
1740.
p
[
28
]
BOYDS
,
PARIKHN
,
CHUE
,
etal.Distributedotimization
p
andstatisticallearniniathealternatinirectionmethodof
g
v
g
d
J
]
.FoundationsandTrendsinMachineLearninmultiliers
[
pg
,
:
112010
,
3
(
1
)
22.
[
29
]
AMIRK
,
ORLYYP.Quaternionstructuralsimilaritew
y
:
an
J
]
.IEEETrans.onImaeProualitndexforcolorimaes
[
gqy
i
g
:
1cessin012
,
21
(
4
)
5261536.
g
,
2
[
30
]
CHANSH
,
WANGX
,
ELGENDYOA.Pluandla
gpy
ADMMforimaerestoration
:
fixedointconverenceanda
gpgp
:
lications
[
J
]
.IEEETrans.onCom
p
uterImain2016
,
3
(
1
)
pgg
,
8498.
[
31
]
RYUE
,
LIUJ
,
WANGS
,
etal.Pluandlathods
p
rov
gpy
me
ablonverewith
p
roerlraineddenoisers
[
C
]
roc.ofthe
∥
P
y
c
gpy
t
019
:
36thInternationalConferenceonMachineLearnin
g
,
2
55465557.
男
,
硕士研究生
,
主要研究方向为基于偏微分方程
,
张
玺
(
1997
—)
的图像处理
。
男
,
教授
,
博士
,
主要研究方向为非线性偏微分方程
金正猛
(,
1982
—)
及其在图像处理中的应用
。
,
女
,
副教授
,
博士
,
主要研究方向为偏微分方程数
姜亚琴
(
1976
—)
值解
。
作者简介
Copyright©博看网 . All Rights Reserved.
发布评论