四维光场数据中基于极平面图的深度估计方法

2024年3月10日发(作者：)

四维光场数据中基于极平面图的深度估计方法

王晓鹏;王忠义;许玉龙;郑文凤

【摘 要】针对四维(4D)光场数据中的深度估计问题,提出一种基于4D光场数据极

平面图(EPI)结构信息的高精度深度估计方法.首先,对4D光场结构进行了分析,给出

了深度信息与视差的关系.然后,在外极平面图像上,计算切片域中每个点的视差估计

以及可信度估计.最后,根据可信度估计来加权局部视差估计的准确性,用于获取全局

一致性视差图,进而可获得全局深度图.仿真实验结果表明,该方法能够精确估计出深

度信息,为视觉三维重建提供了良好的基础.%For the issues of the depth

estimation in four-dimensional (4D)light field,a high-precision depth

estimation method based on epipolar plane image (EPI)structure

information is y,the structure of 4D light field is

analyzed,and the relationship between depth information and parallax is

given. Then,on the outer EPI,the parallax estimate and the confidence

estimate for each point in the slice domain are y,the

accuracy of the local parallax estimation is weighted according to the

confidence estimate,which is used to obtain the global consistency

disparity map,and the global depth map can be simulation

results show that the proposed method can accurately estimate the depth

information and provide a good foundation for 3D reconstruction.

【期刊名称】《湘潭大学自然科学学报》

【年(卷),期】2018(040)002

【总页数】4页(P35-38)

【关键词】四维光场;深度估计;极平面图;局部视差;可信度估计

【作 者】王晓鹏;王忠义;许玉龙;郑文凤

【作者单位】河南中医药大学 信息技术学院,河南 郑州450046;河南中医药大学

信息技术学院,河南 郑州450046;河南中医药大学 信息化办公室,河南 郑州

450046;河南中医药大学 信息技术学院,河南 郑州450046

【正文语种】中 文

【中图分类】O43

图像中的深度信息能够有效反映物体的三维几何特征，可用于图像的超分辨率重建

和三维重构[1].传统深度估计利用多个摄像机拍摄的二维图像来获得[2].随着光场相

机的出现，一次拍摄就能获得深度信息.4D光场是一种描述场景视觉的有效方法.

与传统2D图像相比，它不仅存储了每个图像点的累积强度，还存储了每个光线方

向上的强度值[3].所以，利用4D光场数据中光线的空间和角度信息，可以提取图

像场景中的深度信息.利用光场数据获取深度信息通常用基于极平面图(epipolar

plane image，EPI) [4]和基于像素匹配来估计[5].其中，基于EPI的估计方法具有

较高的估计精度和时间效率.

本文提出一种利用4D光场数据的EPI结构信息实现高精度深度估计的方法.首先，

对4D光场结构进行分析，给出深度信息与视差之间的关系式.然后，在外极平面

图像上，计算切片域中每个点的视差估计以及可信度估计，可信度估计用来表示视

差估计的准确性.最后，使用全局优化标签机制，以求解一个最小化函数的形式来

整合垂直和水平切片上的视差估计，获得全局一致性视差图，进而得到全局深度图.

在HCI标准光场数据集上的仿真结果证明了该方法的有效性.

1 四维光场模型

1.1 四维光场结构

4D光场可通过与图像平面并行视点的针孔视点来描述.2D平面包含视点的焦点，

通过坐标(s,t)参数化该焦点，同时通过坐标(x,y)参数化图像平面Ω.4D光场或光强

度是一种映射：

L:Ω×Π→R,(x,y,s,t)а(x,y,s,t).

该映射描述了分配给经过(x,y)∈Ω和(s,t)∈Π光线的光强值.

考虑光场结构中经过光场的2D 切片，固定图像平面中常量y*的水平线，且约束

光场到一个(x,s)切片Σy*,t*.将这种情况下的映射结果称为极平面图.在(s*,t*)针孔视

点的光场几何结构视图如图1所示，外极平面图像的生成过程如图2所示.其中，

Sy*,t*表示为：

Sy*,t*∶Σy*,t*→R,(s,t)→Sy*,t*(x,s)∶=L(x,y*,s,t*).

现在考虑这种映射的几何特性，外极平面上的点P=(X,Y,Z)与Ω上点的切片相关，

而Ω上的点依赖于П上所选相机中心.如果改变s，坐标值x的变化为式中，f为

平行平面之间的距离.根据平移量Δs修正Δx，从而描述不同视图的局部坐标系统.

3D空间的点映射到Σy*,t*中的一条线上，该线的斜率与它的深度相关.假如在场景

中的对象是朗伯型的，这意味着光场强度不能根据该直线变化.因此，计算深度相

当于计算外极平面图像水平线的斜率[6].该方法可用于深度重建.

1.2 视差与深度的关系

空间静态场景中的一点，经过两个不同的视点投影到二维平面，其在投影平面上的

两个像点坐标会有一定的偏移，将这个偏移量称作视差[7].图3给出了空间中一点

在相邻视点坐标u1和u2下的视差示意图.

由成像模型可知，主透镜平面和微透镜阵列平面正方向相同.令F1表示像点A1与

主透镜平面间的距离，F表示微透镜阵列面与主透镜面间的距离.那么，相邻视点

间的视差d、相邻视点间的距离B与F1和F的关系表示如下：

d/B=-(F-F1)/F1.

(2)

令f表示主透镜的焦距，Z0表示聚焦面到主透镜面的距离，Z表示点A到主透镜

面的距离，即空间场景的深度信息.根据成像原理可得：

1/F+1/Z0=1/f,1/F1+1/Z=1/f.那么，可得到成像中的视差d与深度Z的关系，表

示为：d/B=F/Z-F/Z0 .

2 基于极平面图的视差估计

2.1 局部视差估计

首先考虑如何估计外极平面图像Sy*,t*上点(x,s)处直线的局部方向，其中固定y*和

t*.该步骤是计算切片域中每个点的视差估计dy*,t*(x,y)以及可信度估计

ry*,t*(x,s)∈[0,1]，可信度估计用来衡量局部视差估计的准确性[8].随后，两种局部

估计将用于获取全局一致性视差图.为了获取局部视差图，需要估计切片上的直线

方向.通过外极平面图像S=Sy*,t*的结构张量J完成该计算：

式中，Gσ表示在外尺度σ上的高斯平滑操作，Sx,Sy表示在内尺度ρ上S的梯度

分量.然后通过下式计算局部水平线的方向：

式中，那么，局部深度为：Z=-fΔs/Δx.

当移动两个视图时，用视差dy*,t*=f/Z=Δx/Δs=tanφ描述场景中像素点的平移量.

另外，将结构张量的连续性作为一个可信度指标，用来表示φ估计的置信度，表

示为：

式中，ry*,t*是在[0,1]范围内的值，其值越大，表示该计算结果的可信度越高.

2.2 构建视图视差

对所有极平面图，分别在水平和垂直切片上获取视差估计dy*,t*、dx*,s*和可信度

ry*,t*、rx*,s*.然后，对每幅视图(s*,t*)，合并这些估计值为一幅一致性视差图

u:Ω→R.

从建模角度看，一种整合垂直和水平切片估计更有效的方法是在Ω域使用全局优

化标签机制.其中，最小化函数形式为：

根据可信度ry*,t*和rx*,s*为dy*,t*和dx*,s*加权，那么ρ(u,x,y)表示如下：

ρ(u,x,y)∶=min

本文使用文献[9]描述的方法来求解式(1)的最优解.

3 仿真及分析

采用标准HCI数据集中大小为9×9×768×768×3的buddha和monas Room

光场图像作为实验对象，其中的9×9表示角度采样，768×768表示空间采样，3

表示颜色通道.深度图用灰度图表示，灰度值越小则对应的视差值或深度值越小.

图4和图5分别给出了buddha和 monas Room光场图像的原图、准确深度图

和提出方法估计出的深度图.可以看出，估计出的深度图和准确深度图基本一致，

这证明了提出方法的有效性.

为了进一步表示深度估计方法的性能，定义均方误差(mean squared error，

MSE )来表示深度估计的准确性[10]，表示如下：

式中，RS为准确的深度信息，D为估计出的深度信息，(x,s)为像素坐标.

表1 各种方法深度估计的MSETab.1 The MSE of depth estimation of various

methods图像本文的方法文献[11]文献

[12]buddha0．0650．1040．126monasRoom0．0580．0970．103

将提出的方法与两种现有的基于EPI的深度估计方法进行比较，分别为文献[11]提

出的基于稀疏线性和EPI结构张量的深度估计，同时其利用颜色一致性约束来避免

错误估计.文献[12]利用EPI获取深度曲线，并利用马尔科夫随机场平滑深度图，

实现深度估计.比较结果如表1所示，可以看出，提出的方法具有最低的MSE，这

说明了其深度估计精度最高.

4 结束语

图像的三维重构需要精确的深度信息，为此提出了一种利用4D光场数据的EPI结

构信息实现高精度深度估计的方法.根据深度与视差的关系，将深度估计变换为视

差估计.根据EPI结构信息，在外极平面图像上计算切片域中每个点的局部视差估

计，并通过可信度来表示视差估计的准确性.使用全局优化标签机制将局部视差估

计整合成一个全局一致性视差图，最终得到全局深度图.在两个标准光场数据上的

实验证明了提出方法的可行性和有效性.

参 考 文 献

[1] 张作昌. 基于多基线近景摄影测量技术的馆藏铜鼓三维重建[J]. 湘潭大学自然科

学学报, 2017, 39(1): 119-122.

[2] 陈正兵. 基于深度图像的室内三维平面分割方法研究[J]. 电子设计工程, 2016,

24(24): 158-160.

[3] 张驰, 刘菲, 侯广琦,等. 光场成像技术及其在计算机视觉中的应用[J]. 中国图象

图形学报, 2016, 21(3): 263-281.

[4] LV H, GU K, ZHANG Y, et al. Light field depth estimation exploiting

linear structure in EPI[C]// IEEE International Conference on Multimedia &

Expo Workshops. IEEE, 2015:1-6.

[5] 高隽, 王丽娟, 张旭东,等. 光场深度估计方法的对比研究[J]. 模式识别与人工智

能, 2016, 29(9): 769-779.

[6] TAO M, SU J C, WANG T C, et al. Depth estimation and specular

removal for glossy surfaces using point and line consistency with light-field

cameras[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,

2016,38(6):1155.

[7] 陈佃文. 基于4D光场数据的深度信息获取[D].北京：北京信息科技大学, 2016:

17-18.

[8] 陈佃文, 邱钧, 刘畅,等. 基于四维光场数据的深度估计算法[J]. 中北大学学报(自

然科学版), 2016, 37(4): 395-400.

[9] POCK T, CREMERS D, BISCHOF H, et al. Global solutions of variational

models with convex regularization [J]. Siam Journal on Imaging Sciences,

2010, 3(4): 1122-1145.

[10] 王刘彭,易年余. 线性有限元误差的L～2范数估计及其应用[J]. 湘潭大学自然

科学学报, 2018, 40(1): 19-23.

[11] LI J, LI Z N. Continuous depth map reconstruction from light fields[C]//

IEEE International Conference on Multimedia and Expo. IEEE, 2013: 1-6.

[12] CHEN C, LIN H, YU Z, et al. Light field stereo matching using bilateral

statistics of surface cameras[C]// IEEE Conference on Computer Vision and

Pattern Recognition. IEEE, 2014: 1518-1525.