基于车载多摄像头动态全景图像拼接方法研究

2024年5月3日发(作者：)

基于车载多摄像头动态全景图像拼接方法研究

发布时间：2021-10-09T08:19:08.701Z 来源：《科技新时代》2021年7期 作者： 时潮1，刘乔1，黄文涛1，关翔中1，周祥祥1，白璇2

[导读] 视频拼接是图像拼接的一个延伸，它是计算机视觉领域和图像处理领域的一个重要应用。

（1. 上海机电工程研究所，上海 201109；

2.北方自动控制技术研究所，太原 030006）

摘 要：针对当前视频拼接存在不能动态拼接的问题，本文提出了一种基于视频控制帧的动态视频拼接的设计方案，通过两个摄像头的

动态拼接实验验证了基于控制帧拼接算法的可行性。本文主要内容分成图像预处理与视频拼接两大部分。其中图像预处理包括图像几何失

真校正、图像柱面映射、灰度转换、图像降画面质量处理等模块，视频拼接包括控制帧的设计、特征点提取、特征点的匹配、图像的配

准、图像的融合等方面的算法，从而实现动态全景图像拼接。

关键词：视频拼接；图像预处理；图像融合；控制帧；图像柱面映射；

0 引言

视频拼接是图像拼接的一个延伸，它是计算机视觉领域和图像处理领域的一个重要应用。它在虚拟现实、医疗成像、视频监控、遥感

地图等诸多领域拥有着广泛的应用前景。本文根据全景视频拼接技术的发展和现状，对视频拼接的拼接原理和方式做了一定调研与分析。

随着科技的进步与发展，人们对于信息的需求越来越多。但人们对于信息的获取绝大部分来自于视觉信息。普通人双眼水平视角约为

90度，垂直视角约为70度，极大的限制了信息的获取。为克服人眼视角的限制，早期人们通过鱼眼镜头等特殊镜头来扩大视角，但是，这

类镜头拍摄的画面存在着严重畸变，在许多场合并不适用。随着计算机图像处理技术的发展[1]，人们开始利用计算机研究全景图像技术。

全景图的获取即采用图像拼接的方式，它是将从同一场景采集得到的多幅具有重叠区域的图像拼接成一幅画面质量较好的大尺寸图像[2-

4]。而视频拼接则是图像拼接的一个延伸，它能够将图像拼接的结果进行动态的实时显示，其在视频监控，轨道交通，视频会议，虚拟现

实、医学成像等诸多领域拥有广泛的应用前景。

上世纪九十年代，图像拼接开始应用于全景技术。它是计算机图形学、计算机视觉和图像处理领域一个重要的应用。图像拼接最早以

一种称作单视点的全景图像模式发展起来，它是通过将一台相机围绕光心旋转拍摄得到的图像进行拼接合成；后来出现了条带全景图，它

是通过平移相机将连续拍摄的图像拼接得到。这种方法由于处理前图像顺序已知，拍摄轨迹简单，一般只是简单的平移关系，故其容易配

准，且操作难度低，这种全景图的构造方法至今在我们的大多数的智能手机以及高端的数码相机中仍在沿用。然而，这些技术由于算法复

杂程度高，计算量大只能实现静态的全景图拼接无法实时处理。

对于实时的图像拼接其主要困难在于实时性的要求，但是现有的静态全景图像生成算法很难达到实时处理，因此无法直接进行视频合

成。近些年，很多研究人员通过采用硬件方法减少运算量，降低复杂程度。例如，美国北卡罗来纳州大学计算机科学系的Majumder等人提

出了一种摄像机组的结构，它通过保持各个相机间虚拟的公共投影中心，减少配准算法的复杂程度；同时因为这种特定的结构使得全景图

在一定程度上避免了视差，不需要额外的补偿算法。但凡事都有两面性，该结构在简化计算过程，提高实时性的同时，也大大增加了全景

图对硬件结构的依赖性，相机组的成本以及维修难度[5-9]。

针对当前视频拼接存在不能动态拼接的问题，本文提出了一种基于视频控制帧的动态视频拼接的设计方案，通过两个摄像头的动态拼

接实验验证了基于控制帧拼接算法的可行性。

1 系统整体框图

本文以多个摄像头采集的图像为研究对象，目标是实现多幅图像的实时拼接。通过将摄像头进行简单对齐，确保车在动态行进过程中

采集的视频画面中有足够的重叠区域来完成图像拼接，这需要摄像头具备大视角，图像清晰，调节方便等特点。同时，本文算法最终要在

拖车仿真平台上完成验证实验，所以需要无线图传模块进行视频流数据的传输，要求其具备信号传输距离远，数据损失少等特点。而视频

采集卡要同时对多路视频信号进行采集，所以要选择处理速率快的多通道视频采集卡。

如图1所示是视频拼接硬件系统框图。

图 1 视频拼接硬件系统框图

2 图像预处理

2.1 几何失真校正

图像出现几何畸变的因素有很多，主要包括成像器件系统的相差、有限的带宽等。其次引入噪声、成像器件的非线性扫描、运动模

糊、辐射失真等也可能导致的图像失真，但最主要的还是由于摄像机镜头存在透镜畸变。

在对图像进行几何失真校正前，需通过得到的相机的内参数矩阵以及畸变校正矩阵对相机进行标定，本文参数矩阵的获取是通过

MATLAB的实现，它对事先拍摄得到的多组棋盘格图像进行分析处理，找到每幅图像中的角点位置，如图2所示（图中绿色的圆圈是检测得

到的角点位置）进而得到相机的内参数矩阵以及畸变校正矩阵。

从图中发现，通过处理，原始图像中存在的几何失真问题得到了明显改善。

2.2 圆柱面投影

由于摄像头组拍摄的多幅图像是实体景物在不同相机坐标系下的二维投影，直接把拍摄图像对齐到同一平面坐标系下拼接不能够实现

视觉的统一，所以需要在拼接前将待拼接的多幅视频帧投影到同一个投影坐标系下，就能拼接得到具有视觉一致性的全景图，全景图的获

取可以利用球体、圆柱体和立方体等模型来完成。采用的柱面体坐标变换方法的投影图像与投影到的柱面体位置关系不大且变换较为简

单，因此用柱面体拼接得到的全景拼接图可实现水平面方向上360度的环视需求，并且具有良好视觉体验，本文采用这种方法。

图4是相机贡献角初始化为60度时基于柱面投影的算法效果图。图中左侧为原始平面图，右侧为投影变换得到的柱面图像。通过比较投

影前后效果图可以看出该算法能够实现平面图到柱面图的转换，为后续全景图的柱面拼接打下基础，提高图像拼接质量，并有较好的视觉

一致性。

图4原始图（左）投影图（右）

2.3 图像的灰度化处理

在进行视频拼接时，通常需要灰度化处理采集得到的彩色图像，这是由于黑白照片数据信息较小，其相对于彩色图片处理起来更为快

速，能增加算法的实时性，并且通常来讲，从图像学角度分析，这种未经过处理的光线强度所形成黑白照片，其所涵盖的信息具有更大的

价值。

彩色图像灰度化处理的方法，通过将RGB三个通道的颜色通道的亮度大小按照一定的权值进行平均处理得到我们所需要的灰度值。本

文采用的算法原理是从人体生理学角度提出的权值（人眼就绿色光最为敏感，对蓝色光最不敏感）对RGB图像三个通道的分量值进行加权

平均，其效果图如图5所示。

图5 原始图（左） 灰度化处理图（右）

图像的灰度化在后续的图像处理过程中能够减少运算量，缩减特征提取的时间。

3视频拼接方案选择

随着图像拼接技术的不断发展，目前拼接方法可以分为基于变换域的拼接法、基于特征检测的拼接法、基于光流的拼接法等。目前提

取特征方法主要有SIFT算法、SURF算法等，这类方法在能保证图像配准速度的基础上，提高了图像匹配精确度，所以本文采用了基于特征

检测的图像拼接方法。视频拼接分为几个核心步骤，分别是特征点检测，特征点匹配，匹配筛选，图像配准以及图像融合等。

3.1 特征点检测

基于特征的图像拼接法的关键是特征的提取，当前在该领域比较常用的方法是一种基于尺度空间的SIFT特征检测算法，但SIFT算法在

检测与匹配方面耗时长，且其对待拼接图像的视角变化比较敏感。SURF算法是SIFT算法的加速版，其算子的速度是SIFT算子的数倍，并且

在处理多幅图片中具有较好的稳定性，因此本文使用SURF特征点提取方法处理图像，其结果如图6所示。

图7 K近邻算法示意图

图7中的样本数据分为两大类，其中红色三角形代表一类，蓝色的正方形代表另外一类，而处于图像中心位置的绿色圆则代表尚未分类

的数据。现在，K近邻算法最终要解决的就是给这个绿色的圆分类，或归属于红色三角形或归属于蓝色正方形。本项目中匹配的结果如图

8。

图8 比率以及对称性处理后的匹配图

平面单应变换是一种基于三维矢量的线性变换，它可以使用一个非奇异的3×3矩阵表示，通过公式，我们可以计算出两幅图像的单应矩

阵，然后可以利用这个矩阵将一个视角的图像变换到另一个视角的图像上。通过opencv视觉开源库来计算一幅图像到另一幅图像的单应矩

阵。

3.3 图像对准

通过上面的步骤得到待拼接图像的单应矩阵，之后将拼接图投影到参考图的坐标系中，建立拼接图和参考图的ROI区域，将其简单的对

齐后效果图如图9。

图9原始图（上）图像配准后的图（下）

通过观察我们发现经过图像配准之后有图像有简单的拼接效果，但其仍存在着过渡区域色差明显的特点，接下来我们要通过一定的图

像融合算法处理过度区域使得过渡得更加平滑。

3.4图像融合算法

图像融合技术是一种涵盖多幅图像信息的处理技术，它是指利用图像处理和计算机技术将采集得到的多幅图像的重复信息进行处理，

使用特定的算法提取各个图像中有利的信息，最后将多幅图像的有效信息进行融合处理，得到一幅高质量、多信息的图像，从而增加图像

信息的利用率、改善原始图像的光谱分辨率和图像分辨率，有利于图像检测；其中有代表性的便是加权平均法，所以本文选择加权平均法

对图像进行融合。

加权平均法是指利用融合区域一侧开始按顺序排列的同一目标的观测值并以其空间顺序数为权值，计算出同一目标观测值的加权平均

值，并以这一数值作为最终的结果进行图像融合。

加权平均法的计算公式如（1）式所示：

通过观察我们发现，经过了加权平均融合算法处理之后，图像的过度区域分界非常平滑几乎找不到过度痕迹。

4试验验证

本文使用的配有opencv2.4.9的Visual Studio 2013 作为软件开发环境。本文做了下面一系列测试，实验结果证明了设计方案的可行性。

理想情况下我们安装摄像头只存在偏航角的差异，但实际安装摄像头过程中不可避免的存在着滚转角的差异，图11显示的是滚转角存

在60度差异的两幅图像，图12显示的是本文算法在有滚转角差异是所合成的图像。

上图结果显示，在某些特殊情况下当摄像头存在较大的滚转角时本文的算法仍能够较好的完成拼接任务。

图13是利用摄像头从7个进行角度拍摄，拼接得到的全景图，它验证了本文的算法能够适用于更多摄像头的拼接，并且拼接效果良好。

图 13 多幅图片拼接的全景图

本文设计算法理论上不受摄像头个数的限制，可以比较方便的进行扩展，依照全景图的要求来配置摄像头的个数。

5结束语

本文主要以包含Opencv库函数的VS2013为软件开发平台，以搭载有摄像头的拖车为硬件平台，提出了一种基于车载摄像头的视频控制

帧的动态全景图像拼接的设计方案，通过两个摄像头的动态拼接实验验证了基于控制帧拼接算法的可行性。全景图像拼接拥有着广泛的应

用，它是计算机图形学、计算及视觉和图像处理领域的一个重要研究方向。它在虚拟现实、医疗成像，视频监控、遥感地图等领域拥有者

广泛的应用前景，具有重要的研究价值。

参考文献

[1] 梁小溪， 朱迪， 张慧， 等. SPIHT图像压缩算法在防空武器系统中的应用[J]. 空天防御， 2018， 1(3): 31-37.

[2]蔺素珍，韩泽. 基于深度堆叠卷积神经网络的图像融合[J].计算机学报，2017，40（11）：2506-2518.

[3] Liu Y，Liu S，Wang - focus image fusion with dense SIFT[J].Information Fusion，2015，23：139-155.

[4] 杨艳春，李娇，党建武，等. 基于冗余小波变换与引导滤波的多聚焦图像融合[J]. 计算机科学，2018，45（2）：301-305.

[5]杨思燕，贺国旗，刘如意. 基于SIFT 算法的大场景视频拼接算法及优化[J]. 计算机科学，2019，46（7）：286-291.

[6] 杨毅，王冬生，宋文杰，等. 融合图像语义的动态视频拼接方法[J]. 系统工程与电子技术，2018，40（12）：230-239.

[7] Chen Y S，Chuang Y l image stitching with the global similarity prior[C]//Proceedings of the 14th European Conference on

European Conference on Computer dam，Netherlands：Springer，2016：186-201.

[8] 程德强，厉航，黄晓丽，等. 基于改进随机抽样一致算法的视频拼接算法[J]. 工矿自动化，2017（8）：50-55.

[9] Chang C H，Sato Y，Chuang Y -preserving half projective warps for image stitching[C]//Proceedings of 2014 IEEE Conference on

Computer Vision and Pattern

Recognition，Columbus，Ohio，USA，2014：3254-32