2024年5月9日发(作者：)
硕士学位论文
华中科技大学
2011-01-18
姓名：颜杰
申请学位级别：硕士
多摄像头目标检测与跟踪方法研究
专业：通信与信息系统
指导教师：邱锦波
认精度得到了一定的提高。
高的学术研究和应用价值。
个系统的数据传输量和计算量。
摘 要
对目标准确跟踪的条件下，降低整个系统的数据传输量和计算量。
华中科技大学硕士学位论文
关键词： 多摄像头， 目标检测，目标跟踪，目标确认，最优摄像头选择
评估。实验结果显示，该算法在不降低对目标跟踪准确度的情况下，有效地降低整
基于最优摄像头选择的跟踪算法，并从理论分析和实验上，对该算法的性能进行了
精度。实验结果表明，在基于平面单应性的确认算法中，增加目标距离特征后，确
面单应性约束条件的影响，加入目标距离特征能有效的提高摄像头之间目标的确认
基于平面单应性的确认技术中，引入目标距离特征的新方法。由于目标距离不受平
究的基础上，重点研究了如何提高多摄像头之间目标确认的精度，以及如何在保证
服这些问题。因此，多摄像头目标检测与跟踪正在成为研究的热点。本文在前人研
头视野有限、不能进行全方位的跟踪等问题，而多摄像头的跟踪系统能够很好的克
用，其中包括视频监控、军事工程、交通管理、智能机器人和人机交互等，具有很
研究方向。在当前的现实生活中，视频跟踪技术已经在各种领域内得到了广泛的应
为了有效地减少多摄像头跟踪系统的数据传输量和计算量，本文还提出了一种
本文首先分析多摄像头跟踪领域中，摄像头之间目标确认问题，提出了一种在
单摄像头的视频跟踪系统存在很多无法解决的问题，其中包括目标遮挡、摄像
视频跟踪是计算机视觉领域的一个基础的研究课题，也一个非常具有挑战性的
I
ensuring the accurate target tracking.
accuracy.
added the distance feature.
the optimal camera selection
high value of academic research and application.
华中科技大学硕士学位论文
Abstract
very challenging research direction. In the current real life, visual tracking technology has
Multi-camera object detection and tracking is becoming a hot research. Based on previous
field of multi-camera tracking, and puts forward a new method. The method introduces the
multi-camera, and how to reduce data transmission and computation in the overall system,
traffic management, intelligent robots and human-computer interaction and so on, and has
target occluding, the limitation of camera field of vision, can not be omnibearing tracking
been widely applied in various fields, including video surveillance, military engineering,
research, the paper focus on how to improve the accuracy of target identification between
and so on, but multi-camera tracking system can well overcome these problems. Therefore,
Keyword: multi-camera，target detecting，target tracking，target identification，
The visual tracking is a basic research topic in the field of computer vision, but also a
First of all, the paper analyzes the target recognition problem between cameras in the
analysis and experiment. The Experimental results show that the algorithm can effectively
In order to effectively reduce data transmission and computation in the multi-camera
reduce the transmission and computation of the tracking system, but not loss of tracking
tracking system, the paper also proposes a new tracking algorithm based on the optimal
different cameras. The Experimental results show that the new method can improve the
feature of target distance into the homography-based technique of identification. As the
camera selection, and evaluates the performance of this algorithm from the theoretical
plane homography constraints can not impact the distance between targets, adding the
accuracy of target identification, when the homography-based recognition algorithm is
Single-camera visual tracking system has many unresolved issues, including the
distance feature can effectively improve the target identification accuracy between
II
本论文属于
学位论文作者签名：
日期： 年 月 日
（请在以上方框内打“√”）
不保密□。
独创性声明
学位论文版权使用授权书
库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得
本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有
借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据
权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和
的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他
个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集
体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。
保密□，在 年解密后适用本授权书。
日期： 年 月 日
指导教师签名：
日期： 年 月 日
学位论文作者签名：
术是目前研究的热点。
1.1 研究背景及意义
并得到了不断深入的研究。
究上，还是在工业应用领域都有重大的意义。
华中科技大学硕士学位论文
1 绪论
监控系统大量减少了监控人员的数量，极大的提高的工作效率和跟踪的性能。
当前多摄像头的跟踪系统研究的一个关键问题是如何在多个摄像头中，对多个
一直以来对视频跟踪系统的研究，主要是集中在单摄像头的跟踪系统中，目前
在视频监控系统的最初阶段，这类监控系统的硬件条件简单，缺乏有效的检测
视频图像能够对现实生活中的客观事物进行生动、形象、直观和连续的表达，
踪系统设计一个最优的跟踪算法等。因此，多摄像头跟踪系统的研究无论在学术研
合多摄像头的数据，如何对摄像头之间检测到的共同目标进行确认，以及如何为跟
目标进行实时、高效和连续跟踪，其中涉及到如何有效地分配多个摄像头，如何融
积、长时间的跟踪，因此，多摄像头的视频监控系统正在引起学者们的广泛关注，
统能很好的克服单摄像头跟踪系统中的这些不足之处，能对目标进行全方位、大面
摄像头的视野的局限问题，以及无法对目标进行三维的跟踪等。多摄像头的跟踪系
化视频监控系统已经能对检测到的感兴趣的目标进行自动和有效的跟踪，这类智能
泛研究能够对感兴趣目标进行自动跟踪的跟踪系统。经过长期的发展，当前的智能
是人工操作，而且对监控人员来说是一项枯燥和繁重的任务，为此研究人员开始广
视器，并进行人为的判断和分析来完成。由此可以看出，在这类视频监控系统完全
频和显示视频的作用，后续的目标跟踪和跟踪分析，全靠监控人员长期观察众多监
和跟踪算法，并且完全靠人工手动进行实时监控，监视系统只是起到了一个感应视
许多视频应用的基础，比如交通监控、智能机器人和人机交互等，因此视频跟踪技
究的一个重点，它主要是对图像传感器得到的感兴趣的目标进行跟踪。视频跟踪是
器得到的视频图像进行分析，获取图像中的有用信息。视频跟踪就是计算机视觉研
通信和半导体技术的迅速发展，人们越来越青睐于利用计算机视觉代替人眼对传感
因此被广泛应用在工业生产、安防、智能机器人和生物等领域。随着计算机网络、
存在很多问题是单摄像头跟踪系统所无法解决的，比如监控场景的目标的遮挡问题，
1
1.2 视频跟踪简介
的方向。
1.3 单摄像头的视频跟踪
目标跟踪都是最基本和核心的任务。
成为当前视频跟踪领域的重点。
华中科技大学硕士学位论文
IC设计、随即过程、信号处理、应用数学和统计学等。在各种基于内容分析和远程
境之间的遮挡问题、单摄像头视野（FOV）的限制问题，这类问题的解决只有将单
在最初研究视频跟踪的时，大多数研究人员是对某个摄像头所拍摄到的视频序
视觉是一个非常强大的感知机制，并得到了广泛的应用，视频跟踪就是视觉应
在大多数视频跟踪的场景中，都会存在目标的遮挡、摄像头视野（FOV）的限
多摄像头跟踪系统有许多单目摄像头跟踪系统所无法比拟的优势，比如能对跟
列中的目标进行分析和跟踪。一个完整的单摄像头的视频跟踪流程包括对监控环境
中，有些问题是无法通过改进算法和技术能够解决的，比如目标与目标或目标与环
测算法和跟踪算法等，来解决目标跟踪中所存在的问题。在单目摄像头的跟踪系统
具有挑战性的任务。当前研究人员不断提出各种算法和技术，如背景建模算法、检
制、光照的不断变化，以及混乱的背景问题等，从而使得目标的跟踪成为一个非常
协作视频应用中，如视频监控、军事工程、交通管理、智能机器人、人机交互等，
跃的研究领域。视频跟踪是一个跨多学科的交叉前沿课题，它已近吸引了来自各个
机视觉的研究中，视频跟踪是其最基本和最重要的研究要点，也是当前一个非常活
在目标不断移动过程中不断更新目标的状态，从而达到对目标的持续跟踪。在计算
用的一个典型例子。视频跟踪是通过视频传感器在感应到的视频帧中，检测到系统
学科的研究者参加到对他的研究之中，其中包括计算机科学、图像处理、模式识别、
感兴趣的目标，通过检测目标的特征（如纹理、色彩和轮廓等）来确定目标的状态，
所研究的重点问题。多摄像头所组成的摄像头网络系统正在成为视频监控领域主流
目标检测、目标确认、目标跟踪和信息融合问题，这些都是当前多摄像头跟踪领域
的事件等。但是，多摄像头跟踪系统也会出现很多新的问题，比如基于多摄像头的
踪的目标进行三维的重建、能在广阔的区域上实行监控、能分析和解释监控区域内
工作，才能对目标进行一致的跟踪。因此，利用多摄像头网络来进行多目标的跟踪
跟踪应用中，比如小区的监控系统、机场的监控系统等，需要大量的摄像头来协同
目摄像头的视频跟踪系统扩展为多摄像头的系统才能得到有效的解决。现实的视频
2
数估计算法[4][5] 等。
一步的处理算法进行简单的介绍。
相减法建立一个好的背景模型
[6][7][8]
。
3）光流法
（2）目标检测
2）时间差分法
1）背景相减法
（1）背景建模
信息。下面是一些传统的目标检测算法：
华中科技大学硕士学位论文
对值后，需要定义一个阈值来确定哪些像素属于目标，哪些像素属于背景。
Liopton
[9]
使用差分法来从视频流中检测移动的目标。当获得当前帧与前一帧差的绝
视频序列的时间均值算法[1][2]，自适应的高斯估计算法[3]，以及基于像素处理的参
基于光流法的目标检测通过使用运动目标的光流向量的特征来检测运动目标。
时间差分法将视频序列中的连续两到三帧进行像素级的差分，从而提取出运动
背景相减法是目标检测中最常用的方法，特别是摄像头处在一个背景相对静止
目标检测的目的是在视频序列中，检测移动的目标，如车辆和人类。对移动目
构建和更新监控场景的背景模型是视频跟踪中所不可缺少的。背景模型一般分
例如，为了提取非刚性的目标，Meyer
[10][11]
通过计算光流矢量场的位移来初始化一个
基于轮廓的跟踪算法。基于光流方法能够检测到运动目标，即使是在摄像头运动的
素都不是很好，比如在移动的目标内部存在很多的空洞。一个时间差分法的例子是
的目标。时间差分法对动态的环境具有非常好的适应性，但是通常其提取的目标像
化和外部条件的影响等。因此，为了减小这些变化对检测效果的影响，必须为背景
目标。它的计算复杂度很低，但是在动态的场景中对变化非常的敏感，比如光照变
的情形下。背景相减法是通过将当前帧和背景帧做像素级的相减，从而检测到运动
行操作。目前大多数目标检测方法都是使用摄像头得到的视频序列的时间或者空间
标的检测为后续的跟踪和行为分析提供条件，因为这些处理仅针对检测到的目标进
对背景图片的获取和更新带了困难。当前有许多的算法来解决这些问题，其中包括
景图片。但是，各种不利因素，比如光照条件的不断变化，阴影和树枝摇动等，都
对于一个固定的摄像头来说，关键问题是从动态的视频序列中自动的恢复和更新背
为图像平面的二维模型和真实世界的三维模型，三维模型一般只应用在多摄像头的
的背景建模，目标检测和目标跟踪，其中每一步都包含各种技术和方法，下面对每
跟踪系统中。由于二维模型比三维模型简单很多，因此二维模型得到了更多的应用。
3
融合在一起
[12]
。
1.4 多摄像头网络
在实时的跟踪系统中。
（3）目标跟踪
统就是一个庞大的相互协作的摄像头网络。
能家庭系统、公共安全系统、军事安全系统和电视转播系统等。
计算、有限和无线传感器网络定义了丰富的概念，创造了丰富的算法。
华中科技大学硕士学位论文
当前研究多摄像头领域的众多团体已经意识到了新的算法和系统设计的挑战。
图像传感器从环境中提取有价值的事件和感兴趣的信息，通过获取这些信息丰
摄像头能够观察到人们最感兴趣的事情，而且摄像头的功能越来越强大，价格
当检测到移动目标后，监控系统将在视频序列中逐帧跟踪运动目标。跟踪算法
摄像头网络方向发展。现代多摄像头网络已经广泛应用到了多个领域，其中包括智
解决这类问题的有效方法
[13][14]
。当图像传感器产生大量的混合式数据时，图像传感
传感器设计，IC设计和通信技术的不断提高，将使得传统的视觉系统向着智能
推论，需要在摄像头之间进行多层或混合数据的交换，当前许多研究主题都涉及到
在信号处理领域，为了利用时间和空间上的数据冗余，对感兴趣的事件进行协同的
用的实例。多摄像头网络融合了多个学科领域，为计算机视觉、信号处理、嵌入式
实时的解释，到基于对周围环境长期观察而建立的适应用户行为的模型都是这些应
富的数据，摄像头网络能够实现基于视觉解释的应用。从在智能环境中对事件进行
记的演员，此外表演空间可能非常大，解析度要求也很高。现在的光学运动捕捉系
员的身体之间会发生相互遮挡的情况，只有少数的摄像头能够完全观测到某个被标
来重建他们的位置。为了得到一个好的重建效果，系统需要大量的摄像头，因为演
色标记的深色西服，摄像头能检测到这些被标记的演员，并通过匹配和三角量测法
一个大量摄像头相互协作的例子。在这个应用的典型实例中，演员穿着一套带有白
越来越便宜，因此基于摄像头的应用也越来越广泛。当前的光学运动捕捉系统就是
和基于模型的算法。应当指出的是这些分类并不是绝对，来自不同类别的算法能够
算法分为四类：基于区域的跟踪算法、基于主动轮廓的跟踪算法、基于特征的算法
学方法包括卡尔曼滤波器、聚缩算法、动态贝叶斯网络和测量法等。一般来说跟踪
利用特征，比如点、线、块，在连续的视频帧中匹配目标。跟踪算法中所使用的数
在处理的过程中，通常与运动目标检测算法存在很大的交集。按照时间线索的跟踪
情况下。但是，该方法的计算复杂度太高，而且对噪声非常敏感，因此，不能应用
4
机会。
事件进行协同的推导。
1.3.1 多摄像头网络中的分布式处理
集中式处理
群集处理
华中科技大学硕士学位论文
图1.1）。事实上，可扩展性和基于网络的高带宽数据的应用（比如视频）设计，要
到的数据转换成特征和属性，然后将这类数据发送给下一步的处理器，对感兴趣的
算模式所取代。在这种模式中，每个摄像头（网络节点）利用局部处理器将被观察
在新的分布式感知和处理趋势中，原始视频流传送到中央处理单元被一个普遍的计
传统的集中式（强大的控制单元从每个传感器中收集原始数据）转变为分布式（如
踪感兴趣事件的大规模应用成为可能。网络可扩展性强调将数据融合和解释机制从
识到摄像头网络规模迅速增长的潜能，从而使得能够在大范围区域观察、检测和跟
设计模式转移，以及为环境感知，解释和用户为中心的新方法和应用的创造提供了
摄像头网络能高效的完成任务。多摄像头网络为在分布式和协作式视觉信息融合中
互协作来完成一个视觉任务，这样就需要对嵌入式计算方法进行大量的研究，以便
器网络将会出现一个新的研究契机。多个摄像头往往需要结合成一个网络，通过相
求在消除通信瓶颈，解决界面挑战和防范系统弱点的处理方法学进行根本性的转变。
图1.1基于决策机制的多摄像头网络的分类：集中式处理，分布式的视觉感应和处理，
随着图像传感器、嵌入式处理器和网络基础设施成本的不断下降，人们不断意
以及群集处理
5
摄像头
分布式处理
的问题
[25]
。
足够了
[26]
。
1.3.2 多摄像头的标定和拓扑结构
要的特征，从而实现主动的视觉技术。
头网络的有效使用。
像头网络标定方法的计算机视觉和信号处理方面非常重要
[22]
。
华中科技大学硕士学位论文
并利用每个摄像头所获取的相似的轮廓和其他特征信息，来重建三维动态场景
[23]
。
由于多摄像头的视野之间存在观察盲区，在标定大规模的视野非重叠的摄像头
息，极线几何和射影变换等
[20][21]
。除此之外，特征的检测，匹配和估计算法对多摄
网络时，可能会导致缺乏足够的观察量， 通过将摄像头云台变焦运动的控制加入到
一个信标信号中，能够用来对摄像头网络进行标定，从而解决了标定时观测量不够
野中观测到的轮廓信息进行同步。一旦完成了摄像头网络的标定，使用各种技术，
例如，基于人类为观察目标的自动定标算法能够同时计算摄像头的位置，对多个视
的拓扑结构和目标在视野中的位置信息，可能对学习和描述网络几何使用替代方法
的位置信息对解释观察结构可能是不必要的。相反，对观测环境的一般描述，网络
次的解释结果能够用来作为摄像头的反馈，指导每个摄像头从它的视野中提取的重
应用要求，需要开发各种时空数据融合算法。除此之外，网络中的协同处理和高层
网络节点之间数据交换的频率和形式等。为了满足这些权衡因素和系统约束条件的
络中每个节点处理能力，以及网络的有效带宽和应用延时要求。为了平衡节点间的
所观察的场景中有效的推断发生的事件和活动。数据融合能够出现在跨多个视角、
挡。在上述两种情形中，摄像头的相对位置和方向的确定通常本质上会影响到摄像
而从不同视角来观察目标。对于广阔区域的监控系统，通常使用非重叠
[18]
或部分重
数据处理，需要权衡各种因素，比如通信花费和延时问题、共享特征的层次和类型、
叠
[19]
视野的摄像头来组成。视野相互重叠的多个摄像头通常用来消除目标之间的遮
多个时间特征层和决定阶段
[17]
。联合估计和决策技术需要被开发，同时要考虑到网
多摄像头网络的一个重要方面是定义指导传感器布署的程序。例如，了解最佳
摄像头的位置信息在某些应用中可能是至关重要的，可是在许多情形下，精确
多摄像头网络用来在广阔的区域解释目标移动的动态，或者为了取得3D的解释
视野重叠的摄像头网络标定要求多视几何的经典概念和工具，其中包括图像信
视觉内容（比如以人类为观察的目标）能够用来标定大规模的摄像头网络
[23]
。
大规模的多摄像头网络要求有效和可扩展的数据融合机制
[15][16]
，这种机制能在
6
[37][38]。
到异常事件[35][36]。
1.3.3 多摄像头的人物检测、跟踪、姿态和行为分析
三维的哈尔小波特征技术就能用来对目标姿态进行分类
[31][32]
。
形状的三维环境，并结合实际的摄像头模型和自我和相互遮挡模型。
华中科技大学硕士学位论文
人物和他们的行为检测是计算机视觉中的一个典型的任务，也是多摄像头网络
从而结合其他摄像头的知识来对这些分类器进行训练和改进[29][30]。一个视野相互
重叠摄像头的相关应用是在没有使用任何标记数据的情形下对人物的姿态进行估
的区域来说非常的重要。在进行摄像头布署时，通常会对整个过程中的执行时间进
摄像头的布署，对根据网络的目标，以一定的解析度完全或最大化的覆盖预先确定
计。当通过多个摄像头使用三维像素的雕刻来实现对目标的三维视觉外形重建后，
从而训练依靠场景的自适应的目标检测器。为了减少人的手动工作量，增加系统的
量的时间进行手动标记来获取。解决这个问题的一个方法是在线的学习特征选择，
率。但是，这些应用一般要求大量的被标记的训练数据，这些数据通常需要花费大
的研究领域。近年来，机器学习方法取得了较高的识别性能，同时保持低失误检测
及被观测人物的运动动力学[33][34]。多个摄像头之间移动人物的识别管理能够实现
在大规模的商业布署中，通常会出现视野重合和非重合相结合的摄像头，因此
由于当目标从一个摄像头视野移动到另外一个时，目标的外貌会出现变化，因
在多人物的跟踪情形中，对部分视角和目标遮挡的稳健处理一直都在研究中。
解决
[28]
。这种方法提供了视觉传感器网络提供一般的能见度模型，该网络支持任意
行全局最优化或者是运用启发式算法
[27]
。最优化问题也能通过二元整数规划算法来
稳定性，每个摄像头都有根据它的感测场景或视野的特定的分类器。通过联合训练，
为了标定摄像头网络和完成事件检测操作，需要对特征对应，目标跟踪和数据融合
能够用来定义一些测试假说。即使在没有校准数据的时候，这样的假说也可以产生
度转移函数位于一个低维子空间。此外，不同摄像头观测到的运动之间的几何约束
此跟踪必须依靠摄像头视野间目标特征的相似度度量。可以证实两个摄像头之间亮
事件的分析和模式识别。例如，通过对被观测者的轨迹进行长期观测后，可以检测
的制定，并结合在三维空间中单个目标的状态，也能使用多摄像头的观察模型，以
贝叶斯框架已经被用来进行决策的制定。目标的跟踪能够依赖联合多目标状态空间
野间的重叠在不同的时间出现在不同的视野中。为了解决这些应用中的决策问题，
多摄像头系统观测到的人物可能同时出现在不同的摄像头视野中，或根据摄像头视
7
标跟踪技术。
种新的目标确认方法。
1.5 研究内容及论文结构
本文的结构安排如下：
中间节点表示规则定义，根节点代表目标复合事件。
华中科技大学硕士学位论文
合等。这些问题都需要得到很好的解决，才能提高整个跟踪系统的性能。
一定的跟踪效果下，降低摄像头之间的通信量，以及每个摄像头的计算量。
第一章简要介绍视频跟踪技术、单摄像头的视频跟踪技术，多摄像头网络。
先进的系统允许用户在摄像头监控的区域定义事件的检测规则[39][40]。在大多数情
该模块在将这些报告的数据作为一个合成事件来解释时，会考虑到时空约束和逻辑
为了灵活地处理多类型的事件，不同的基元信息能够被融合在高层次决策模块中，
况下，需要监控众多的事件，摄像头时间的数据交换是必须的。在一些现实的监控
应用中，比如零售商店的监控和车距检测，除了摄像头之外还利用到了非视频信号。
问题。在一个实例中，二进树可以定义在推理模块中，其中在叶节点表示原始事件，
常关键的作用。本文提出了一种基于最优摄像头的多摄像头跟踪技术，能够在保证
跟踪效率，降低摄像头的计算负载度，以及减轻摄像头时间的传输负载，起到了非
共同完成一个跟踪任务是多摄像头跟踪系统中的另一个关键问题，它对提高系统的
形下，将同一个目标在不同的摄像头中有效的对应起来。多摄像头之间如何协作来
离的单应性确认方法。该算法能够在单应性矩阵不精确，前景目标提取不准确的情
标确认提出了很大的挑战。本文在大量研究的基础上，提出了一种基于目标之间距
个目标在不同摄像头的视野中，它的大小、颜色，姿态等都可能不一样，因此给目
的确认是后续对目标跟踪的基础，也是多摄像头跟踪技术中的一个难点。由于同一
的问题，如摄像头的标定、目标在摄像头之间的确定、摄像头之间数据的传递和融
多摄像头的视频跟踪除了需要解决单目摄像头跟踪存在的问题外，也会出现很多新
频跟踪应用不断增长的需求。因此，多摄像头的跟踪成为了视频跟踪的研究热点。
采用灵活的技术。摄像头网络一旦被标定，其覆盖的区域地图就能被创建。当前最
第四章对两种主流的跟踪算法进行了分析，提出一种基于最优摄像头的目标跟
第三章对现有的两种主要的目标确认技术进行了分析，并在此基础上提出了一
第二章介绍多摄像头视频跟踪的关键技术、其中包括背景建模、目标检测、目
本文主要对多摄像头跟踪中目标确认和协作方式进行研究。多摄像头之间目标
多摄像头跟踪能解决很多单目摄像头所无法解决的问题（比如遮挡），能适应视
8
踪算法，该算法能有效的降低系统的复杂度和数据的传输量。
第五章对全文内容进行了总结，并提出进一步的研究方向。
华中科技大学硕士学位论文
9
2.1.1 中值滤波
2.1 背景建模技术
关键技术进行阐述和分析。
B
(
x,y
)
，即：
华中科技大学硕士学位论文
用，其中典型的算法有中值滤波算法、混合高斯背景建模法和参数估计算法等。
对监控场景的背景进行重建，需要了解背景与前景的区别。背景和前景是一个
沿课题，其中包括计算机科学、图像处理、模式识别、IC设计、随即过程、信号处
计算复杂度最低的背景建模方法是直接采集一帧图像作为背景，这一帧不包含
视频跟踪是计算机视觉技术研究的一个重点课题，也是一个跨多学科的交叉前
行更新
[41][42]
。该方法是在时间轴上对多帧图像
I
(
x,y
)
进行滤波以得到背景模型
立一个适应背景不断变化的模型，中值滤波的方法被广大的学者用来对背景模型进
有得到更新，因此，这种方法虽然计算很简单，但是无法适应背景的变化。为了建
景。由于在整个跟踪过程中，监控环境可能会发生很大的改变，而背景模型始终没
运动目标，在以后运用背景相减来提取运动目标的操作中，这一帧图像都将作为背
于二维模型比三维模型的计算复杂度低得多，因此二维模型得到了更多的研究和应
为两类，一类是基于图像平面的二维模型，另一类是基于真实世界的三维模型。由
控的环境建立一个动态模型，为下一步的目标检测提供条件。现有背景模型一般分
趣，这时行人是前景，而包括汽车和道路等就成了背景。背景建模是对摄像头所监
这时汽车是前景，而路面以及周围的环境是背景；有时我们仅仅对路上的行人感兴
出现的难题，提出各种有效的解决技术。本章将重点对现有多摄像头视频跟踪中的
理、应用数学和统计学等。大量的学者在经过长期研究的基础上，针对视频跟踪中
B
t+1
(
x,y
)
=median
(
I
t
(
x,y
)
,...,I
t−l
(
x,y
)
)
2 多摄像头视频跟踪的关键技术
式2.1表示中值滤波背景建模算法，其中
B
t+1
(
x,y
)
表示背景模型，
I
t
(
x,y
)
表示
在t时刻摄像头所得到的视频帧。该方法能够适应监控环境的不断变化，但是由于在
相对的概念，以城市街道十字路口为例：有时我们对通过路口红绿灯的汽车感兴趣，
10
（2.1）
下：
也将大大增加。
2.1.2 混合高斯背景模型
背景：
K
i
=1
高斯分布概率密度函数
η
(
x,
μ
,
σ
)
来描述。
来进行不断的更新，从而适应监控场景的不断变化。
B
t+1
(
x,y
)
=
λ
I
t
(
x,y
)
+
(
1−
λ
)
B
t
(
x,y
)
线性预测法也是一个常用的方法，如Wiener滤波
[43]
和卡尔曼滤波。
设像素值概率密度
f
(
I
t
=u
)
由K高斯分布来建模：
华中科技大学硕士学位论文
2
⎧
1
⎪
(
x−
μ
)
⎫
⎪
η
(x,
μ
,
σ
)
=
exp
⎨
−
⎬
2
2
σ
2
πσ
⎪⎪
⎩⎭
混合高斯建模（Gaussian mixture model，简称GMM ）
[44][45]
是基于统计模型的
每个图像点采用多个高斯分布，一般采用K（K取3-5)个高斯分布来对背景像素的分
定图像中某点
X
的一系列观察值
[
x
1
,x
2
...x
n
]
服从高斯分布，则该点的概率分布可以用
式2.3表示高斯概率密度函数。当点
X
的象素值大于预先设定的阀值时，则将
由于具有不同表面特征分布的对象可能在同一个像素点位置重叠，因此需要对
布规律建立混合高斯模型，K值越大表示的背景复杂越高，适应性越强，但计算量
该点判为背景点，反之则为前景点。模型的参数需要根据摄像头检测到的场景图像
因此利用混合高斯的方法可以得到鲁棒性的背景模型。高斯建模的基本思想是指假
滤波时，对每一帧中是否存在运动目标不加以区分，因此背景中会出现部分的目标
f
(
I
t
=u
)
=
∑
w
i,t
•
η
(
u,
μ
i,t
,
σ
i,t
)
信息，从而导致虚假目标的出现。在中值滤波算法中，一般都采用式（2.2）来更新
建模方法，目前的研究和应用非常广泛。由于能够适应光照变化和复杂的动态背景，
w
i,t
表示权重。当接受到新的一帧后，需要对高斯分布的参数进行更新，更新公式如
λ
为背景模型的更新率，可以根据实际的情况来选择。在背景建模的算法中，
式中
η
(
u,
μ
i,t
,
σ
i,t
)
表示
t
时刻第
i
个高斯分布模型，
μ
i,t
表示均值，
σ
i,t
表示方差，
11
（2.4）
（2.2）
（2.3）
2.2.1 光流法
而参数的学习率近似为
ρ
=
a
勒级数展开得到：
2.2 目标检测技术
w
i,t
可以确定场景和运动物体之间的相对运动。
w
i,t
=
(
1−
α
)
w
i,t
−
1
+
α
μ
i,t
=
(
1−
ρ
)
μ
i,t
−
1
+
ρ
I
t
置，鲁棒性较高。下面介绍几种常用的检测方法。
σ
i
2
,t
=
(
1
−
ρ
)
σ
i
2
,t−1
+
ρ
(
I
t
−
μ
i,t
)
华中科技大学硕士学位论文
在新的高斯模型中，将
I
t
作为均值，方差取一个较大的值，权重取较小值。
在具体的操作中，可以将光流当作具有灰度值的像素点在图像平面上运动而产
运动目标检测的目的是从检测的每一帧中运动变化区域提取出来。运动目标检
1981
年，美国学者
Horn
和
Schunch
[47]
等人提出了光流场的基本概念和公式。光
v
(
x
,
y
)
表示光流在该点的水平和垂直位移分量，在
t+dt
时，该点移动到了
E
(
x,y,t
)
=E
(
x+dx,y+dy,t+dt
)
。若当前像素值
I
t
与任何一个高斯模型都不匹配，
流（
Optical Flow
）
[46]
就是指摄像头和目标之间的相对运动所产生的图像亮度模式运
动。在大多数情况下光流与运动场都是密切相关且对应的，因此利用对光流的分析
素进行处理，因此选择好的检测方法非常的重要。当期目标检测算法的发展目标是
测是实现目标跟踪的前提条件，在后期处理过程中，仅仅对检测出的运动区域的像
则将权重最小的高斯分量用一个新的高斯模型代替，并降低其他高斯分布的权重。
生的瞬时速度场。设
t
时刻位置在
(
x
,
y
)
处的图像点的亮度值为
E
(
x
,
y
,
t
)
。
u
(
x
,
y
)
和
能够抵御环境变化的影响（如树枝的抖动，光照的变化），不依赖于摄像头的安装位
(
x
+
dx,y
+
dy
)
处，则
x
和
y
方向上的速度分量为
dx
=
udt
，
dy=vdt
。
此刻假定在
t
+
dt
时刻
(
x
+
dx
,
y
+
dy
)
处的图像点的亮度值与在
t
时刻
(
x
,
y
)
处的图像点相同，即：
一般认为图像点的灰度值是其位置和时间连续的函数，则对
2.8
式的右边进行泰
α
为模型的学习效率，取值范围为
0≤
α
≤1
，具体的值由用户自己指定（如
0.03
），
12
2
（
2.7
）
（
2.6
）
（
2.5
）
（
2.8
）
令
E
x
=
验定义如下：
2.2.2 背景差分法
踪系统中都采用背景差分法。
中，光流法很难得到实际运用。
−
i
t
i
t
与假设检验相关的概率比定义如下：
E
x
u
+
E
y
v
+
E
t
=0
∂E∂E∂E
，
E
y
=
，
E
t
=
，则上式可以写为：
∂y∂x∂t
H
0
:
I
t
i
∈
B
t
i
（像素是背景）
∂
E∂Edx
∂
Edy
==∇
E
•
w
+
∂
t∂xdt
∂
ydt
华中科技大学硕士学位论文
H
1
:
I
∉
B
（像素不是背景）
背景差分法由于其计算复杂度低，运算量很小和速度快，因此具有较好的实时
都具有数据处理能力，但是计算能力还是十分有限，因此，在多摄像头的视频监控
太高，不能够对目标进行实时的检测。在多摄像头的跟踪系统中，虽然每个摄像头
立的运动目标进行检测，并且不需要场景的先验信息。光流法的缺点是计算复杂度
零假设
H
0
表示像素属于背景模型
B
t
，与之相对应的假设
H
1
表示像素不属于
B
t
，其
根据
E
x
，
E
y
，
E
t
求出
w
=
(
u
,
v
)
得到光流。光流场可以在摄像头运动的情况下，对独
果一般都不是很好，如在移动的目标内部存在很多的空洞。因此，一般在实际的跟
背景差分法。帧间差分法由于对运动目标非常的敏感，对提取出来的运动区域的效
分图像，即帧间差分法；将当前获得的视频帧与背景模型相减来得到差分图像，即
性和较高的使用价值。背景差分法一般分为两类：将相邻的连续两帧相减来得到差
的光流约束方程，表示灰度对时间的变化率等于灰度空间梯度与光流速度的点积。
⎛
∂
E
∂
E
⎞
w
=
(
u
,
v
)
,
∇
E
=
⎜
⎜
∂
x
,
∂
y
⎟
⎟
⎝⎠
是在
(
x
,
y
)
处的图像点的灰度梯度，上式就是基本式中
中
t
用来表示时间，因此
B
t
表示
t
时刻的背景模型，
I
t
表示
t
时刻的视频图像。假设检
在实际操作中，背景差分法一般对每个像素进行一次假设检验。在假设检验中，
Pr
(
I
t
i
B
t
i
)
>
H
0
<
H
τ
ii
1
1
−
Pr
(
I
t
B
t
)
13
（
2.11
）
（
2.12
）
（
2.10
）
（
2.9
）
[52][53][54][55]
式定义的概率比等价于：
2.3.1 Mean Shift算法
2.3 目标跟踪技术
。
i
t
M
h
(
x
)
≡
S
h
(
x
)
≡y:
(
y−x
)
i
t
i
t
{
i
0
T
>
H
0
η
′
I
−
B
<
H
1
>
H
0
τ
Pr
(
IB
)
<
H
1
=
η
1
+
τ
1
(
x
i
−x
)
∑
k
x
i
∈S
h
为
h
的高维度的球区域，且能够满足以下关系式：
视频图像与背景模型相减，就能够准确的得到移动的目标。
到局部密度极大点。在
x
点处的
Mean Shift
向量定义为：
对于使用在假设检验中的普通模型，检验概率比的形式为：
华中科技大学硕士学位论文
当从场景中检测到运动目标之后，跟踪系统一般会在图像序列中，逐帧的跟踪
i
我们可以从这个检验中直观的看到，对于一个静态目标的像素，误差项
I
t
i
−
B
0
将
们将详细介绍两种比较主要的跟踪方法：
Mean Shift
算法
[49][50][51]
和粒子滤波器算法
是非常小的，而对于一个移动的目标的像素，该项将比较大的。因此，当前得到的
度函数的估计，也就是偏移的均值向量。
Mean Shift
的基本思想是通过反复迭代搜索
学工具包括：
Kalman
滤波
[48]
、浓缩算法、动态贝叶斯网络、以及测量法等。本节我
1975
年
Fukunaga
等人提出
Mean Shift
这个概念，其最初的含义为概率密度梯
特征空间中样本点最密集的区域，且搜索点是沿着样本点密度增加的方向“漂移”
运动目标。跟踪通常利用点、线或者是块等特征，在连续帧中匹配目标。常用的数
其中，
I
t
i
和
B
t
i
分别表示第
i
个像素的图像和背景模型，
τ
定义了一个阈值。（
2.12
）
其中
x
i
为
d
维的采样点；
k
表示落入到区域
S
h
中的样本点个数；
S
h
是一个半径
例如，考虑一个简单的背景模型，其中
B
t
=
B
0
是一个没有目标的静态背景图像。
(
y−x
)
≤h
2
}
14
（
2.16
）
（
2.15
）
（
2.14
）
（
2.13
）
2.3.2 粒子滤波器算法
方向，即概率密度函数的梯度方向。
（
1
）
贝叶斯滤波原理
的样本点，因此，
M
h
(
x
)
的方向将会与概率密度梯度的方向一致
[50]
。
华中科技大学硕士学位论文
图2.1 Mean Shift示意图
面将介绍粒子滤波的基本原理和关键的两个技术：重要性采样和粒子退化问题。
贝叶斯滤波原理是利用现有的已知量来构造后验概率密度，然后用观测值来其
粒子滤波器属于贝叶斯滤波器，其思想是基于蒙特卡洛方法，利用粒子集来表
不同值时的概率密度函数
P
(
X
K
Z
1:K
)
进行递推，从的得到状态的最优估计。在利用
(
x
i
−x
)
表示点
x
i
相对于点
x
的偏移向量。
M
h
(
x
)
实际上表示对落入
S
h
区域中的
f
(
x
)
中采样来获取样本点
x
i
，而在概率论中已经证实，只要概率密度梯度不为零，
进行修正和更新，从而得到真正的后验概率密。利用观测数据
Z
1:K
来对计算状态
X
K
取
如图
2.1
所示，大圆表示区域
S
h
，在
S
h
内的样本点则由小圆圈来表示，基准
里面粒子滤波器表现出了非常高的优越性，从而使得它得到了非常广泛的应用。下
示概率，能够对非线性非高斯问题进行最优估计逼近。由于在非线性、非高斯系统
则其会指向概率密度增加最大的方向，所以在概率密度梯度的方向上将会落入更多
示。显然，
x
点处的
Mean Shift
向量
M
h
(
x
)
始终会指向落入区域
S
h
中样本点最多的
点
x
由黑色的实心点来表示，样本点
x
i
与基准点
x
之间的相对偏移向量由黑色箭头表
k
个样本点与
x
之间的偏移向量求和然后再平均。一般情形下，都是从概率密度函数
.
15
2.
更新
1.
预测
P
K
P
k
1:K
（
2
）重要性采样
1:k−1
K
k
1:K
N
s
系统还没有获取到
k
时刻的观测量。
i
=
1
k−1
k
K
后验概率
P
(
X
k
Z
1:k
)
的推导。由贝叶斯公式
P
b
Chapman-Kolmogorov
方程，得到状态的预测方程为
:
当，于是就可以得到对变量状态的最优贝叶斯估计。
率密度可以用下式来近似：一组带有权值的粒子
{
x
,
ω
(
x
z
)
=
∫
P
(
xx
)
P
(
x
z
)
d
x
程中获得。
P
(
Z
k
Z
1:k−1
)
称为证据，一般是个归一化常数。
(
XZ
)
=
P
(
XZ
)
P
(
XZ
)
P
(
XZ
)
华中科技大学硕士学位论文
贝叶斯滤波器来对变量状态进行估计时，可以预测和更新两个方面来进行：
立的状态转移模型，由先验概率
P
(
X
K
−
1
Z
1:K
−
1
)
推导出先验概率
P
(
X
K
Z
1:K
−
1
)
，此时
为了实现递推贝叶斯滤波器，粒子滤波使用了蒙特卡罗方法，而其中的关键技
其中
P
(
Z
k
X
k
)
称为似然性，表示系统状态由
X
k
−
1
转移到
X
k
后与观测值的相似
根据系统的观测模型，在得到
k
时刻的观测值
Z
k
后，进行先验概率
P
(
X
k
Z
1:k
−
1
)
至
在得到了系统变量最初的概率密度函数（
P
(
X
0
Z
0
)
=
P
(
X
0
)
）后，利用预先建
假定在
k−1
时已知
P
(
X
K
−
1
Z
1:K
−
1
)
的值，根据一阶马尔可夫过程和
度。
P
(
z
k
z
k−1
)
=
∫
P
(
z
k
x
k
)
P
(
x
k
z
1:k−1
)
d
x
称为先验概率，其在上一步系统状态转移过
假定马尔科夫过程贯穿于系统中所有递归的过程，则系统状态在
k
时刻的后验概
i
P
(
x
k
z
k
)
≈
∑
ω
k
i
δ
(
x
k
−x
k
)
后验概率密度函数等价起来。在每一步的递归过程中，由于粒子一般不能直接利用
可以表明，在粒子数趋近于无穷大时，就可以将系统状态的真实分布与系统状态的
无穷多的样本时，这些样本点的加权和就会与系统变量状态的后验概率密度函数相
本的加权和来表示变量状态的后验概率密度，这是该算法的核心思想。当系统获得
术就是重要性采样算法。为了获取系统变量的状态估计值，重要性采样算法利用样
ii
s
其中
x
k
表示系统的粒子，
ω
k
i
为赋值给粒子的权值，且
∑
i
N
ω
=
1
。通过式（
2.19
）
k
=
1
16
k−1
1:K
1:k−1
(
a
)
=P
(
a
b
)
P
(
b
)
P
(
a
)
有：
i
k
K
k−1
i
N
s
k
i
=1
}
1:K
加权近似为：
（
2.18
）
（
2.19
）
（
2.17
）
这样粒子的权值被定义为：
(
重的递推：
)
i
k
（
3
）粒子退化问题
ω
∝
ω
i
k−1
ω
k
i
∝
(
(
i
k
i
k
q
(
xz
k
)
i
p
(
x
k
z
k
)
)(
i
k−1
i
后验概率密度函数来获取，因此令
x
k
~q
(
x
k
z
k
)
，并且满足：
差会出现不断增大的情况，所以无法避免地会出现粒子的退化现象。
因此在小权值粒子上浪费了大量的计算。由于随着时间的不断增长，粒子权重的方
粒子的权重将随着迭代次数增加而变得非常小，只有少数几个粒子具有较大权值，
首先在
t−
1
时刻，得到系统变量的观测值后，在权值为
π
t
i
−
1
的粒子中，将较大的权值
最后进行系统状态转移过程，通过加入随机量预测每个粒子在
t
时刻的状态；第四步
赋给与实际情况比较相符的粒子，反之则被赋予较小的权值
[56]
；然后进行重采样过
数利用随机采样方法进行重采样，从而将权值较大的粒子数目进行增加，其过程是：
程，让粒子的后代数目与该粒子的权重值成正比，并将采样后的粒子权值设定为
1
[56]
；
的最终表示
[56]
。重采样的过程示意图如下：
qxx,z
k
q
(
x
k
z
k
)
=
q
(
x
k
x
k−
1
,z
k
)
q
(
x
k−
1
z
k−
1
)
iii
pz
k
x
k
px
k
x
k
−1
i
于是目标状态的后验估计就可以用
{
x
k
,
ω
k
i
}
N
s
来表示。
华中科技大学硕士学位论文
重采样法能够很好的解决粒子的退化问题，其本质是对系统状态的概率密度函
重要性采样算法有一个致命的缺陷，那就是会出现粒子的退化现象，即大部分
实际上，由于系统的状态服从马尔科夫过程，则可以利用下式来表达粒子的权
i
这样就可以通过利用前一时刻的已知采样
x
k
−
1
~q
(
x
k
−
1
z
k
−
1
)
和当前的先验状态
则为
t
时刻的系统观测过程，与第一步一致，并且通过若干粒子的加权得到目标状态
ii
x
k
~qx
k
x
k−
1,
z
k−
1
来获取
k
时刻的采样
x
k
~q
(
x
k
z
k
)
，其中
q
(
x
k
z
k
)
为重要密度函数。
17
)
)
（
2.22
）
i=1
（
2.21
）
（
2.20
）
2.4.1 目标确认技术
融合相结合的跟踪算法。
2.4 目标确认和融合跟踪问题描述
P
x
t
z
t−1
P
(
(
P
x
t−1
z
t−1
(
x
z
)
t
P
z
t
(
x
)
t
)
)
t
(
i
)
s
t
(
n
)
s
t
对整个系统跟踪的性能具有重要的影响。
(
n
)
s
t−1
,
π
t−1
华中科技大学硕士学位论文
图2.2粒子重采样过程
当前主要是利用多视几何的方法，来处理多摄像头之间目标的确认。平面单应
在多摄像头的跟踪系统中，多个摄像头可能会监控到同一个区域，摄像头视野
假定
p=
(
x
,
y
,1
)
表示三维场景中的一个点，在某个摄像头的图像平面中的位置，
性约束是多视几何中的一个关键技术，它能将两幅图像中位置相同的点对应起来。
目标确认通常是出现在目标检测之后，是后续目标跟踪的基础，目标确认的准确度
特有的问题。本节将主要介绍多摄像头跟踪中的两个重点问题：目标确认和与信息
统所无法比拟的优势，同时也会具有更高的复杂度，以及很多多摄像头跟踪系统所
同时也是多摄像头跟踪系统的基础。多摄像头的跟踪系统虽然具有单摄像头跟踪系
会出现相互的重合，因此，需要确认多个摄像头及检测到的目标是否为同一个目标。
p
′
=
(
x
′
,
y
′
,1
)
表示这个点在另外一个摄像头的图像平面中的位置；
H
表示这两个摄像
前面几节介绍的与目标跟踪相关的问题，是单摄像头跟踪系统主要的研究方面，
18
(
i
)
,
π
t
(
n
)
predict
measure
的同一个目标对应起来。
2.4.2 基于信息融合的目标跟踪
p
w
≠p
′
。
幅图像中，得到
p
点在第二幅图像中的对应点
p
w
：
华中科技大学硕士学位论文
p
w
=
(
x
w
,
y
w
,1
)
=Hp=H
(
x
,
y
,1
)
融合优先
[60][61]
和基于流形的跟踪算法
[62]
。在跟踪优先算法中，摄像头网络中的每个
线性嵌入方法将目标特征投影到一个流形上，从而进行多摄像头目标的跟踪。
在多摄像头的跟踪系统中，目标的跟踪算法主要基于跟踪和信息融合的形式，
该算
Saad M. Khan
[57]
提出一种利用平面单应性约束在多视野中跟踪目标的算法。
要开发一种更加有效的目标确认算法，能在实际的监控场景中，将多摄像头检测到
间确认同一个目标时，往往会出现偏差，有时甚至无法对目标进行确认。因此，需
来。但是，这些条件在实际的监控环境中很难得到满足，从而导致在多个摄像头之
以及满足平面单应性约束的条件下，该算法能准确的将多个摄像头中的目标对应起
融合优先的算法（如图
2.3
所示）主要应用在集中式的多摄像头网络中，网络中
平面的假设不适用时，就能够运用基于流形的跟踪算法。在这种算法中，通过局部
并应用跟踪算法来对目标进行跟踪。当摄像头标定信息无法获取，或者监控场景是
像头。在融合优先算法中，网络中的每个摄像头将检测到的目标特征（比如位置、
摄像头都要执行跟踪算法对目标进行跟踪，然后将跟踪得到的结果发送给其他的摄
要与其他摄像头进行数据传递，因此，在进行目标跟踪时，也不需要考虑摄像头之
不同的融合方式需要设计不同的跟踪算法。在单摄像头的跟踪系统中，摄像头不需
头视野之间的平面
Π
的单应性。利用平面单应性
H
将第一副图像中点
p
投影到第二
间的数据融合方式。现有的多摄像头跟踪算法主要可以分为三类，即跟踪优先
[58][59]
、
法的理论基础就是（
2.23
）式。在准确提取前景目标，得到精确的平面单应性矩阵
H
，
颜色和轮廓等），传送给中央处理器，然后，中央处理器对所接受到的信息进行融合，
较小，中央处理器一般都能够胜任。但是，当网络监控区域很大，包含的摄像头很
处理的计算量非常大。当摄像头网络的规模很小时，目标跟踪需要处理的数据量比
构简单，缺点是数据传输量大，整个系统的计算量集中在中央处理器上，导致中央
完成。该算法的优点是整个系统的计算量小，摄像头不需要执行跟踪算法，网络结
的每个摄像头只是起到了目标特征检测的作用，跟踪主要由网络中的中央处理器来
′
当
p
是处在平面
Π
上的三维点时，
p
w
=p
。如果
p
没有位于平面
Π
上，则
19
（
2.23
）
严重影响了目标跟踪的精确度。
视频图像
视频图像
视频图像
大，网络结构复杂。
前景检测
前景检测
前景检测
华中科技大学硕士学位论文
图2.3融合优先算法的通用框图
随着具有一定数据处理能力的智能摄像头的出现，从而使得在每个摄像头运行
行，相应的提出了分布式的跟踪算法。跟踪优先的算法（如图
2.4
所示）实际上是一
跟踪算法成为了现实。因此，多摄像头网络中的跟踪算法能分布到每个摄像头中进
算，因此会造成中央处理器的负载过大，容易导致数据包的丢失和延时现象，进而
多，比如机场、大型商场和社区等，完成多目标的跟踪需要进行大量数据传输和计
的分布式处理，数据传输量小，适应大规模的摄像头网络，缺点是整体的计算量很
果，从而极大的降低了整个系统的数据传输量。跟踪优先算法的优点是对目标跟踪
正跟踪误差，提高跟踪精度。在跟踪优先的算法中，摄像头之间只传递跟踪后的结
踪结果传递跟相邻的摄像头，以便每个摄像头能根据其他摄像头的跟踪结果，来纠
种分布式的算法，它要求网络中每个摄像头都能独立的对目标进行跟踪，然后将跟
20
融合跟踪跟踪结果
2.5 本章小结
视频图像
前景检测跟踪
跟踪前景检测
前景检测跟踪
视频图像
视频图像
整个系统的算法复杂度，数据计算量和传输量。
华中科技大学硕士学位论文
图2.4 跟踪优先算法的通用框图
标确认和基于融合的目标跟踪方法进行描述和分析，提出本文研究的重点。
发展有着极其深远的影响。最后，对多摄像头跟踪系统中特有的两个关键问题：目
分析。这些算法都是现阶段多摄像头视频跟踪中的经典算法和技术，对视频跟踪的
目标跟踪技术。对背景建模中的中值滤波法，混合高斯背景模型；目标检测中的光
本章主要介绍多摄像头视频跟踪的关键技术、其中包括背景建模、目标检测、
综上所示，融合优先算法和跟踪优先算法各自都有优缺点，融合优先算法的整
流法，背景差分法；目标跟踪中的
Mean Shift
算法，粒子滤波器算法，进行了介绍和
踪系统的计算量和数据传输量入手，提出一种在满足一定跟踪精度的前提下，降低
但是计算能够分不到整个网络中进行，而且数据传输量较小。本文将从多摄像头跟
体计算量小，但是计算太过于集中，数据传输量大，跟踪优先算法的整体计算量大，
21
融合跟踪
跟踪结果
3.1 单层单应性
view2
m
1
H
对应点，可以手动
[64]
或者自动
[63]
的计算单应性矩阵。
3 多摄像头中目标的确认和融合算法研究
华中科技大学硕士学位论文
标距离特征的新算法，并通过实验表明，该算法能有效的提高确认的精度。
单应性算法是通过寻找两个摄像头视野中的对应点，利用这些对应点来计算单
在多摄像头的视频监控中，检测到运动目标之后，需要对检测的运动目标进行
图3.1单应性转换
在点（比如脚的位置
[65][66]
或块的质心
[67]
）的投影中，只是利用一个二进制信号来表
示这个点（图
3.1
），因此，使得其对目标检测的错误非常敏感。在投影后的公共视
因此，单应性转换矩阵的计算是单应性约束算法的关键。通过确定两个视野之间的
应性转换矩阵，得到单应性转换矩阵后就能将同一个目标在几何位置上对应起来。
标确认和融合算法进行研究，并提出在基于平面单应性约束的目标确认中，引入目
免了使用目标自身的特征来作为确认目标的依据。本章重点对基于单应性约束的目
高。单应性约束是利用摄像头之间，摄像头和目标之间的几何位置来确定目标，避
标确认算法中，单应性约束是一种被广泛研究和应用的算法，其确认的精确度比较
视野中的差异对在不同的摄像头中确认同一个目标造成了困难。在摄像头之间的目
度和轨迹等在不同的摄像头视野中会出现差异，这些代表目标的一般特征在不同的
进行确认之后，才能对该目标进行协同跟踪。同一目标的基本特征比如，颜色、高
定位和确认，以确定哪些摄像头观察到了同一个目标。摄像头只有在对同一个目标
在不同摄像头中的不同特征，比如点或者块，能够被投影到一个公共的视野中。
22
X
π
m
view1
2
如下：
共视野的目标运动估计概率的乘积：
其中：
二进制掩码值：
其中：
Z
k
π
,c
π
,c
Z
k
π
,c
(
u,v
)
=
Z
k
(
u,v
)
=
π
,c
π
⎛
2
σ
⎜
⎜
⎝
{
0
(
u,v
)
=
{
Z
{
k
N
c=1
1
π
,c
0
c
c
H
c,
π
Z
k
(
x,y
)
π
,c
Z
k
(
u,v
)
=
∑
Z
k
(
u,v
)
华中科技大学硕士学位论文
k
个点在平面
π
中的坐标；
σ
2
表示方差，
z
k
(
x,y
)
表示摄像头
C
视野中第
k
个点，
x
,
y
Z
k
c
(
x,y
)
是在摄像头
C
中位置为
(
x
,
y
)
的二值前景掩码值，被投影到位置为
(
u
,
v
)
的单通道图像
Z
k
中。同样地，并非投影前景点的真正像素值
[70][71]
，而是投影它的
表示第
k
个点的坐标；
H
c
,
π
表示摄像头
C
的视野平面到
π
平面的单应性矩阵。
由于上述方法使用了一个二进制前景掩码，因此，在之前对图像平面进行二进
或者由于遮挡而出现差错。在拥挤的场景中，一个很好的解决方案是跟踪人物头部
能够应用在拥挤的场景中，因为摄像头可能不能够观测到人物的脚或质心的位置，
的位置。在这种情形下，投影点能够通过计算每个像素的方差来获取
[69]
，计算公式
计概率，而不经过任何的阈值操作。在这种情形下，能够计算每个摄像头投影到公
制掩码操作的时，可能会忽略低对比度或者小的目标。另外一种方法是投影运动估
野中，虽然能够通过一个高斯核函数来减少这些错误
[68]
，但是利用点的投影还是不
π
,c
Z
k
(
u
,
v
)
表示摄像头
C
视野中第
k
个点投影到平面
π
中后的点，
u
,
v
表示
C
中第
23
1
(
u,v
)
}
c
ifZ
k
(
x,y
)
=1
c
ifZ
k
(
x,y
)
=1
otherwise
otherwise
⎞
⎟
⎟
c=
{
1,...N
}
⎠
（
3.3
）
（
3.4
）
（
3.2
）
（
3.1
）
3.2 多层单应性
进行像素值的融合。
单应性矩阵。投影公式如下：
因此，就会增加了信号的强度。
图相平行的投影平面来获取
[73]
。
因此，极大的增加了计算复杂度。
让
H
c
j
π
j
其中
Z
k
π
,c
Z
k
π
π
j
π
(
u,v
)
=H
c
j
π
j
N
c
=1
π
,c
Z
k
(
u,v
)
=
∏
Z
k
(
u,v
)
理，归一化处理的依据是在这个区域内视野重叠的摄像头数量。
华中科技大学硕士学位论文
(
u,v
)
是被投影的概率值。这种方法的缺点是，虽然并不需要投影前
串联各平行平面的特征向量，将其合并到上述的单层单应性中来处理
[70]
。图
3.2
显示
野中的一个位置相同的点上，在
Z
k
(
u,v
)
上的每一个点
(
u
,
v
)
最后都会进行归一化处
头平面和这两个平面之间的一个平面。通过使用等式（
3.1
）来产生一个方差图，来
够通过融合来自三个单应性平面的像素来产生，这三个平面分别是目标的脚平面，
了从一个摄像头视野到在公共视野上的多层平面的位置信息投影实例。公共视野能
公共平面的信号强度依靠观察到同一区域的摄像头数目，因为投影到公共视野
在公共平面中每个位置的信号强度与投影到该位置的前景像素的数量成比列。
多层平面的投影可以分开进行处理，以获取有关目标的形状信息，也可以通过
为了增加投影中的区分信息信息量，现有的方法从多个平面来计算单应性，这
最终，通过单应性约束，来自不同摄像头中目标点或特征被投影到一个公共视
素也会投影到公共平面上，因此会在公共平面上产生一个目标的影子。当多个目标
中对目标的检测失误。但是，当一个目标投影到公共平面时，不属于这个平面的像
相同位置的点，来自多个摄像头。因此，多层的单应性约束可以弥补在某些摄像头
像素沿着垂直轴（比如脚、腿、躯干，颈部和头部）投影到公共视野的相同位置，
在多层的单应性中，来自不同摄像头视野中表示同一个目标（比如人）不同部分的
些平面都与地平面平行
[72]
。单应性能够通过垂直移动无影点，然后估计与平面俯视
景像素，但是在每个时刻
k
都需要将每个摄像头中的整幅概率图投影到公共视野上，
表示在摄像头
C
中的第
j
个平面的点
c
j
，投影到第
j
个公共视角平面的
24
Z
c
j
k
(
x,y
)
（
3.6
）
（
3.5
）
H
c
H
c
H
c
π
1ii
11
π
1
1N
π
N
3.3 基于目标距离的平面单应性确认算法
华中科技大学硕士学位论文
的影子相互叠加时，就会产生一个虚假的信号强度，即会产生一个虚假的目标。
图
3.2
从一个视野到多个平行平面的投影检测
。由于监控目标检测的精度，尤其是目标脚部位置检测的准确与否（如图
3.3
所示）
可能会出现某个目标在某个摄像头中没有被检测到或是只检测到一部分，某个摄像
环境时常会出现复杂的变化，因此摄像头很难得到一个清晰和准确的目标前景图，
到了单应性约束，但是在基于单应性约束的目标确认中，确认结果的好坏严重依靠
头检测到了一个虚假的目标，而且目标也可能出现相互遮挡的情况（如图
3.4
所示）。
的确认算法。通过实验的验证，该算法能很好提高多摄像头之间目标确认的精度。
在多摄像头的跟踪系统中，摄像头之间的目标确认，以及对目标的连续标定都用
来确定摄像头之间目标的相关性
[76][68]
，但是颜色信息在多摄像头的跟踪系统中是一
目标的阴影问题，多层单应性可能会产生虚假的目标。另一种方法是利用颜色分布
是上述的利用多层单应性来确定目标，但是这会大大加大系统的计算量，而且由于
这些仅仅利用单应性约束很难将目标在摄像头之间正确匹配起来。一种改进的算法
目标的颜色特征。为了解决上述三个问题，本文提出了一种基于目标相互之间距离
个非常不可靠的特征，因为目标外表的变化、阴影的存在和光照的变化都会影响到
25
Camera
π
π
1
N
π
i
标之间的确认精度。
（
a
）
（
b
）
华中科技大学硕士学位论文
正确的对应起来。由于存在平面视差，非脚部位置不能够正确的对应。
假目标
(3)
图
3.4
问题描述：（
a
）中的目标（
1
）被遮挡了，目标（
2
）没有被检测出来；（
b
）中检测到了虚
在多摄像头的跟踪系统中，目标与目标之间存在着一些有用的特征关系，比如目
图
3.3
两个摄像头观察到同一个目标，通过单应性约束，目标脚部位置可以在两个摄像头中
，而且在不同的的距离在脚部位置和在中间位置或者头部位置是相同的（如图
3.5
）
在利用平面单应性对目标进行确定中，加入目标之间的距离特征，能很好的提高目
际的情形中一般都得不到绝对的保证，所以一定的误差总会出现在目标的确认中。
一个必须满足的条件是所有摄像头监控的场景必须是平面，但是这个约束条件在实
摄像头中，这些特征也是非常稳定。利用平面单应性确定多摄像头之间的目标时，
了有效的参考信息，因为这些特征关系不受平面单应性约束的影响，比如目标之间
标之间的距离、夹角和相对速度等，这些特征关系对多摄像头之间目标的确认提供
26
矩阵
H
AB
。
间的距离。
体的确认算法如下：
A
d
3
华中科技大学硕士学位论文
即
d
1
=d
2
=d
3
,A
和
B
之间的距离可以用其中任何一个距离来表示。
B
置（
p
i
A
(
x
,
y
)
，
p
i
B
(
x
,
y
)
），并计算目标之间的距离
d
ij
A
和
d
ij
，计算方法如下：
图
3.5
目标之间的距离：目标
A
和目标
B
之间脚部，中部和头部之间的距离都是相等的，
算它在
C
B
中的位置
p
i
AB
(
x
,
y
)
。如果
C
A
和
C
B
监控区域满足平面单应性约束条件，而
通过匹配
C
A
和
C
B
视野之间的特征点（注意：特征点必须位于地平面上）来获取。然
C
B
中的位置
p
i
AB
(
x
,
y
)
能准确的对应一个
C
B
中的目标
T
j
B
，即
p
i
AB
(
x
,
y
)
=
p
B
j
(
x
,
y
)
后
C
A
将检测得到的目标
T
i
A
（
i=
1,2,K,
N
）位置
p
i
A
(
x
,
y
)
，通过单应性矩阵
H
AB
来计
C
B
中的目标准确的对应起来，首先需要计算
C
A
到
C
B
之间的单应性矩阵
H
AB
，
H
AB
是
步骤
1
：寻找和匹配摄像头
C
A
和
C
B
监控区域的特征点，计算
C
A
到
C
B
的单应性
本文提出了一种改进的方法，在利用平面单应性来确定目标中，引入目标之间的距
步骤
2
：获取目标的前景图，对每个目标分配一个标识号，并提取目标的脚部位
摄像头
C
A
和摄像头
C
B
同时检测到
N
个共同的目标，为了将
C
A
中的
N
个目标与
AAA
d
ij
A
=
min(
d
ijl
,
d
ijm
,
d
ijh
)
离特征。在将摄像头
C
A
中的目标通过单应性投影到
C
B
中，然后将投影后的
N
个目标
之间的距离与
C
B
中
N
个目标之间的距离进行匹配，从而对这
N
个目标进行确认。具
（
p
B
。但是，由于不能准确的满足平面单应性的
j
(
x
,
y
)
表示
C
B
中第
j
个目标的位置）
且视野间的特征点匹配准确，从的得到一个精确的单应性矩阵
H
AB
，因此
T
i
A
投影到
约束条件，以及特征点匹配可能存在误差，因此不能够完全保证
p
i
AB
(
x
,
y
)
=
p
B
j
(
x
,
y
)
。
AAA
其中
d
ijl
，
d
ijm
和
d
ijh
分别表示摄像头
C
A
中目标
T
i
A
和
T
j
A
之间脚部，中部和腿部之
27
d
1
d
2
B
（
3.7
）
位置
p
i
AB
(
x
,
y
)
。
确认。确认方法如下：
3.4 实验结果与分析
（
2
）
（
1
）
步骤
4
：计算
C
A
中目标投影到
C
B
中后，目标相互之间的距离
d
ij
AB
。
华中科技大学硕士学位论文
每个位置对应的值之差的绝对小于某个阈值
θ
，即
则将
C
A
中的目标
T
i
A
与
C
B
中的目标
T
j
B
确认为同一个目标。
目标
T
i
AB
与从
C
A
投影到
C
B
中的其他目标之间的距离
d
ij
AB
（
j
=
1,2,K,
N
B
且
j
≠
i
），以及
C
B
中的这个
M
个目标分别与其他目标之间的距离
d
tk
s
iq
−
s
lq
≤
θ
（
q
=
1,2,K,
N
−
1
）
个与
Sd
i
AB
第二接近的目标，并检验该目标是否满足（
3.8
）式，若满足则确定
T
i
A
与该目标为同一个目标，若不满足则选择与
Sd
i
AB
第三接近的目标，依此类推。
在实际的跟踪过程中，监控场景往往并不是全部都是平面，由于监控环境的动态
检测本文提到的算法。为了算法进行定量的评估，本实验依次对
PETS 2009
测试视
之间的目标确认也就会出现一定的偏差。本实验利用
PETS 2009
测试视频序列库来
步骤
5
：将
T
i
AB
（
C
A
中的
T
i
A
投影到
C
B
中后得到的目标）与
C
B
中对应的目标进行
征点完全匹配，因此，计算得到的摄像头之间的单应性矩阵不是足够精确，摄像头
变化导致目标前景提取会出现误差，而且也不能确保两个摄像头视野中寻找到的特
其中
s
iq
，
s
lq
分别表示集合
S
i
和
S
l
中的第
q
个目标。则将
C
A
中的目标
T
i
A
与
C
B
中
步骤
3
：利用平面单应性将
C
A
中检测到的目标
T
i
A
投影到
C
B
中，得到在
C
B
中的
从这
M
个目标中选择与
Sd
i
AB
值最接近的目标
T
l
B
，如果集合
S
i
与
S
l
中
（
k
=
1,2,K,
N
且
k≠t
）进行从小到大的排序，得到集合
S
i
和
S
t
（
t
表
如果
T
i
AB
的位置与
C
A
中的某个目标
T
j
B
重合，即
p
i
AB
(
x
,
y
)
=
p
B
j
(
x
,
y
)
，
的目标
T
l
B
确认为同一个目标。如果集合
S
i
和
S
l
不能满足（
3.8
）式，则选择下一
心，
r
为半径的区域内
C
B
中的所有目标（假定目标的个数为
M
）；对
如果
C
B
中没有一个目标的位置与
T
i
AB
的位置重合，则确定以
T
i
AB
为中
B
示
M
个目标中的其中一个目标）；分别计算
d
ij
AB
与
d
tk
的和
Sd
i
AB
，
Sd
t
B
；
28
（
3.8
）
可见的目标进行了手动的标识。
（
a
）
（
b
）
（
c
）
（
d
）
华中科技大学硕士学位论文
图
3.6
实验确认图
图
3.6
显示了本文算法与
Saad M. Khan
[57]
提出的平面单应性算法的确认结果对比
M. Khan
的算法不能将
view002
中第
1
个目标和
view001
中第
7
个目标对应起来。本
中则没有将它们确认为同一个目标。
Saad M. Khan
的算法只是利用了平面单应性约
频序列库中两个视角（
S0 RF 14-03: view001, view002
）的
400
帧同步序列中的所有
束来进行目标之间的确认，而
view001
中的第
7
个目标只检测到了上半部分。由于
中可以看到
view002
中的第
1
个目标与
view001
中的第
7
个目标对应了起来，而（
d
）
文由于在平面单应性约束中加入了目标之间的距离特征，而目标的距离特征并不受
图，其中（
a
）和（
b
）分别表示
view001
和
view002
的第
67
帧的目标检测结果图，
平面单应性约束的一个必要条件是必须以目标在平面的脚步位置为依据，所以，
Saad
（
c
）和（
d
）分别表示利用本文算法和
Saad M. Khan
的算法得到的结果图。从图（
c
）
29
3.5 本章小结
法具有较高的确认精度。
中第
7
个目标对应起来。
华中科技大学硕士学位论文
平面单应性约束的条件影响，所以本文的算法能将
view002
中第
1
个目标和
view001
本章首先对多摄像头系统中，摄像头之间的目标确认算法进行了介绍和分析，在
时中，加入目标距离特征后，对确认的准确度有很大的提高。实验结果表明，该算
的摄像头中，具有较强的稳健性，因此，在利用平面单应性确认摄像头之间的目标
了目标之间距离特征。由于目标距离不受平面单应性约束条件的影响，而且在不同
此基础上提出了一种新的目标确认算法。该算法在基于平面单应性的基础上，引入
30
踪。
4.1 最优摄像头的选择
那么如何进行最优摄像头选择，就成为我们关注的重要问题。
华中科技大学硕士学位论文
4 基于最优摄像头的目标跟踪
精确度一定的情况下，降低每个摄像头计算的复杂度和摄像头之间的通信量。
合式摄像头网络；按照摄像头视野的覆盖方式，可以分成部分重叠、非重叠网络。
在摄像头网络中，多个摄像头可能同时监控到同一个目标，跟踪优先算法将观
为了解决跟踪优先算法在分布式网络中的计算量大，数据交流频繁的情况，本
在多摄像头网络中，目标的跟踪算法主要基于跟踪和信息融合的形式。现有的
多摄像头跟踪的目的是在多个摄像头视野中，对相同的目标建立时空的对应关
越多时，摄像头之间的数据传输量和目标跟踪的计算量也就越大。我们假定当目标
T
为目标
T
选择一个最优的摄像头，需要考虑如下三个方面：（
1
）通过上一章所
目标跟踪的精确度和对遮挡的鲁棒性。因此，在实际应用中只要两到三个摄像头就
摄像头之后，再找到几个辅助摄像头来协同最优摄像头来对目标进行观察，以提高
被多个摄像头监控到时，总会找到一个对目标监控的最优摄像头。当找到这个最优
意味着观察的摄像头越多，对目标的跟踪精确度越高。当监控到同一目标的摄像头
信息，监控到同一目标的摄像头较多时，对目标跟踪的精确度会比较高，但是并不
察到同一个目标的所有摄像头划为一个集合，集合中的摄像头相互传递目标的跟踪
文提出了一种基于最优摄像头选择的多摄像头跟踪算法，该算法在保证对目标跟踪
通过局部线性嵌入方法将目标特征投影到一个流形上，从而进行多摄像头目标的跟
控场景是平面的假设不适用时，就能够运用基于流形的跟踪算法。在这种算法中，
优先算法计算量小，对数据传输负载要求高。当摄像头标定信息无法获取，或者监
的跟踪算法。跟踪优先算法计算量大，复杂度高，对数据传输负载要求低，而融合
多摄像头网络跟踪算法可以划分成三个主要的类，跟踪优先、融合优先和基于流形
以分成集中式、分布式和混合式；按照摄像头类型，可以分成被动式、主动式和混
信策略、网络的拓扑结构、以及摄像头的布局等。多摄像头网络按照管理策略，可
系，并且进行持续的跟踪。多摄像头的跟踪问题主要涉及到摄像头之间的管理和通
能对目标进行准确的跟踪，以减少了摄像头之间信息的通信量和整个网络的计算量。
研究的目标确认方法，确定监控到目标
T
的所有摄像头，将这些摄像头划为一个集
31
4.1.2 摄像头的监控状态
4.1.1 摄像头的计算状态
数
β
2
的函数，即
F
Ck
(
β
1
,
β
2
)
。
阈值
θ
1
和
θ
2
可以根据具体的跟踪情况来确定。
处于空闲或者计算适中的状态，对目标
T
的监控值处于某个阈值以上。
华中科技大学硕士学位论文
F
Ck
(
β
1
,
β
2
)
=
exp
(
−
λβ
1
−
γβ
2
)
以根据具体的情况进行设置。为了确定摄像头
C
当前处于哪种计算状态，本文对
F
Ck
设定了两个阈值
θ
1
和
θ
2
，其中当
F
Ck
大于
θ
1
时，摄像头
C
处于空闲状态；当
F
Ck
大于
θ
2
本文将摄像头所处的计算状态分为空闲、适中和繁忙等三种状态。对摄像头负
of vision
：
FOV
）中的有利位置，对是否选择摄像头
C
作为目标
T
的最优摄像头具有
摄像头被选为最优摄像头来监控目标的个数
β
1
和被选为辅助摄像头来监控目标的个
在范围内目标的密度，这些因素共同决定摄像头对目标监控的优劣程度。当目标
T
正
合。（
2
）确定集合摄像头现在所处的计算状态，即摄像头是处于空闲、繁忙或者计
状态找到一个平衡。在目标
T
的摄像头监控集合中选择最优摄像头原则为：摄像头
其中
λ
和
γ
表示最优摄像头和辅助摄像头对摄像头计算状态影响的权重，其值可
像头监控场景中的位置、目标在摄像头占有的像素多少、目标是否被遮挡、目标所
决定的作用。通常影响摄像头对目标监控的因素有很多，其中主要的包括目标在摄
因此摄像头作为某个目标的最优摄像头，比作为辅助摄像头的计算量要大，在确定
摄像头的跟踪数据，而辅助摄像头只需要给最优摄像头提供它对目标的跟踪信息，
最优摄像头或者辅助摄像头的身份，来对目标进行跟踪。最优摄像头需要融合辅助
头有任务意味着摄像头正在进行目标检测和目标监控，而对目标的监控又分为是以
载状态的计算，我们以摄像头监控到的目标和摄像头现有任务的多少来度量。摄像
的监控状态越好。在选择最优摄像头时，要在好摄像头的计算状态和对目标的监控
摄像头的负载状态时，分配的权重也要大些。摄像头
C
在
k
时刻的计算状态
F
Ck
作为
算适中的状态。（
3
）计算集合中每个摄像头对目标
T
监控值，监控值越大则对目标
和小于
θ
1
时，摄像头
C
处于计算适中状态；当
F
Ck
小于
θ
2
时，摄像头
C
处于繁忙状态。
摄像头
C
能否对目标
T
进行有效的监控，即目标
T
是否处在摄像头
C
视野（
field
32
（
4.1
）
况进行设定。
4.1.3 最优摄像头选择
H
TCk
发送给
c
Tm
。
的最优摄像头，选择原则如下：
华中科技大学硕士学位论文
摄像头
C
在
k
时刻对目标
T
的监控优劣程度利用一个函数
H
TCk
[
d
,
s
,
η
,
ω
]
来度量，
⎡
d
2
s
2
ω
2
⎤
−
2
−
2
−
2
⎥
H
TCk
[
d
,
s
,
η
,
ω
]
=
exp
⎢
⎣
σ
d
σ
s
σ
ω
⎦
在确定了各个摄像头的计算状态和监控状态后，最优摄像头的选择算法如下：
量
σ
d
，
σ
s
，
σ
ω
分别表示影响最优摄像头选择因素的权重，其值可以根据具体的情
有利位置。在摄像头
C
的监控区域中，如果目标
T
周围的目标密度比较大，那么
T
在
不能将摄像头
C
作为目标
T
的最优摄像头的候选，如果目标
T
正要进入摄像头
C
的视
控到目标
T
，若目标
T
只占很少的像素，则摄像头
C
一般不是处在对目标
T
监控的最
积与视频图像面积之差，
ω
表示以目标
T
为中心，
γ
为半径的范围内目标的数量。变
其中
d
表示目标的位置与摄像头视野中心点之间的距离，
s
表示目标的矩形框面
野，那么就可以将摄像头
C
作为目标
T
的最优摄像头的候选。本文假设当目标将要
处在摄像头
C
的监控区域的边缘时，如果目标
T
正要离开摄像头
C
的视野，那么就
标
T
在摄像头
C
所拍摄到的图像中占据了很多像素，则摄像头
C
一般都能很好的监
移动中被其他目标遮挡的概率大，所以摄像头
C
跟丢
T
的概率也很大。因此，目标
是否处在一个密度较大的区域，也是选择目标最优摄像头的一个关键因素。本文将
素之一，所以，即使存在这样的目标，对整个监控系统的影响也是非常微小的。目
于本文只是将目标处在摄像头监控区域的位置，作为选择目标的最佳摄像头一个因
目标都会往一个方向移动，而在一个摄像头的监控区域的边缘徘徊的目标很少。由
的监控区域中。在大多数监控场景中，如车站、飞机场和学校的出入口，绝大多数
从摄像头的视野中离开，运动到摄像头监控区域的边缘时，目标不会返回到摄像头
大到小排序，排序后的集合分别
G
F
和
G
H
，然后再从
G
F
和
G
H
中选择目标
T
步骤
3
：
c
Tm
对
G
(
c
T
1
,
c
T
2
,......,
c
Tn
)
中所有摄像头，分别根据
F
Ck
和
H
TCk
的值从
步骤
2
：在
G
(
c
T
1
,
c
T
2
,......,
c
Tn
)
中选择一个计算量较小的摄像头
c
Tm
（计算状态
处于空闲或适中），然后其它摄像头将自己的
F
Ck
和对目标
T
的监控状态
步骤
1
：将监控到目标
T
的所有摄像头划分为一个集合
G
(
c
T
1
,
c
T
2
,......,
c
Tn
)
。
33
（
4.2
）
4.2 辅助摄像头的选择
并不会减低对目标监控的精度。
标
T
的最优摄像头。
（
2
） 辅助摄像头的选择原则
能够极大的增强系统对目标的监控的鲁棒性。
（
1
） 辅助摄像头和最优摄像头的合作机制
华中科技大学硕士学位论文
像头，如果计算状态为繁忙，则对
G
H
中的下一个摄像头进行判断。
（即本文中最优摄像头）的计算量都小于一般融合优先的多摄像头监控系统，但是
助摄像头的数量有限，所以本文提出的方法在摄像头之间数据传输量和中心摄像头
摄像头和辅助摄像头的合作方式，实际上属于多摄像头中融合优先的算法。由于辅
后在匹配上一时刻预则的目标状态，最后再预测目标下一时刻的状态。因此，最优
的发送的数据后，将这些目标状态数据与自身检测到的目标状态数据进行融合，然
测出目标的状态，并将这些状态发送给最优摄像头，最优摄像头接受到辅助摄像头
在本文的跟踪系统中，辅助摄像头并不需要完成一个完整的跟踪过程，它只需要检
态、匹配上一时刻预测的目标状态和当前的目标状态、预则下一时刻的目标状态。
此，在确定了目标的最优摄像头之后，需要在目标的监控摄像头集合中选择其他的
果在目标运动出现比较严重的遮挡情况，目标的最优摄像头也很可能会跟丢它。因
最优监控的摄像头，但是只有一个摄像头并不能保证长时间的监控到目标，而且如
这些问题，尤其能很好的解决目标的遮挡问题。本文虽然为每个目标都选择了一个
易受到监控环境的变化和目标遮挡的影响，而多摄像头的监控系统则能很好的解决
摄像头作为最优摄像头的辅助摄像头。通过辅助摄像头配合最优摄像头来监控目标，
辅助摄像头主要是用来配合最优摄像头来对目标进行监控，所以在选择最优摄
最优摄像头对目标的跟踪一般包括一个完整的过程，即检测当前时刻的目标状
在视频监控系统中，摄像头越多对目标就会监控的越好。单摄像头的监控很容
发布评论