2024年6月14日发(作者：)
维普资讯
第２４卷第３期
文章编号：１００６—９３４８（２００７）０３—０２０７—０３
计算机仿真 ２００７年３月
约束的Ｂ—Ｓｎａｋｅ模型的非线性粒子滤波算法研究
许廷发 ，姚剑敏 ，韦岗
（１．华南理工大学电子与信息学院，广东广州５１０６４０；２．北京理工大学光电工程系，北京１０００８１）
摘要：针对人脸轮廓跟踪，提出一种约束的Ｂ—Ｓｎａｋｅ模型的非线性粒子滤波新算法。该算法引入轮廓的主动模型，采用Ｂ
—
Ｓｎａｋｅ表示人脸轮廓，通过建立人脸轮廓变形的形状空间，对人脸轮廓的可变形范围进行约束。同时，利用非线性滤波方
法在人脸轮廓的变形区域内进行搜索，求解人脸轮廓参数，进行人脸轮廓跟踪。运用人脸的运动模型进行了跟踪仿真实验，
仿真结果表明，该方法有效地解决了复杂背景下人脸自由运动、光照变化及部分遮挡的问题，具有较高的鲁棒性。
关键词：人脸跟踪；非线性粒子滤波；轮廓跟踪
中图分类号：ＴＰ３１７，４ 文献标识码：Ｂ
Ａｎ Ａｌｇｏｒｉｔｈｍ ｏｆ Ｎｏｎ——Ｌｉｎｅａｒ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ ｗｉｔｈ Ｒｅｓｔｒｉｃｔｅｄ Ｂ——Ｓｎａｋｅ Ｍｏｄｅｌ
ＸＵ Ｔｉｎｇ—ｆａ ，ＹＡＯ Ｊｉａｎ—ｍｉｎ ，ＷＥＩ Ｇａｎｇ
（１．Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ．Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，
Ｇｕａｎｇｚｈｏｕ Ｇｕａｎｇｄｏｎｇ ５ １０６４０，Ｃｈｉｎａ；
２．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｏｐｔｏｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ １０００８１，Ｃｈｉｎａ）
ＡＢＳＴＲＡＣＴ：Ａｉｍｉｎｇ ａｔ ｆａｃｅ ｃｏｎｔｏｕｒ ｔｒａｃｋｉｎｇ，ａｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｎｏｎ—ｌｉｎｅａｒ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ ｗｉｔｈ ｒｅｓｔｒｉｃｔｅｄ Ｂ—Ｓｎａｋｅ
ｍｏｄｅｌ ｗａｓ ｐｒｅｓｅｎｔｅｄ．Ｔｈｅ ｍｅｔｈｏｄ ｉｎｔｒｏｄｕｃｅｄ ｔｈｅ ｃｏｎｔｏｕｒ ｉｎｉｔｉａｔｉｖｅ ｍｏｄｅｌ，ａｎｄ ｍａｄｅ Ｂ—Ｓｎａｋｅ ｔｏ ｅｘｐｒｅｓｓ ｆａｃｅ ｃｏｎ・
ｔｏｕｒ，ｔｈｅ ｄｅｆｏｒｍａｂｌｅ ｒａｎｇｅ ｏｆ ｆａｃｅ ｃｏｎｔｏｕｒ ｗａｓ ｒｅｓｔｒｉｃｔｅｄ ｂｙ ｂｕｉｌｄｉｎｇ ｔｈｅ ｆｏｒｍ ｓｐａｃｅ ｏｆ ｆａｃｅ ｃｏｎｔｏｕｒ．Ｉｎ ｔｒａｃｋｉｎｇ，ｔｈｅ
ｒｅａ ｏｆ ｆａｃｅ ｃｏｎｔｏｕｒ ｄｉａｓｔｏｒｔｉｏｎ ｗｅｒｅ ｓｅａｒｃｈｅｄ ｂｙ ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ，ａｎｄ ｔｈｅ ｆａｃｅ ｃｏｎｔｏｕｒ ｐａｒａｍｅｔｅｒｓ ｗｅｒｅ
ｓｏｌｖｅｄ．Ｓｉｍｕｌａｔｏｒ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗｅｄ ｔｈｅ ａｌｇｏｒｉｔｈｍ’Ｓ ｒｏｂｕｓｔｎｅｓｓ ｔｏ ｔｈｅ ａｇｉｌｅ ｍｏｔｉｏｎ ｏｆ ｆａｃｅ，ｔｈｅ ｃｈａｎｇｅ ｏｆ ｉｌ・
ｌｕｍｉｎａｔｉｏｎ ａｎｄ ｐａｒｔｉｌ ｏｃｃｌｕｓｉａｏｎ ｉｎ ｔｈｅ ｐｒｅｓｅｎｃｅ ｏｆ ｃｏｍｐｌｅｘ ｂａｃｋｇｒｏｕｎｄ．
ＫＥＹＷＯＲＤＳ：Ｆａｃｅ ｔｒａｃｋｉｎｇ；Ｎｏｎ—ｌｉｎｅａｒ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ；Ｃｏｎｔｏｕｒ ｔｒａｃｋｉｎｇ
１ 引言
目标轮廓，也可以认为是目标的形状，是对目标范围的
用的运动模型来描述人脸的自由运动。以上方法普遍存在
跟踪速度慢或者难以处理人脸自由运动、各种位姿的问题。
本文针对人脸轮廓跟踪，提出一种约束的Ｂ—Ｓｎａｋｅ模
二值图像表示，是最基本的有感觉意义的特征之一。与颜
色、角点、纹理等特征一样，轮廓特征也属于目标的底层特
征，能给人以比较直观的印象，但不需要太复杂的语义描述。
轮廓信息具有较鲁棒的不变性，对光照变化不敏感，而且目
标在运动过程中，通常能保持一定的形状，比如人脸部的运
动。人脸跟踪的方法可分为４类：基于目标跟踪的方法…，
型的非线性粒子滤波新算法。有效地解决了复杂背景下人
脸自由运动、光照变化及部分遮挡的问题，具有较高的鲁棒
性。系统跟踪速度达到实时，并能给出精确的人脸轮廓。
２约束的Ｂ—Ｓｎａｋｅ人脸轮廓的表示模型
２．１ Ｂ—Ｓｎａｋｅ模型
基于模板的方法 ，基于统计的方法 和基于肤色的方
法 ’ 。基于目标跟踪的方法完全依赖于好的运动目标跟踪
算法，从运动目标中找出人脸，没有充分利用人脸的特征。
基于模板的方法或者对人脸位姿有很大的限制，计算量太
大；基于统计的方法要求选取尽可能多的样本，训练和检测
Ｍｅｎｅｔ 等人提出用Ｂ样条来表示轮廓，称为Ｂ—Ｓｎａｋｅ。
Ｂ样条方法是形状数学描述的基本方法之一，具有表示与设
计自由型曲线曲面的强大功能，其基本思想是选定若干控制
点，通过Ｂ样条函数来拟合出一条曲线（或一个曲面）。Ｂ样
时问很长。基于肤色的方法存在着运动预测算法的不足，常
用的卡尔曼滤波器、粒子滤波器计算量太大而且难以确定通
条曲线的数学表达式为：
ｎ
ｐ（ｆ）＝∑ＰｋＢ （ｆ） （１）
其中，Ｐ （ｋ：０，１，…，Ⅳ）为ｎ＋１个控制点，又称ｄｅＢｏｏｒ
收稿日期：２００５一ｌ２一ｌ３修回日期：２００６—０２—０９
点。由控制点顺序连成的折线称为 样条控制多边形，简称
．．．．——
２０７．．．．——
维普资讯
控制多边形。ｍ是２到控制点个数ｎ＋１之间的任一整数（ｍ
＝１时，由如下
．
２．２约束的Ｂ—Ｓｎａｋｅ模型
（ｔ）的定义，“曲线”正好是控制点本身）。 针对以上讨论存在的问题，引入一个较强约束性的形状
空间，使其即具有仅需少数控制点的低维表示形式，又能保
持一定的形状。
定义：一条表示轮廓的参数曲线
ｒ（ｓ，ｔ）＝（Ｂ（ｓ）Ｑ （ｓ，ｔ），Ｂ（ｓ）Ｑ （ｓ，ｔ）） （４）
参数ｔ的选取取决于日样条节点矢量的选取。
（ｔ）是日样
条基函数，由Ｃｏｘ—ｄｅＢｏｏｒ递归公式可定义为：
） ＜ｔｋ＋ｌ （２）
日
，
（￡）＝ 日
． 一
。
（￡） 日 ＋。
， 一
。
（￡）
（３）
其中，Ｑ （ｔ）＝（Ｘ ，Ｘｚ…Ｘ ），Ｑ （ｔ）＝（ｙｌ，ｙ２… ），０
≤ｓ≤Ｎ。Ｘ和ｙ是控制点的坐标矢量，Ⅳｃ表示控制点个数，Ⅳ
表示曲线分段数目。
８（ｓ）＝（Ｂ （ｓ），日 （ｓ）…Ｂ （ｓ））表示日样条矢量。则形
状空间矢量５可以定义为：
其中，ｍ是曲线的阶数，（ｍ一１）是日样条曲线的次数，
曲线在连接点处具有（ｍ一。２）阶连续。ｔ 是节点值，Ｔ＝（ｔｏ，
ｔ 一ｔ ＋ ）构成了ｍ一１次日样条函数的节点矢量。
分段Ｂ样条具有局域支持能力，改变一个控制点的位置
只会引起曲线的－／ｉ，部分变动。对三次Ｂ样条来说，每段曲
线被四个控制点所定义，从Ｂ样条的几何性质可以看出，中
（
峨）
＋（ ）
一（
或：
一
Ｓ
（５）
（６）
间两个点对本段曲线的影响力远大于其余两个点，所以，在
Ｂ—Ｓｎａｋｅ演化的每次迭代中，对每段曲线仅调整中间两个控
制点的位置，以使曲线段上的能量趋向最小。
如图１（ａ）所示，在人脸边缘上定义１３个控制点，则人脸
其中，（ ）是形状模板，ｔｌｚ￣ｇ标初始轮廓。 是形状
矩阵。
假设形状空间的维数是Ｎｓ，且曲线空间的维数可以用
２Ｎｃ来表示，则 是２Ｎｃ×Ｎｓ的矩阵，Ｓ是Ｎｓ×１的矩阵。
轮廓由这些控制点顺序连成的一组三次Ｂ样条曲线来表示。
图１（ｂ）和图１（ｃ）中人脸右上方和左下方的控制点产生了偏
离，可以看到，对全局的影响不大，这种轮廓表示方式具有较
高的鲁棒性，个别点的偏离不至于引起轮廓整体的剧烈变
化。
对于一个平面物体，一般六个仿射自由度就足以描述其
轮廓的可能变化，即Ｎｓ＝６。这时形状矩阵定义为：
：
ｆ㈨Ｑ ０ ０ Ｑ １
（７）
＼０ １ ０ Ｑ Ｑ ０，
其中每个元素都是Ｎｃ×１的矩
阵，比如１＝（１，１，…１） 。以图１（ａ）
为例的具有平移、旋转、尺度变化的
轮廓变形图如图３所示。
（ｂ）
图１ Ｂ—Ｓｎａｋｅ模型的人脸轮廓
戋性粒子滤波跟踪算法
实验
性粒子滤波跟踪算法主要
！叶斯递推滤波方法，使用蒙
拟，用若干粒子的加权来作
态（ ）的后验概率表示，每
℃表目标的一种可能运动状
亭价于表示了一组形状参数
（ａ）
（ｂ）
就是人脸的一种可能轮廓
（Ｑ）。
图２
人脸轮廓严重变形示意图
跟踪算法的目的是求解人脸轮
廓的运动状态Ｔ＝（ＴＸ，ＴＹ，ｐ，ＳＸ，
ＳＹ，ＳＸＹ），其中 和 分别为 方向和ｙ方向的目标中心点
位置，０为人脸轮廓旋转的角度，ＳＸ、ＳＹ和ＳＸＹ为目标在 方
向、Ｙ方向和对角方向的尺度。则目标在形状空间内的参数ｓ
可以表示为 ：
但是，在Ｂ—Ｓｎａｋｅ模型中，个别控制点的偏离不会引起
轮廓的整体剧烈变化，然而模型中控制点的自身运动是不受
限制的。如果各个控制点都能自由运动，那么仍然很可能会
产生许多不是人脸的形状，如图２所示。这是Ｂ—Ｓｎａｋｅ模
型存在的严重的不足。
．．．——
２０８．．．——
维普资讯
轮廓的表达更加有效，同时也能隐式
一一一
图３ 具有平移、旋转、尺度变化的人脸轮廓变形图
的表达角点。通过建立轮廓变形的
形状空间，对人脸轮廓的可变形范围
进行约束。跟踪过程中，利用非线性
粒子滤波跟踪方法在人脸轮廓的变
形区域内进行搜索，求解人脸轮廓参
数。通过仿真实验结果表明，该方法
有效地解决了复杂背景下人脸自由
运动、光照变化及部分遮挡的问题，
Ｓ：（ＴＸ，ＴＹ，ＳＸｃｏｓ０—１，ＳＹｃｏｓ０—１，一ＳＹｓｉｎ０，ＳＸｓｉｎＯ）
（８）
克服了目标跟踪方法中没有充分运用人脸特征的缺点，具有
较高的鲁棒性。
参考文献：
［１］ Ｓ Ｄｏｃｋｓｔａｄｅｒ，Ａ Ｍ Ｔｅｋａｌｐ．Ｒｅａｌ一’ｔｉｍｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ａｎｄ Ｈｕ—
ｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｓｃｅｎｅｓ［Ｊ］．Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ
Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ，ＳＰＩＥ，２０００，３９７４：９７５—９８６
通过对活动轮廓Ｂ—Ｓｎａｋｅ的约束，人脸轮廓可以用具
有一定光滑性的一组Ｂ样条曲线来表示，信息量只与控制点
数量成比例，个别点的偏离不会影响整体轮廓。形状空间的
建立，更大大减小了曲线变化的维数，增强了人脸轮廓的不
变性，跟踪的鲁棒性大大提高，而且计算复杂度也大大降低。
人脸轮廓跟踪过程中，利用非线性粒子滤波跟踪方法在人脸
［２］ Ｍ Ｃａｓｃｉａ，Ｓ Ｓｃｌａｒｏｆｆ，Ｖ Ａｔｈｉｔｓｏｓ．Ｆａｓｔ，Ｒｅｌｉａｂｌｅ Ｈｅａｄ Ｔｒａｃｋｉｎｇ
ｕｎｄｅｒ Ｖａｒｙｉｎｇ Ｉｌｌｕｍｉｎａｔｉｏｎ：Ａｎ Ａｐｐｒｏａｃｈ Ｂａｓｅｄ ｏｎ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ
轮廓的变形区域内进行搜索，求解人脸轮廓参数。
仿真实验中采用了脸部被白纸短暂遮挡的人脸视频作
跟踪实验，可以看到当脸部受到短暂遮挡时，人脸跟踪轮廓
偏离了正确目标；但当干扰消失后，又保持正确的跟踪轨迹。
为头部受严重遮挡的跟踪结果，４（ｂ）图中人脸有近２／３受遮
Ｔｅｘｔｕｒｅ—ｍａｐｐｅｄ ３Ｄ Ｍｏｄｅｌｓ［Ｊ］．ＩＥＥＥ Ｔｒｎｓａｃｔｉａｏｎｓ ｏｎ ＰＡＭＩ，
２０００．２２（４）：３２２—３３６．
［３］ Ｖ Ｋｕｍａｒ，Ｔ Ｐｏｇｇｉｏ．Ｌｅａｒｎｉｎｇ—ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｒｅａｌ—ｔｉｍｅ
Ｔｒａｃｋｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ ｏｆ Ｆａｃｅｓ［Ｃ］．Ｐｒｏｃ．ｏｆ ｔｈｅ Ｆｏｕｒｔｈ ＩＥＥＥ Ｉｎ—
ｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉ一
ｔｉｏｎ．２０Ｏ０：９６—１０１．
挡，跟踪轮廓偏离现象很严重。
圜
（ｄ） （ｅ）
叠
（Ｄ
［４］刘明宝，姚鸿勋，高文．彩色图像
的实时人脸跟踪方法［Ｊ］．计算机
学报，１９９８，２１（６）：５２７—５３２．
人脸跟踪新方法［Ｊ］．算机工程，
２００３，２９（１４）：５５—５７．
［６］ Ｓ Ｍａｎｅｔ，Ｐ Ｓａｉｎｔ ａｎｄ Ｇ Ｂ Ｍｅｄｉｏｎｉ．
Ｓｎａｋｅｓ：Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ ａｐｐｌｉｃａ—
［５］汪黎明，戚飞虎，周颢．肤色的实时
ｔｉｏｎ ｔｏ ｓｔｅｒｅｏ［Ｊ］．ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎ—
ｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ，７２０—７２６，
１９９０．
【７］ Ｊ Ｊ Ｋｏｅｎｄｅｆｉｎｋ ａｎｄ Ａ Ｊ Ｖａｎ Ｄｏｏｍ．
Ａｆｉｆｎｅ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ［Ｊ］．．
Ｏｐｔｉｃａｌ Ｓｏｃ．Ｏｆ Ａｍｅｒｉｃａ，１９９１，８
图４ （ａ）（ｂ）（Ｃ）脸部受短暂遮挡跟踪（ｄ）（ｅ）（ｆ）脸部受严重遮挡跟踪
本文所采用的模型以及人脸轮廓的形状空间对人脸轮
廓的变形进行了限定，大大增强了人脸轮廓的不变性。同时
粒子滤波的“多峰”跟踪特性也保证了跟踪过程在受到短暂
干扰后，具有自我恢复的强抗干扰特性。．对人脸轮廓变形施
（２）：３３７—３８５．
［作者简介］
许廷发（１９６８一），男（汉族），黑龙江肇东人，博士
后，研究方向：光电设计、模式识别、电视跟踪等；
加强限制条件，尽管增强了抗干扰能力，但也无形中丧失了
人脸轮廓的自由变形能力，对具有较强三维变形的人脸轮廓
跟踪则显得无能为力。
姚剑敏（１９７８一），男（汉族），福建莆田人，博士后，
研究方向：电路设计、电视跟踪；
韦 岗（１９６３一），男（汉族），广西宾阳人，教授，博
４ 结束语
作者提出了一种用于人脸轮廓跟踪的算法。该算法引
入了轮廓的主动模型，采用Ｂ—Ｓｎａｋｅ表示人脸轮廓，使人脸
士生导师，研究方向：语音识别、神经网络模式识别。
－－－——
２０９－－－——
发布评论