基于摄像机的多投影屏幕激光笔跟随演示方法

2024年3月27日发(作者：)

基于摄像机的多投影屏幕激光笔跟随演示方法

李伟仙

【摘 要】大中型会议中心在多投影仪屏幕的演示过程中,由于主次屏幕间缺乏联系,

主屏幕的激光笔光点无法显示在次屏幕,演示效果不佳.因此,提出了一种基于摄像机

的多投影屏幕激光笔跟随演示方法,通过摄像机建立主投影区域和计算机显示器之

间的联系,实现激光笔光点从主投影区域变换到计算机显示器,从而控制光标移动,使

得次投影屏幕也有计算机光标跟随演示的效果.主要步骤包括:基于单色投影标定主

投影区域相对计算机显示器的射影变换矩阵H;利用实时采集的主屏幕图像提取激

光笔光点;基于射影变换矩阵H计算激光笔光点在计算机显示器的坐标,并控制计算

机光标跟随到达指示位置.实验表明该跟随演示方法在计算机显示器上的横向和纵

向跟随误差都在5个像素之内,可以在次屏幕中很好地跟踪激光笔光点位置,达到既

解放演讲空间,又能与全体观众沟通的目的.%The demonstration effect is low in

large conference center with multiple projector-screens, because there is

no connection between the primary and secondary projector-screens, and

the laser pointer on the primary screen could not been shown on the

secondary screen.A demonstration method of laser pointer for multiple

projection-screens based on camera is proposed in this paper.A

connection between the primary projection and the computer screen is

built by the camera, and then the point of the laser pointer on the primary

projection can be transformed to the one on the computer

on this, the cursor can be moved and the secondary projection will have

the same demonstration main steps include: (1) compute the

homography matrix H between the primary projection and the computer

screen by monochromatic projection.(2) extract the point of the laser

pointer on the real-time captured image of primary projection.(3) calculate

the indicating point on the computer screen base on homography matrix

H and control the cursor move to ment shows that this method

can calculate the position of the laser pointer on the computer screen with

an error within 5 pixels and track the laser pointer on the secondary screen

method can both give an unlimited space to the

demonstrator and a communication to all the audience.

【期刊名称】《应用光学》

【年(卷),期】2017(038)001

【总页数】5页(P126-130)

【关键词】多投影;摄像机;演示

【作 者】李伟仙

【作者单位】北京信息科技大学 光电测试技术北京市重点实验室,北京 100192

【正文语种】中 文

【中图分类】TN249;TP391

激光笔的广泛应用使得演讲者摆脱讲台位置限制，大大增强了演讲效果[1-3]。但

是，大中型会议中心由于场地较大(见图1)，为了全体听众能清楚观看演讲内容通

常需要设置多个位置处的投影仪和投影屏幕(或白墙充当投影屏幕)。然而，由于激

光笔只能指示单个投影屏幕，而多个投影屏幕之间又缺乏联系，因此这些增加的投

影屏幕将没有激光笔的指示，大大削弱了演讲效果。

目前，在大中型会议中心现场，一般有两种方案：一是演讲者被局限在讲台附近，

不使用激光笔而通过鼠标控制计算机光标的移动和点击，实现多投影屏幕的同步演

示；二是演讲者使用激光笔仅指示主投影屏幕，其余投影屏幕仅播放演讲内容。第

一种方案限制了活动空间，影响演讲者的肢体表达与发挥；第二种方案无视了部分

观众，也影响了演讲效果。因此，这两种方案都不理想。

针对上述问题，本文提出了基于摄像机的多投影屏幕激光笔跟随演示方法，通过摄

像机建立主投影区域和计算机显示器之间的联系，实现激光笔光点从主投影区域变

换到计算机显示器，从而控制光标移动，使得次投影屏幕也有计算机光标跟随演示

的效果。该方法既完全解放了演讲者的演讲空间，又实现了演讲者与全体观众更好

沟通的目的。

本文以双投影屏幕(主屏幕+次屏幕)为例进行论证，当有多个次屏幕时方法相同。

跟随演示系统结构示意如图2所示，主次屏幕在不同位置，且主屏幕在摄像机视

场内。

在实际应用中，摄像机和投影仪的调整(包括调焦、改变位姿等)很难使得投影区域

(如PPT的投影)完全充斥整个投影屏幕，而且摄像机的视场也不会仅有投影屏幕。

图3(a)所示的红色投影区域占屏幕的大部分，但没有充满整个屏幕，两者无论在

面积或者长宽比例上都不相同；图3(b)所示的绿色投影区域用白墙充当投影屏幕。

也就是说投影区域、屏幕区域和摄像机视场是不同的。单纯的讨论激光笔光点的位

置无法建立其在计算机显示器的投射。因此本文的主要思路是通过主投影仪的单色

投影事先标定主投影区域和计算机显示器的射影变换矩阵H。根据该矩阵H激光

笔光点可以直接变换到计算机显示器。

本文提出的基于摄像机的多投影屏幕激光笔跟随演示方法具体包括以下内容：首先，

基于单色投影标定主投影区域相对计算机显示器的射影变换矩阵H，从而建立主

投影区域和计算机显示器的联系；其次，利用实时采集的主屏幕图像提取激光笔光

点；最后，基于射影变换矩阵H计算激光笔光点在计算机显示器的坐标，并控制

计算机光标跟随到达指示位置。跟随演示方法流程见图4所示。

1.1 标定射影变换矩阵H

基于主投影仪的单色投影标定主投影区域相对计算机显示器的射影变换矩阵H的

步骤如下：

1) 拍摄主投影仪的连续单色投影图像，比如通过单色背景的空白PPT放映拍摄连

续的单色图像，如图3所示。

2) 基于差值图像提取投影区域的边缘直线[4-7]，并通过直线相交求取4个角点。

3) 根据提取的4个角点图像坐标和显示器4个角点坐标，标定投影区域和计算机

显示器的射影变换矩阵H[8-10]。假设主投影区域的4个角点图像坐标为(ui,vi)T，

i=1,2,3,4,显示器的4个角点坐标为(xi,yi)T,i=1,2,3,4，则：

根据上式和已知的(ui,vi)T及(xi,yi)T可标定矩阵H。

1.2 提取激光笔光点

同步演示系统利用摄像机采集主屏幕图像(含激光笔光点)并实时送至计算机。由于

激光笔光点仅用于指示，并没有特别高的精度要求，因此该系统将采用重心法提取

激光笔光点[11-12]。假设激光笔光点图像坐标为(u0,v0)T，其所在区域为W，阈

值为T，计算过程如式(2)和(3)所示。

1.3 计算计算机光标位置

根据已标定的射影变换矩阵H和已提取的激光笔光点坐标(u0,v0)T，可直接计算

激光笔光点在计算机显示器的变换(x0,y0)T，计算如(4)式所示。

1.4 跟随移动计算机光标

在visual studio环境通过函数SetCursorPos将坐标(x0,y0)T通知给计算机光标

使其快速移动到该位置。因此，次屏幕上将显示光标跟随主屏幕激光笔光点进行移

动，实现多投影仪的跟随演示，使得次屏幕观众也能理解演讲者当前的演讲重点。

图5所示为双投影屏幕激光笔跟随演示实验系统。主投影仪型号为SHARP XG-

MX450A，主投影屏幕为卷轴下拉式专用投影屏幕；次投影仪为LeTV 70寸高清

电视。计算机为Lenovo Ideapad，显示器分辨率为1 366像素×768像素。

图6为连续显示的黑色和白色投影图像，先对上图作差值图像再利用Hough变换

提取主投影区域边界，然后根据边界求取4个角点坐标(如图7)。表1给出了主投

影区域的角点坐标及对应的显示器角点坐标。基于此标定的矩阵H如下。

图8为跟随演示过程中采集的主投影(含激光笔光点)图像，通过后台程序可以获得

当前光标实际处于计算机显示器的位置为(850,325)T。图9展示了激光笔光点附

近的细节图。图像处理提取的激光笔光点图像坐标为(1 155.6,639.5)T，通过公式

(4)可知其在计算机显示器的变换为(852.8,329.5)T。根据1.4节计算机光标取整后

迅速移至(853,330)T，完成对激光笔的跟随演示。与真值(850,325)T比较后表明

本文的跟随演示方法在计算机显示器上的横向和纵向偏差都控制在5个像素之内，

这完全满足会议中心激光笔的指示要求。

本文提出了一种基于摄像机的多投影屏幕激光笔跟随演示方法，通过摄像机建立主

投影区域和计算机显示器之间的联系，实现激光笔光点从主投影区域变换到计算机

显示器，从而控制光标移动，使得次投影屏幕也有计算机光标跟随演示的效果。实

验结果表明此方法可以应用于多投影屏幕会议中心的激光笔光点跟随演示。

E-mail:**************.cn

【相关文献】

[1] Qiu Chen. Influence of Information technology on teaching efficacy for

teachers[J].China Adult Education,2012(3): 99-101. 仇琛. 信息技术对教师教学效能感的影响[J].

中国成人教育,2012(3):99-101.

[2] Guo Xing, Liu Zhengyi, Li Wei, et al. Implementation method of human- computer

interaction system with large screen[J]. Computer Engineering and Applications, 2012,

48(1): 176-179. 郭星，刘政怡，李炜，等. 一种大屏幕人机交互系统的实现方法[J]. 计算机工程与

应用,2012,48(1): 176-179.

[3] En De, Wang Ningning, Yin Bing. Research of multimedia mouse feedback control

system based on image processing[J]. Journal of Henan Polytechnic University: Natural

Science, 2011,30(1): 76-79. 恩德，王宁宁，银兵.基于图像处理的多媒体鼠标反馈控制系统研究

[J]. 河南理工大学学报:自然科学版, 2011,30(1): 76-79.

[4] Sterger C. Unbiased extraction of curvilinear structures from 2D and 3D images[D].

München:Ph.D. Dissertation, Fakultat für Informatik, Technische Universitat,1998.

[5] Luo Tao, Zheng Xifeng, Ding Tiefu. Improved self-adaptive threshold canny edge

detection[J]. Opto-Electronic Engineering, 2009, 36(11):106-111. 雒涛,郑喜凤,丁铁夫. 改进的

自适应阈值Canny边缘检测[J]. 光电工程,2009, 36(11):106-111.

[6] Guo Siyu, Zhou Leqian, Wen He, et al. Hough transform for line detection based on

neighborhood weighting in binary images[J]. Journal of Electronic Measurement and

Instrumentation, 2014, 28(5):478-485. 郭斯羽,周乐前,温和,等. 基于二值图像邻域加权的直线

Hough变换[J]. 电子测量与仪器学报,2014, 28(5):478-485.

[7] Duan Rujiao, Zhao Wei, Huang Songling, et al. Fast line detection algorithm based on

improved Hough transformation[J]. Chinese Journal of Scientific Instrument, 2010,31(12)：

2774-2780. 段汝娇,赵伟,黄松岭,等. 一种基于改进Hough变换的直线快速检测算法[J]. 仪器仪表

学报,2010,31(12)：2774-2780.

[8] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Trans Pattern Analysis

and Machine Intelligence,2000, 22:1330-1334.

[9] Li Baoshun, Gu Chunxia, Bao Yaping, et al.A calibration method of projector based on

the homography between the images[J]. Journal of Anhui University: Natural Science

Edition, 2016, 40(1): 30-36. 李宝顺,顾春霞,包亚萍,等. 一种基于图像单应性矩阵的投影仪标定方

法[J].安徽大学学报:自然科学版,2016, 40(1): 30-36.

[10]Liu Song, Ye Yutang, Sun Qiang, et al. Research of chessboard’s corner detection

based on homography[J]. Electronic Design Engineering, 2012, 20(6):114-117 刘嵩,叶玉堂,

孙强,等. 基于单应性矩阵的棋盘格角点检测研究[J].电子设计工程,2012, 20(6):114-117.

[11]Wu Jiayong, Wang Pingjiang, Chen Jihong, et al. Method of linear structured light

sub-pixel center position extracting based on gradient barycenter[J]. Journal of Image

Graphics, 2009, 14(7):1354-1360. 吴家勇,王平江,陈吉红,等. 基于梯度重心法的线结构光中心亚像

素提取方法[J]. 中国图像图形学报,2009, 14(7):1354-1360.

[12]Wang Wencheng, Xu Jianqiang, Si Shuchun. A improved barycenter method used in

light trap center acquiring[J]. Journal of Optoelectronics Laser, 2005, 16(10):1239-1242. 王

文成, 徐建强, 司书春. 一种改进的重心法在光带中心提取中的应用[J]. 光电子·激光, 2005,

16(10):1239-1242.