2024年1月14日发(作者：)

第３１卷第１期２０１８年２月ＰＨＹＳＩＣＡＬＥＸＰＥＲＩＭＥＮＴＯＦＣＯＬＬＥＧＥ大学物理实验Ｖｏｌ.３１Ｎｏ.１Ｆｅｂ.２０１８文章编号:１００７￣２９３４(２０１８)０１￣０１１４￣０５基于计算机视觉的激光虚拟键盘的研制陈文娟ꎬ刘树钰ꎬ陈梦雯ꎬ侯　鹏(中国石油大学(华东)ꎬ山东青岛　２６６５８０)摘要:针对传统机械式键盘存在体积大、携带不便等问题ꎬ设计了一套基于计算机视觉的激光虚拟键盘系统ꎮ在充分利用电脑软件图像处理功能的基础上ꎬ系统利用三角测距原理和按键的映射原理识别手触按键坐标信息并建立其与电脑实际按键坐标信息的对应关系ꎬ从而控制电脑做出准确指令ꎮ相比其他设备ꎬ该系统的设计成本低ꎬ按键准确度高ꎬ方便演示和使用ꎮ关键词:计算机视觉ꎻ三角测距ꎻ图像处理文献标志码:ＡＤＯＩ:１０.１４１３９/ｊ.ｃｎｋｉ.ｃｎ２２￣１２２８.２０１８.０１.０２８中图分类号:ＴＮ２４７　　随着计算机技术的快速发展和移动设备的普及ꎬ人机交互技术也变得越来越多样化[１ꎬ２]ꎮ键盘作为输入设备ꎬ一直以来发挥着不可替代的作用[３]ꎮ然而ꎬ传统的机械式键盘体积大、不方便携带ꎬ质量重、不轻便灵活ꎬ越来越不能满足用户的舒适需求ꎮ因此ꎬ设计研制一款体积小、质量轻ꎬ便于携带ꎬ使用方便灵活的虚拟键盘系统十分有必要ꎮ为此ꎬ本文进行了设计制作虚拟键盘的相关研究ꎮ相比市场上已有的虚拟键盘系统[４￣７]ꎬ本文制作完成的虚拟键盘系统的最大优势是设计成本低、制作简单、使用方便ꎮ在已有电脑等设备的基础上ꎬ充分利用电脑软件的图像处理功能ꎬ仅需加入激光器和摄像头等成本极低的硬件装置ꎬ配置简单的驱动电路ꎬ安装完成并调试即可使用ꎮ虚拟键盘经测试ꎬ使用效果良好ꎮ所示:图１　三角测距几何示意图图１中ꎬＡ为点状激光器ꎬＢ为物体ꎬＯ为摄像头的光心ꎬＡＯ线段表示固定摄像头和激光器的平面ꎬ摄像头成像平面与该固定平面平行ꎬ而激光器发出的射线与该平面的夹角用β表示[８￣１０]ꎮｓ为激光器中心与摄像头中心点的距离ꎬｑ为物体到摄像头光心平面的垂直距离ꎬｄ为物体到激光器的直线距离ꎬ即为所求的值ꎬｆ为摄像头光心到像平面的距离ꎬ即摄像头的焦距ꎮ根据上图所示的几何关系可知ΔＣＤＯ∽ΔＡＯＢꎬ则根据相似三角形对应边成比例可知:ＣＤＡＯ＝ＦＯＥＢ即:(１)１　系统的工作原理系统工作的主要原理为三角测距原理和按键的映射原理ꎮ利用三角测距原理ꎬ得到手触桌面虚拟键盘的按键的坐标信息ꎻ利用按键的映射原理ꎬ建立虚拟键盘信息与电脑操作系统内部实际键盘信息的对应关系ꎬ从而通知电脑的操作系统准确地触发对应的键值ꎮ１.１　三角测距原理一般的点状激光器的三角测距原理图如图１收稿日期:２０１７￣０７￣２０基金项目:中国石油大学(华东)重点教改项目(ＳＹ￣Ｂ２０１６１４)ꎻ中国石油大学(华东)大学生创新创业训练项目(２０１７１０４２５０９３)

基于计算机视觉的激光虚拟键盘的研制１１５ｘｓ＝ｆｑ(２)在图形系统中ꎬ所有ＵＩ元素具有他们相对于屏幕的坐标值ꎮ鼠标点击时ꎬＧＵＩ系统通过判断当前鼠标指针位置是否落入了某一个按钮或者选择框的坐标范围内从而做出相应命令ꎬ满足用户需求ꎮ与ＧＵＩ系统判断原理类似ꎬ为了实现利用虚拟键盘触发电脑做出相应的按键命令ꎬ首先需要将以激光发射点为原点的指尖坐标映射到以键盘图案左上角为原点的坐标信息ꎬ然后进行桌面虚式中ｘ表示被测物体被激光器的激光照射后ꎬ反射的激光点在摄像头感光元件(如ＣＭＯＳ)上所成的像点到一侧边缘的距离ꎮ该距离可以通过在摄像头画面中查找并计算激光点中心位置的像素坐标来求得直距离ｑ:[８￣１０]根据式(２)得到物体与摄像头光心平面的垂ꎮｑ＝ｘｓｆ(３)则在ΔＡＥＢ中ꎬ利用正弦关系物体到激光器的直线距离ｄ为:ｄ＝ｓｉｎｑβ＝ｆｓｉｎｘｓβ(４)在虚拟键盘系统中ꎬ采用的激光器为线性激光器ꎬ产生的是二维面激光ꎬ该激光平面与桌面平行且紧贴桌面ꎮ同样地ꎬ利用三角关系可以得到手指按键相对于激光发射点的坐标信息Ｐ(ｘꎬｙ)ꎮ原理图如图２所示ꎮ图２　虚拟键盘的三角测距原理图１.２　按键的映射原理按键的映射原理与图形用户界面(ＧＵＩ)系统进行用户界面(ＵＩ)元素碰撞判断的原理类似ꎬ如图３所示ꎮ图３　ＧＵＩ系统进行ＵＩ元素碰撞判断拟键盘的按键信息与电脑系统预存的实际按键信息的比对判断ꎮ映射原理图如图４所示ꎮ图４　虚拟键盘的按键坐标映射原理图图中ꎬＰ(ｘꎬｙ)为以激光发射点为原点的指尖坐标ꎬＰ′(ｘ′ꎬｙ′)为以键盘图案左上角为原点的坐标ꎮ用Ｋｅｙ[ｎ]表示电脑预存的键盘中各个按键的坐标信息库ꎬ则上述原理过程可用数学关系式表达为:Ｐ′(ｘ′ꎬｙ′)＝ｆｐｒｏｊｅｃｔｉｏｎＫｅｙ[ｎ]＝ｆ(Ｐ(ｘꎬｙ))))(５)ｍａｐｐｉｎｇ(Ｐ′(ｘ′ꎬｙ′(６)２　系统的组成２.１　系统整体框架系统的整体主要由摄像头、投射键盘画面的激光器以及线性激光器组成ꎮ虚拟键盘工作时ꎬ摄像头用来实施采集键盘区域的图像ꎬ并传入电脑进行预处理ꎬ进而进行包括指尖特征点提取、激光测距计算、按键映射判断等一系列过程ꎮ投射键盘画面的激光器用来投射在桌面上产生虚拟键盘画面ꎬ以供用户观看及方便进行按键操作ꎮ线性激光器则用来产生紧贴平面的平面激光ꎬ此时ꎬ若手指接近桌面会阻挡激光通路ꎬ产生反射且反射光点被摄像头捕捉到ꎮ

１１６基于计算机视觉的激光虚拟键盘的研制系统的工作流程图如图５所示ꎮ广角镜头进行扭曲校正[１２]ꎬ即实现摄像头的标定过程ꎮ相比ＯｐｅｎＣＶ已有的函数工具ꎬ该校正方法得到的结果更好ꎮ(２)指尖图像滤波处理在提取指尖特征点之前ꎬ观察摄像头直接采集的指尖图像ꎬ发现:受激光反射光的影响ꎬ每个指尖外围都有反射光干扰模糊区以及相邻指尖间有模糊重叠区ꎮ因此ꎬ需要对指尖图像做滤波处理ꎬ去除图像中的噪点ꎬ使反射干扰区的边缘平滑连贯以及消除重叠ꎮ在ＯｐｅｎＣＶ的ｉｍｇｐｒｏｃ图像图５　系统工作流程图２.２　(１)硬件选型摄像头采用型号为九鼎摄像头ＪＤ￣２０１６１高清免驱的广角镜头ꎬ镜头视角为１５０°ꎬ该摄像头模组采用ＬＩＮＵＸＵＳＢ责采集桌面指尖图像/接口安卓ꎬ４.０即插即用以上系统等多种系统ꎬ可支持ＸＰ/ＷＩＮ７/ＷＩＮ８/ꎬ并将其上传到电脑上以便ꎮ主要负对指尖信息进行采集处理(２)ꎮ用于投射激光键盘画面的激光器没有特殊要投射键盘画面的激光器求ꎬ在本系统中采用的是供电３.６~４.２Ｖ(可加电阻适当调节)ꎬ电流小于１２０ｍＡ的发射器ꎮ主要用来在桌面上产生虚拟的键盘画面(３)ꎮｎｍꎬ产生激光平面工作功率为本系统采用的线性激光器为发射波长线性激光器７９０ꎮ５０安装使用时ｍＷ的线性激光器ꎬ应该使其尽可能地ꎮ主要用来贴近桌面ꎬ则产生的激光平面尽可能贴近桌面ꎬ方便近似认为坐标Ｐ(ｘꎬｙ)是位于桌面上的ꎬ减小误差ꎮ２.３　软件设计系统涉及的关键技术———图像处理全部由电脑完成ꎮ在软件框架已经搭建完成的基础上ꎬ充分利用Ｉｎｔｅｌ推出的基于ＢＳＤ开源许可证的跨平台计算机视觉库ＯｐｅｎＣＶ实现系统软件的图像处理功能[１ꎬ１１]正ꎬ指尖图像滤波处理ꎮ图像处理主要包括镜头的扭曲校ꎬ指尖特征点信息提取ꎬ手指坐标的计算比对等(１)本系统利用镜头的扭曲校正ꎮＭＡＴＬＡＢ的Ｃａｌｉｂｒａｔｉｏｎ工具箱对处理模块中ꎬ利用ＧａｕｓｓｉａｎＢｌｕｒ函数、ｔｈｒｅｓｈｏｌｄ函数、ｄｉｌａｔｅ函数、ｅｒｏｄｅ函数以及ｍｏｒｐｈｏｌｏｇｙＥｘ函数等实现对图像的滤波处理(３)系统利用特征点的提取ꎮＯｐｅｎＣＶ的ｃｖＦｉｎｄＣｏｎｔｏｕｒｓ函数对滤波处理后的指尖图像提取特征点坐标信息ꎮ为了保证精确度ꎬ采用以指尖光斑亮度而不是光斑面积的提取标准ꎬ对每个指尖中心提取信息得到相对于图像的位置坐标(４)ꎮ根据三角测距原理手指坐标的计算比对ꎬ计算得到手指相对于激光发射点的坐标Ｐ(ｘꎬｙ)ꎬ进而经过坐标系变换和按键的判断比对确定键值ꎮ３　系统测试根据以上的设计研究ꎬ制作的虚拟键盘实物图如图６所示ꎮ依据此装置ꎬ对系统的工作效果和工作性能进行了测试ꎮ图６　激光虚拟键盘系统实物装置图３.１　(１)系统工作效果测试为了测试虚拟键盘的实用性键盘点击输入测试ꎬ对该键盘的实

基于计算机视觉的激光虚拟键盘的研制１１７际使用效果进行了多次的使用测试ꎬ测试结果如图７所示:图８　系统多点触摸板工作图图７　系统键盘模式工作图观察图８发现ꎬ系统可以通过检测手指对桌面的“压力”控制电脑绘制出粗细不同的线条ꎬ即实现多点触摸板功能ꎬ使用正常ꎬ效果良好ꎮ３.２　系统工作性能测试(１)单个按键准确度观察图７发现ꎬ虚拟键盘识别精确ꎬ完全可以代替传统键盘正常使用ꎬ使用效果良好ꎮ(２)多点触摸板应用测试本系统在完成按键虚拟输入的功能基础上ꎬ还增添了多点触摸板的应用功能ꎬ其测试结果如图８所示:为了更详细地描述所制作的虚拟键盘的实用性、准确性ꎬ对每个按键进行了触发测试ꎬ得到了具体的测试结果如下:表１　单个按键的准确度测试表数字键准确度字母键准确度字母键准确度功能键准确度符号键准确度Ａ９８％Ｎ９８％ＥＳＣ９７％￣＿＿９７％＝＋９８％１!９８％Ｂ９８％Ｏ９８％２＠９８％Ｃ９７％Ｐ９７％ＣＡＰ９８％｀~９８％３＃９７％Ｄ９８％Ｑ９８％ＴＡＢ９８％、｜９６％[{９７％４￥９８％Ｅ９８％Ｒ９８％Ｆ９６％Ｓ９６％ＳＨＩＦＴ９６％]}９８％５％９８％Ｇ９７％Ｔ９７％６＾９６％Ｈ９８％Ｕ９８％ＣＴＲＬ９７％:ꎻ９７％７＆９７％Ｉ９７％Ｖ９７％ＡＬＴ９８％/?９８％ꎬ<９６％Ｊ９８％Ｗ９８％８∗９８％Ｋ９７％Ｘ９９％Ｂａｃｋ９７％.>９７％９(９７％Ｌ９６％Ｙ９７％ＤＥＬ９８％.‘’９５％０)９８％Ｍ９８％Ｚ９８％　　(２)组合按键准确度个或者三个按键实现电脑某些特殊命令的功能准确性ꎮ在单个按键测试的基础上ꎬ考虑到实际应用过程ꎬ还测试了组合按键的准确性ꎬ即同时按下两表２　组合按键的准确度测试表ＳＨＩＦＴ＋数字键准确度ＳＨＩＦＴ＋符号键准确度ＣＴＲＬ＋字母键准确度准确度三组合键１!２＠３＃４￥５％６＾７＆８∗９(０)９８％９７％９６％Ａ￣＿＿９８％９８％＝＋９７％９８％｀~、｜９８％９６％９７％Ｃ９７％[{９８％９８％９８％Ｖ]}９６％９７％:ꎻ９７％９８％９７％Ｘ/?９８％９６％ꎬ<９７％９７％９８％Ｓ.>９８％９５％.‘’ＣＴＲＬ＋ＳＨＩＦＴ＋ＴＡＢ９７％ＣＴＲＬ＋ＳＨＩＦＴ＋ＥＳＣ９８％ＣＴＲＬ＋ＡＬＴ＋ＤＥＬ９７％　　根据表１和表２的测试数据ꎬ虚拟键盘系统的准确度高ꎬ完全可以满足正常使用ꎮ

１１８基于计算机视觉的激光虚拟键盘的研制[５]　卢亮.基于嵌入式ＳＴＭ３２的半虚拟键盘[Ｄ].华南理工大学ꎬ２０１４.[６]　李振伟.基于图像处理的半虚拟键盘的研究[Ｄ].华南理工大学ꎬ２０１３.[７]　杨骋.一种基于单摄像头的虚拟键盘[Ｊ].信息技术ꎬ[８]　陈士凯著.自制低成本３Ｄ激光扫描测距仪(３Ｄ激光雷达)ꎬ第一部分.ｈｔｔｐ://ｗｗｗ.ｃｓｋｓｏｆｔ.ｎｅｔ/ｂｌｏｇ/ｐｏｓｔ/ｌｏｗｃｏｓｔ＿３ｄ＿ｌａｓｅｒ＿ｒａｎｇｅｒ＿１.ｈｔｍｌꎬ２０１１￣１１￣２３.２０１２(１０):６６￣６７.４　总　结结合计算机视觉和图像处理技术设计制作的激光虚拟键盘系统可以实现基本的键盘输入功能ꎬ在此基础上ꎬ还可实现多点触摸板功能ꎮ经测试ꎬ无论单个按键还是组合键ꎬ准确度高ꎬ可以实现正常使用和演示功能ꎮ系统的制作成本低ꎬ具有创新性ꎬ适合大范围的应用和推广ꎮ参考文献:[１]　李鹏翔.基于机器视觉的嵌入式虚拟键盘研究[Ｄ].[２]　王芳.基于微型投影及视觉感知的虚拟键盘技术研[３]　蔡睿妍.激光虚拟键盘的设计与实现[Ｊ].激光与红[４]　王久鹏ꎬ漆晶ꎬ王小平.激光投影虚拟键盘的研究与设计[Ｊ].电视技术ꎬ２０１６(４):３２￣３７.外ꎬ２０１２(８):８７５￣８７８.究[Ｄ].杭州电子科技大学ꎬ２０１５.华南理工大学ꎬ２０１６.[９]　陈玉秀ꎬ邹彤ꎬ郭唐永.基于三角法的绝对重力仪落体姿态测量系统的设计[Ｊ].大地测量与地球动力学ꎬ２０１３(２):６５￣６７.[１０]冯翠芝.基于线激光三角法的目标深度探测[Ｄ].中国海洋大学ꎬ２０１２.[１１]ＢｒａｄｓｋｉＧꎬＫａｅｈｌｅｒＡ.学习ＯｐｅｎＣＶ[Ｍ].于仕琪ꎬ刘瑞祯译.北京:清华大学出版社ꎬ２００９(１０):１２８￣１２９.[１２]瞿端阳ꎬ王维新ꎬ马本学ꎬ等.基于ＭＡＴＬＡＢ的棉株(１):１５￣１８.识别系统摄像头标定研究[Ｊ].新疆农机化ꎬ２０１３ＤｅｖｅｌｏｐｍｅｎｔｏｆＬａｓｅｒＶｉｒｔｕａｌＫｅｙｂｏａｒｄＢａｓｅｄｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎＣＨＥＮＷｅｎ￣ｊｕａｎꎬＬＩＵＳｈｕ￣ｙｕꎬＣＨＥＮＭｅｎｇ￣ｗｅｎꎬＨＯＵＰｅｎｇ(ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＰｅｔｒｏｌｅｕｍꎬＳｈａｎｄｏｎｇＱｉｎｇｄａｏ２６６５８０)Ａｂｓｔｒａｃｔ:Ｉｎｖｉｅｗｏｆｔｒａｄｉｔｉｏｎａｌｍｅｃｈａｎｉｃａｌｋｅｙｂｏａｒｄｓａｒｅｂｉｇꎬａｎｄｉｎｃｏｎｖｅｎｉｅｎｔｆｏｒｃａｒｒｙｉｎｇꎬａｌａｓｅｒｖｉｒｔｕａｌｋｅｙｂｏａｒｄｓｙｓｔｅｍｂａｓｅｄｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎｉｓｄｅｓｉｇｎｅｄ.Ｂａｓｅｄｏｎｍａｋｉｎｇｆｕｌｌｕｓｅｏｆｔｈｅｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｆｕｎｃ￣ｔｉｏｎｏｆｃｏｍｐｕｔｅｒｓｏｆｔｗａｒｅꎬｔｈｅｓｙｓｔｅｍｉｄｅｎｔｉｆｉｅｓｔｈｅｃｏｏｒｄｉｎａｔｅｉｎｆｏｒｍａｔｉｏｎｏｆｔｏｕｃｈｅｄ￣ｖｉｒｔｕａｌｋｅｙｓａｎｄｅｓｔａｂｌｉ￣ａｎｄｔｈｅｍａｐｐｉｎｇｏｆｋｅｙｓꎬｓｏａｓｔｏｃｏｎｔｒｏｌｔｈｅｃｏｍｐｕｔｅｒｔｏｍａｋｅａｃｃｕｒａｔｅｉｎｓｔｒｕｃｔｉｏｎ.Ｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒｄｅ￣ａｎｄｕｓｅ.Ｋｅｙｗｏｒｄｓ:ｃｏｍｐｕｔｅｒｖｉｓｉｏｎꎻｔｒｉａｎｇｕｌａｔｉｏｎꎻｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｓｈｅｓｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｔｈｅｍａｎｄｔｒｕｅｋｅｙｓｏｆｔｈｅｃｏｍｐｕｔｅｒｂｙｔｈｅｐｒｉｎｃｉｐｌｅｓｏｆｔｒｉａｎｇｕｌａｔｉｏｎｖｉｃｅｓꎬｔｈｅｃｏｓｔｏｆｔｈｉｓｓｙｓｔｅｍｉｓｌｏｗａｎｄｔｈｅａｃｃｕｒａｃｙｏｆｔｏｕｃｈ￣ｋｅｙｓａｒｅｈｉｇｈꎬｗｈｉｃｈｉｔｉｓｅａｓｙｔｏｄｅｍｏｎｓｔｒａｔｅ