2024年4月3日发(作者：)
Microcomputer
Applications
Vol.
37,
No.
2,2021
基金项目
微型电$%用2021
年第
37
)
第
2
期
文章编号
:
1007-757X(2021)02-0008-04
基于
Leap
Motion
的沉浸式体感交互系统研究
朱惠娟
，
王军
！
朱俊
(南京理工大学紫金学院计算机学院
，
江苏南京
210046
)
摘
要
：
Leap
Motion
是采用双目视觉原理来对手部进行距离的精准测量的体感交互设备
，
因此常被用作交互式沉浸系统的
开发"以
Leap
Motion
传感器为手势识别设备
，
采用
TBD(Track-Before-Detect
检测前跟踪)技术对手部进行追踪
，
根据两个
摄像机进行深度成像
，
从而提取人体手部各关节点的深度信息并建立手部立体模型"最后
，
通过
Cinema4D创建虚拟环境仿
真要素，
与
Unity3D
结合实现商用沉浸式艺术展示的效果"经试验证实该系统可通过手势交互实现较好的沉浸感
，
表明了该
系统实现方法的实用性和有效性
°
关键词
：
Leap
Motion
；
体感交互
；
虚拟现实
；沉浸体验
中图分类号
：
TP391
文献标志码
：
A
Research
on
Immersive
Somatosensory
In
teract
i
on
Sys
tem
Based
on
Leap
Mo
t
i
on
ZHU
Huijuan
,
WANG
Jun
,
ZHU
Jun
(Computer
College,
Nanjing
University
of
Science
and
Technology
Zijin
College,
Nanjing
210046
,
China)
Abstract
:
Leap
Motion
is
a
somatosensory
interactive
device
that
uses
binocular
vision
principle
to
accurately
measure
the
dis-
ore
!
p
Motionsensoris
gLeap
Motionsensorasagesturerecognitiondevice
!
TBD
(
trackbeforedetect
)
technologyisusedtotrackthehand
!
andtwocamerasareusedfordepthimaging
!
soastoextractthedepthinformationof
each
joint
point
of
human
hand
and
establish
a
three-dimensional
model
of
hand.
Finally
,
Cinema
4D
is
used
to
create
virtual
en-
vironmentsimulationelements
!
combined
with
eri-
mental
results
show
that
the
system
can
achieve
be
ter
immersion
through
gesture
interaction
!
which
shows
the
practicability
andefectivenessofthesystem.
Key
words
:
Leap
Motion
；
somatosensory
interaction
；
virtual
reality
；
immersive
experience
发达国家在动作捕捉领域的研究已经进入了实用化阶
0
引言
我国对于体感交互技术的相关研究主要开始于
《
国家中
长期教育改革和发展规划纲要
(2010
-
2020
年)
》
和
《
教育信
段
，
市面上有许多商品化的运动捕捉⑷设备
，
例如
Sega
Game
、
MotionAnalysis
、
FilmBox
等
&
以
MotionAnalysis
来
说
，
其应用领域十分广泛，在电影艺术方面有大量的特技采
息化十年发展规划
(2011
-
2020
年
)
》
掀起的技术
、
应用和教
用
MotionAnalysis
系统进行采集制作
。
美国好莱坞建立了
一个基于
MotionAnalysis
系统且有
16
镜头的工作室
，
许多
著名电影均使用了该系统的动作捕捉技术
，
例如
《
猩球崛起
》
《
育信息化理论三方面的研究浪潮
&
2011
年胡赢⑴在文中提到
“
所谓的
，
体感交互，
就是指
'使用者通过人体姿态来控制计算机
阿凡达
》
《
魔戒
》
《
黑客帝
国》
等
&
可见
，
随着计算机技术的不断进步
，
人机交互技术有了
在教育领域
，
李青和王青提出
“
体感交互技术在教学
中可作为教学工具
，
将体感和白板结合
，
可以扩展电子白板
的功能
2
同时与现有教学形式相结合
，
推出情景化教学
、
个
巨大的突破,体感交互正在不断地出现在人们的视野中
&
本
文即采用
Leap
Motion
双目视觉成像的特点
，
与
Unity3D
结
别化学习及游戏化学习等教习方式
，极大地提升孩子的学习
兴趣。
在游戏娱乐领域
，
于洪达⑶运用双画立体投影显示系统
合实现了商用沉浸式艺术展示的效果
。
自定义不同的手势
动作
，
将
Leap
Motion
获取到的关键手势信息进行分类识
别
，
给用户带来沉浸式体验感
&
及
Kinect
网络
，
实现将
3D
游戏中的同一个场景分别输出到
不同的角度的玩家眼中
，
使得不同视角的玩家所观察到的环
1
设备原理
1.
1
体感交互
境相互独立
&
基金项目
：
江苏
省高校
自然
科学研究面
上
项目
(18KJB520023)
;
202
0
年
全
国
高等院校计算机基础
教育教
学研究项目
(2020-AFCEC-278)
；
南京
理工大学
紫
金学院
2020
年教育教
学改
革
与研究重点
(2
)
；
南京理工大学
紫
金学院校级科研项目
(2019ZRKX0401007
,
2019ZRKX0401006
2020ZRKX0401005
)
;
南京理工紫金学院
2020
年度校级
精
品课程建设项目
(03145011
)
作者简介
：
朱惠娟
(
1985-),
女
，
硕士
，
讲师
，
研究方向
：
虚
拟现实
、
三维仿真
。
王
军
(1998-)
，
男
，
本科，
研究方向：
数
字媒
体技术
&
朱俊
(1986-),
女
，
硕士
，
副教授,研究方向
：
推
荐
算法
&
・
8
・
Microcomputer
Applications
Vol.
37,
No.
2,2021
论是肢体动作还
基金项目
微型电脳％用
2021
年第
37
）
第
2
期
势
%
眼动
、
语音等交互命令
，
都需
Leap
要体感传感
Motion
传感
作为人机交互之间的媒介
，
例如
行手势交互
；
使用眼动仪囚
捕捉眼球
度来看
，
动作捕捉的本质就
转动
、
视线聚焦点信息
；
使用
Kinect
获取肢体动作信息等
&
、
跟踪
、
记录
物体
空间的
&
说
，
典型的运动捕捉设
备如口表
1
所示
。
表
1
一般运动捕捉系统的组成部分及作用
组成部分
传感器
描述
跟着装置
，
向动作捕捉系统提供物体的运动信息
负责信号捕捉
，
不同的运动捕捉系统使用不同的
信
号捕
捉设备备
Leap
Motion
的
API
为开发者提供了一系列追踪手部运
动的
数据信息
，
官方文档中
定期发送的
部
数据传输设备
将运动数据从信号捕捉设备快速准确地传到计算
机系统进行处理
的信息
“
帧
（
Frame
）
o
每
tion
的
系
基本
定数据
纟
数据
（
hands
）
的列表和信息
、
、
包含了
Leap
Mo
的
、
笔直的
，
比手
（
ponables
）
,
即
数据处理设
备
将经过动作
捕捉
系统
捕捉
的数据修
正
、
处理
，
并与
指
（
fingers
）
的列表和信息
、
所
型
完
画
制作
工具
（
tools
）
的列表和信息
（
工具定义
指长的东西
，
例如
Leap
Motion®
体感控制
）
、
指向
学式
捕捉设备
,
所有手指和工具的列表及信息和手势
（
gestures
）
o
帧数据下
所包含的数据层级示
如口图
3
所示
&
Leap
Motion
传感器定位精度高
，
两颗
120
帧率的摄像头使
作捕捉有着较高的
，
体积小巧
与使
完
用
，
而就手势处理来说
.Leap
Motion
传感器的
4
立方
识
别
已
够
，且
Leap
Motion
表面使用的滤镜
全
见光
，
纟
强
射
何
波
&
，
两颗灰
像头无论在黑暗中还
能完美得到半灰度的红
像
，
无需再加任
以上原因
，
本系统采用
Leap
Motion
传感器作为体
感交互部分的体感传感器
&
1.
2
Leap
Motion
设备信息
1.
2.
1
Leap
Motion
基本原理
图
3
Frames
（
帧数据
）
所包含的数据层级示意图
1.
2.
3
Leap
Motion
的信息特征提取
Leap
Motion
是基于双目视觉的手势识别设备
，
利用双
Leap
Motion
是一款由体感控制器制造公司
Leap
在
目立体视觉成像原理
，
通
个摄像机进行深度成像
，提取
如口图
4
2013
年发布的面向
PC
及苹果电脑
MAC
的体感控制器如口
部的
位置信息
，
根据深度
立手部立体模型
后
图
1
所示
。
8
cm
1.5
cm
信息识别手势
&
人体手部的骨骼位
所示
。
IR
Receiver
IR
Receiver
IR
Emittei^^
IR
Emitter
Emitter
男
2
cm
J
■
3
ci
图
1
Leap
Motion
结构实体图
（
左
）
和
Leap
Motion
结构示意图
（
右
）
Leap
Motion
控制
由两个高清的摄像头
、
光学传
感
个红外
LED
灯组成
&
Leap
Motion
采用双目视觉
原理来对手部进行距离的精准测量
，
根据内置的摄像头从不
的角度捕捉画面
人类的立体视觉
，
纟
势
:
4
维空间的位置信息进行判断
。
Leap
Motion
以超过每秒
200
的速度
米到
600
部
，
纟
感器上方的
25
毫
部
骨
示
间的倒四棱锥体
，
精确程度
1/
100
只
每根手指包含了许多个骨
，
从上
别为远端指
指不同,
识别出
毫米
。
1.2.2
Leap
Motion
基本数据
Leap
Motion
的
基
计算机视
骨
、
中端指骨
、
近端指骨、
掌骨
。
其中拇指
理的识别
&
其
根指骨
，
并
程
，
Leap
Motion
骨
&
LeapMotion
传感
指的
每只手的
每根手指
指
，
同时记
4
根骨头
&
空间坐标&
-
，
纟
立体视觉⑺的
方
广泛
，
小到
Kmect
设备
，
大
指的掌骨设为长度为零的掌骨,
机装配等高精度的
作业
&
目前比较有代表性的就是
Leap
Motion
的手势
识别
，微软开发的
该
&
双目立体视
头戴式显示器
HoloLens
上
2
系统设计
无论是在展馆展览还是课堂辅助教学应用该系统
，
系统
方法如口图
2
所示
&
・
9
・
Microcomputer
Applications
Vol.
37,
No.
2,2021
的交互方式
通
的创新性来吸引游客或者学生
基金项目
微型电脳％用
2021
年第
37
)第
2
期
动，
因此设定一个常量
smallestVelocit
=4f
用于判定手处于
的
&
展示内容
，
且能被大多数
1
静止状态
，
当手的移动速度
hand.
PalmVelocity.
Magnitude
小于这个值时
isStationary
返回
true,
手视为静止状态如口图
理解该内容所表达的意义
！
论该内容
教学或者
:
的目的
&
，
本系统以
“
花海
”
的展示为主
，
通过自定义的
8
、
图
9
所示
&
势控制花的
方面
，
则是选择
展示
，
表
的
。
在创新
以数字媒体的形式展现
！
科技感
&
展览等
展览吸引眼球
！
常的商业
，
提
的参与度系统设计的核心交互功
能
，如图
5
所示
&
|程序开始|
LeapMotion
初始化
“
花
”
进入
“
待命
”
状态
l~
T
转动无变化|
手进入
手势
“
上
”
识别
手势
“
下
”
识别
8
手退出
1
初始状态
1
「
I
旋转手势旋转|
T
开始变化手毎卜|开始开花
］
冷
手势交互
|
--
1
放大缩小手势
H
放大缩小
I
变换颜色手孙
H
颜色改莎|
T
加速变化手讣|变化加速|
图
5
核心交互功能
势
“
”
识
别
图
9
势
“
”
识 别
3
核心手势交互功能的开发
3.
1
变化加速
完成手势判定之后
，
调
方法完成交互命令
,
取网格
别修
组件的方式
，
根据交互手势的
］
,
分
Leap
Motion
传感器未检测到手的情况下
，
“
花
”
处于
不
“
生长
”
的
质的
、
红色
、
蓝色以及初始
&
，
当传感
入时
，
“
花
”
便开始产
的特点类似，此时
“
花
”
变
化
，
与自然界的
化速度缓慢
&
通
互动作
！
势为数字
52
如图
6
所示
&
4
沉浸式体感交互系统
4.
1
传感
系统呈现效果
本系统使用手势进行交互
，对于初次使用
LeapMotion
化速度增加
！
更改
动画
animator
播放速度的方法来加速
“
花
”
的
“
生长
”
。
交互
备
次
本系统的
，
操作方式及手势细
加以说明如口图
10
所示
&
图
6
交互手势
“8”
手势
“8
”
的 方法为使用
bool
类型的方法
IsEight
(Hand
hand),
该方法定义
了列表
List
"
Finger
〉
listOfFin-
初始值为
0,
然后遍历
1
!
指
指
，若
count
值为
0
、
展
count
‘
count
;若
count
值
1
,
count
值为
5
时返回
true
。
展
。
最后当
图
#0
手势学习页面
进入场景后
，
用户的起始
展示台较远的一个通
32
互
大
&
互可以
'
展
道内
,
，
交互
［
放
类
行动
,
入最终宝弱
的密室中的场景如口图
11
所示
&
大
，
以方便观察
，
如图
7
示
。
图
##
虚拟场景
图
7
交互手势
“8”
“
花朵
”
被置于展示台上
，
昏暗的环境配以高光来突出
“
花
”
的与
,
在实现变大交互的部分
，
定义了
bool
类型方法
isOpen-
以通过
“
W
”
“
A
”
“
S”
“
D
”
操控
L
进
FullHand(Hand
hand
)
判断每手指
3.
3
颜色变换
展状态&
行自由
,
标来观察
&
展
示
!
会
系
统
提
示
!
以
“
字
上下左右移动时
，考虑到正常情况下手会有抖
G
”
入
的
操
控
面
!
如
12
示
。
10
Microcomputer
Applications
Vol.
37,
No.
2,2021
基金项目
微型电脳％用
2021
年第
37
)第
2
期
5
总结
本系统利用
Leap
Motion
采集自行定义的关键手势动
作的精确位置及方向信息
，并完
计与开发
，
该
域
，
也为
Leap
Motion
感
&
图
12
展示页面
沉浸式体感交互系统的
作品展示等领
新的灵
，
将在今后
类似的商业
人机交互
，
由
专业人员，
画面效果
工作中
研究并
&
在手势交互界面
，
可以
“
OK
”
手势
势
的性状
，通过
参考文献
)
1
*
胡赢
.
视频体感交互试衣系统开发
[D
*.
武汉
：
华中科
的
,
技大学
，
2012.
态
，
如图
13
所示
&
[2
*
李青
，
王青
.
体感交互技术在教育中的应用现状述评
[
J
*
.
远程教育杂志
,2015,33(1
)
：
48-56.
[3*
于
.
基于立体双画技术的射击影院系统
[D
*.
济
南
：
山东大学
，
2015.
)
4
*
吴少军
，
胡燕红
.
动作捕捉技术发展新趋势及其对影视
工业影响简论
[
J
*
.
群文天地
，
2012(3
):
129.
)
5
*
于洋
，
姜英杰
，
王永胜
，
等
.
瞳孔变化在记忆加工中的
图
13
“
OK
”
手势控制
生物标记作用
[
J
*
.
心理科学进展
，
2020
,
28
(
3
)
：
通过数字
8
的手势可以加
的开放速度
，
如图
14
所示
。
416-425
[6
*
王红全
，
淮永建
.
基于
Leap
Motion
手势识别方法在树
木交互的应用
[
J
*
.
.
应用与软件
，2018,35
(10)
：
153-158
)
7
*
曹之乐
，
严中红
，
王洪.双目立体视觉匹配技术综述
[
J
*
.
重庆理工大学学报(自然科学
)
，
2015,
29
(2
)
：
70-75
[8
*
张牧.体感交互设计在新媒体艺术中的应用研究
[
J
*.
传媒论坛
,2018,1(23
):
12.
14
控制
(收稿日期
:
2020.
07.
29
)
(上接第
3
页
)
比本域访问增加了决策时间
，
尤其是在并发
评估技术
)
J
*
.
电信科学
,2018,34(2):153-160.
[2
*
罗霄峰，
王文贤
，
罗万伯.访问控制技术现状及展望
)
J
*.
信息
网
络安全
,2016(12
):
19-27.
[3*
王继业
，
范永
，
余文豪
，
等.基于细粒度访问控制的大数
数
150
后
，
由于信任度
计算
大导致
中
！
体的本域访
加
。
但考虑到电力
，
所以
，
可以
的决策时间
&
据安全防护方法
)
J
*.
计算机技术与发展
，
2019,29
5
有效的安全防护是电力云安全运作的前提
，
访问控制是
10
):
134-140
)
4
*
史国振
，
王豪杰
，
慈云飞
，
等
.
动态自适应访问控制模
型
)
J
*
.
通信学报
，
2016
,
37(11
)
：
49-56.
云平台安全的第一道安全防线
&
本文在
abac
访问控制策
略的基础上提
基于信任度的属
控制模型
TM-
)
5
*
于芳芳
，
马建红
.
基于多优化技术的
ABAC
模型
)
J*.
应用
，
2015
，
3211
)+
312-316
[6*
刘莎
，
谭良
.
Hadoop
云平台中基于信任的访问控制模
ABAC
,
模型引入信任度对属
行信任评价
，
根据主体的
访问行
历史
记录计算信任度
，
并调整
的
控
型
)
J
*
.
计算机科学
,
2014
,
41(5
)
：
155-163.
)
7
*
王静宇
，
赵山杉
，
郑雪峰
.
一种基于信任评估的云服务
属性访问控制模型
)
J
*
.
微电子学与计算机
，
2015
,
32
制策略以及开放合适的
权限
，
从而能够实现细粒度访问
控制
&
通
的解决方案
&
证了本文所提模型的
！
一
步
化奠定了基础
，
也为电力
资
控制提供新
12
)+
1-7
)*
刘晓威
，周雷
，
王国军
.
基于环境属性的访问控制系统
参考文献
)
1*
沈亮
，王栋，
玄佳兴
.
电力信息系统云安全风险分析与
设计与实现)
J
*
.
计算机工程
，
2018
,
44(2
)
：
171-176.
(收稿日期
：
2020.
06.
01
)
・
11
・
发布评论