leapmotion是一种小型的互动设备,通过跟踪手部的动作和移动轨迹来进行不同的操作。

最近有项目需要买了一个5代的leapmotion,并且进行了初步的互动操作和使用。(ps:店家告诉我只有第五代的产品才能支持最新的官方软件,令外从外观上是没有区别的,只有使用过程中有区别)

airtest模拟鼠标滚轮 leapmotion模拟鼠标_右键

在初步的使用过程中发现了一些问题:

1、官网升级了现在叫做https://www.ultraleap.com/

airtest模拟鼠标滚轮 leapmotion模拟鼠标_打开文件_02

我们需要下载leapmotion的驱动软件。

airtest模拟鼠标滚轮 leapmotion模拟鼠标_airtest模拟鼠标滚轮_03

这是我们购买的leapmotion的设备名称,点击进入

airtest模拟鼠标滚轮 leapmotion模拟鼠标_硬件工程_04

我们可以看到设备包装内包含的硬件以及软件和支持文件。

不过我们需要下载的主要跟踪软件在https://developer.leapmotion.com/这个网址

airtest模拟鼠标滚轮 leapmotion模拟鼠标_airtest模拟鼠标滚轮_05

上面的一些下载也已经更新了,现在这个跟踪软件叫做ULTRALEAP GEMINI

airtest模拟鼠标滚轮 leapmotion模拟鼠标_打开文件_06

点击后

airtest模拟鼠标滚轮 leapmotion模拟鼠标_右键_07

一般我们在win下这里选win的就可以了,版本是5.4.5

2、安装的过程

新版本的软件里面有一项sdk,如果咱们要做互动开发的一定要勾选安装

airtest模拟鼠标滚轮 leapmotion模拟鼠标_打开文件_08

安装完成后右下角的桌面会出现一个图标

airtest模拟鼠标滚轮 leapmotion模拟鼠标_计算机视觉_09

设备连接后就会出现一个绿色圆形提示已连接(ps:设备需要直接接在usb口,不要通过usb hub等连接)

3、可视化的跟踪软件

右键点击刚才的图标

airtest模拟鼠标滚轮 leapmotion模拟鼠标_计算机视觉_10

这是在新版的官方软件中附带了可视化的跟踪软件,可以看到手部的骨骼绑定效果

airtest模拟鼠标滚轮 leapmotion模拟鼠标_airtest模拟鼠标滚轮_11

ps:如果发现没有出现类似骨架的绑定效果,就把leapmotion旋转180度试试看

4、最后这一步就是我们要实现的代替鼠标操作了

是官方的一个项目叫做touchless,现在也更新了叫做touchfree

https://developer.leapmotion.com/touchfree

我们可以下载这个application来进入我们的leapmotion操作之旅了

airtest模拟鼠标滚轮 leapmotion模拟鼠标_计算机视觉_12

下载好之后进行安装,同样安装完毕后会有一个小图标

airtest模拟鼠标滚轮 leapmotion模拟鼠标_硬件工程_13

同样会有一个绿色的圆圈提示已经连接到leapmotion的跟踪服务上,也就是我们之前下载的那个跟踪软件

右键之后菜单中选择setting进入设置界面

airtest模拟鼠标滚轮 leapmotion模拟鼠标_计算机视觉_14

点击camera setup之后选择quick setup

airtest模拟鼠标滚轮 leapmotion模拟鼠标_计算机视觉_15

根据放置的位置选择below

airtest模拟鼠标滚轮 leapmotion模拟鼠标_硬件工程_16

根据leapmotion位置选择below(一般是放在桌面)

airtest模拟鼠标滚轮 leapmotion模拟鼠标_airtest模拟鼠标滚轮_17

手放在leapmotion上方比较低的位置,点一下空格键确认一下

airtest模拟鼠标滚轮 leapmotion模拟鼠标_右键_18

在leapmotion比较高的地方,点击键盘空格键确认一下

airtest模拟鼠标滚轮 leapmotion模拟鼠标_右键_19

以上两步主要是确认识别的范围

然后还需要开启touchfree

图标点击右键,选择start touchfree 

airtest模拟鼠标滚轮 leapmotion模拟鼠标_硬件工程_20

现在就可以用leapmotion来控制我们的电脑了。

1)手移动可以看到有一个圆形的图标在跟着手移动,鼠标不见了

2)手往前的动作是左键单击

另外:

在touchfree的设置界面中,我们也可以选择其他两个设置选项来设置互动方式

5、其他的操作app:aerotouch

https://gallery.leapmotion.com/aerotouch/

这个也是能够代替鼠标在电脑进行操作的application

Gestures (Fingers & Tools):操作方式:

Circle 画圈

Swipe 滑动

Screen Tap 屏幕点击

Key Tap 按键点击

Hold 长按

Move 移动

Point 指

Actions: 操作

System 系统操作:

Open file 打开文件

Open folder 打开文件夹

Check screenshot #2 for all actions  (这个实在没看懂什么意思)

Keyboard 键盘操作:

Press key 点击按键

Hold key 长按按键

Release key 放开按键

Mouse 鼠标操作:

Move cursor 移动鼠标

Drag and drop 拖动放下

Left/middle/right click 左键中键右键点击

Scroll up/down/left/right 滚动 向上向下向左向右

这个要比touchfree更多的配置项

6、开发文档

https://docs.ultraleap.com/

7、demo

https://gallery.leapmotion.com/

总结一下:

1、官网下载跟踪软件ULTRALEAP GEMINI

2、通过可视化软件检查手部骨骼的绑定动作

3、下载touchfree

4、快速设置touchfree

以上,还需要再测试一下再发其他的,下回见