Skip to main content
 首页 » AR资讯

VR/AR中自然手势交互的必要

2016年09月06日 20:32:5911730

专家介绍

毛文涛,uSens中国研发中心技术总监、首席研究员,计算机视觉及机器学习专家。先后在三星研究院、百度从事人体姿态估计,手势识别等工作,拥有多篇国际论文及若干国际专利。2015年加入凌感,他希望为用户搭建一个“超级现实Super Reality”的平台,让人们在真实与虚拟世界中,无缝实现完美的相互表达和沟通。

我们希望能够实现,客观世界、虚拟世界和人三者融为一体,我们把这种体验称为“SuperReality超级现实”,打通这三者沟通壁垒,建构一个能够互相之间自然的表达和智能的理解的平台。我们只是在这个方向上迈出了一小步,正在尝试和摸索中。

VR/AR中自然手势交互的必要 AR资讯 第1张

2016年我们努力的四个方向

很多人对我们的产品名字——Impression Pi到底什么意思很感兴趣,其实它承载了我们的愿景,基于现实,超越现实,通过它将科技与艺术相结合,做一个VR/AR界里面的印象派。目前,我们研发融合AR+VR+六自由度头部跟踪+26自由度三维自然手势追踪的设备,它会有4个特点:移动性、AR/VR的无缝切换、6个自由度的头部跟踪、26个自由度的自然手势跟踪,这也是uSens凌感2016年的产品方向。这条路很长,我们作为先期实践者,也需要开发者一同努力,去构建“人、客观世界、虚拟世界”三者间自然的交互平台。我们将硬件、软件、SDK等开放给开发者,跟我们一起去打造一个更具想象力的超级现实。

为开发者带来新的想象空间

为开发者带来新对于开发者来说,这些特点能够提供哪些新的想象力呢?

VR/AR中自然手势交互的必要 AR资讯 第2张

首先,自由在VR/AR中切换,这样我们将不再局限在虚拟内容上,而是可以和身边的物体进行交互,来开发游戏或者各种应用。我们看到了VR AR之间的切换的确给人带来很多不同的体验,我们的兵马俑demo只是抛砖引玉,希望未来大家和我们一起开发出更多有想象力的应用和游戏。

其次, 就是3D的自然手势交互,它包括: 最基础的第一层次--静态手势,它能实现的是一些很简单的动作手势,但体验不够自然。假如你要拿起一个苹果,并不是在苹果旁边摆一个抓取的姿势,说:“嘿,我已经放了2秒了,你该上来了。”这是不科学的,因为不是人类的正常交互,而应从你去触碰到苹果的那一瞬间,苹果在慢慢地被你拿起。第二层是动态手势的识别,它不光支持静态手势的动作,它还可能会有一个时间序列来进行手势识别,比如说手的挥动、手的点击等,比如: uSens开发的Pi Ui可以通过手势在主界面中进行菜单的滑动、翻页、选择等。这种算法已经能给人相当好的感受,让人觉得很自然,感到自己已经能用手去操作了。

但是这还不够,最后一个层次就是自然手势跟踪,这个就是不再拘泥于某一个静态手势,或者某一个短时间的动态手势了。它是从头到尾时刻都在跟踪用户的各种复杂动作,提取手的所有关节点,并且持续理解这些动作的含义,时刻知道你在做什么,和人的自然交互是一样的。

自然的手势跟踪真的很必要吗?

为什么我们一定需要这样的手势呢?如果我只是跟踪了手的位置,然后按个按钮就好了,为什么我们需要大费周章的去弄那么多的关节点呢?那我得先来分析下人在做动作的时候如何感受“真实”了。

大家闭上眼睛,想象你前面有一个苹果,然后假象自己去抓起这个苹果,你是不是能感受到自己已经拿起了苹果呢?大家会觉得很神奇,的确我们在用手去抓苹果的时候,我们仿佛真的感受到了苹果的存在。所以说人感受动作的真实主要是分为两部分:动作本身和外界反馈。而这个动作本身需要符合我们人的经验知识和认知。

我们再做一个实验,还是闭上你的眼睛,想象你前面有一个苹果,但是这次只允许你握着拳,不允许张开手,然后去拿起苹果,这时候你能感受到那个苹果随着你的拳头一起起来吗?很难吧,这就是因为它违背了我们人的认知,违背我们长期以来的本能反应。所以我们一定要做符合认知的动作,这是感受到真实的第一步,然后基于这个,再加上声音的反馈、交互的反馈,比如苹果起来了,还有力的反馈等等,人就能真正的体验到真实了。这就是为什么我们要花精力去做自然手势的跟踪。

但是可能还有一个疑问,这有必要吗?我们现在的游戏没有它不是好好的吗?我想说不是手势没用,不是我们不需要,而是我们还没有在自然手势交互这块有太多的想象力,还没有真正的技术去支持这个东西。

你可以想象下,游戏中添加很多丰富的动作,能够提升很多游戏的交互维度,带来新的体验。我们的一个合作方之前开发的一款很有名的VR游戏—猜拳岛,你可以在其中玩石头剪子布来进行攻击,这就打破了简单的点击移动操作的框架。再比如,在解谜游戏中,加入了自然手势,我们可以轻轻触碰、抓取、翻开道具,甚至我们可以手拧螺丝刀,可以任意在道具中翻箱倒柜,这是将会是多么好的体验。我从小就喜欢七龙珠,可能很多人都看过,第一次接触VR的时候就在幻想着有一天我能亲手发出一个冲击波试试,通过我的不同手势控制能量的大小,这应该非常的炫酷。

所以自然的手势跟踪是真正的AR/VR所必须的,我们需要能准确快速的识别复杂动作,并且作为SDK提供给开发者只需要占用很少的资源。目前我们正在不断优化,已经可以实现很多复杂动作的识别,握拳、遮挡等等。

VR/AR中自然手势交互的必要 AR资讯 第3张

我们想做的就是让你在虚拟世界,随意走动,随意交互,现在来看,唯一限制你的不是技术,而是你的想象力!


评论列表暂无评论
发表评论