Skip to main content
 首页 » AR资讯

让你一秒变动画人物的 AR 应用:Pinscreen

2016年08月18日 15:53:435050ARINCHINA

随着 Facebook 收购 MSQRD 和 Snapchat 收购 Looksery,AR 和换脸将成为移动应用的下一个方向。但是一家名叫 Pinscreen 的 AR 创业公司想在这个领域玩点新鲜的。Pinscreen

让你一秒变动画人物的 AR 应用:Pinscreen AR资讯 第1张

Pinscreen 成立于 2015 年,已经获得了拉克斯资本和 Colopl VR 基金的 1800 万美元的投资。创始人兼 CEO 是 Hao Li,虽然名不见经传,但他曾担任美国南加州大学助教,参与了几部卖座电影的动作研究。

在视觉工作室 Industrial Light & Magic 工作时,Li 开发了一些方便实时动作捕捉工具。他当时的想法是,当演员在电脑摄像头前表演,场景将实时转化成 CGI 角色。

Li 也在其他领域展开过广泛的研究,包括实时制作真人三维模型、真人肖像重点部位捕捉,特别是脸部和头发。最近,Li 和其他研究者一起展示了一个新的研究成果:仅用一个镜头捕捉人的动作,就可以转化成动画角色。

这并不是一个新的概念,有许多其他公司也在做类似的移动应用,甚至更复杂的系统,如 2015 年被苹果收购的 Faceshift(一款运动捕捉工具,它主要用来复制人类面部动作)。

但这些产品大多依赖深度传感器,而 Li 的技术不需要。

「如果有一个深度传感器,你就只需要优化人脸模型参数,使其尽可能接近 3D 输入」,Li 说,「但在纯 RGB(记录及显示彩色图像的一种方式)输入的情况下,整个世界被投影到二维图像中,无法确定焦距。因此,想要得到精确的 3D 面部模型,不仅需要投影图像,还需要处理照明条件、不同主体外观等一系列问题。」

因此,Li 的研究重点在于 3D 化身。当映射人类面孔,处理如头发和眼镜等视觉障碍时,映像程序往往会陷入困境。为了避免这类问题,Pinscreen「建立了一个深层的卷积神经网络,可以不受约束的学习如何分割面部区域」。

所以,Pinscreen 用这种技术做出了哪些成果呢?

「我们将成为一个新型的社交媒体/沟通的平台,具有一些有趣的 AR 功能」,李说,「与 Snapchat 的 lenses 功能或 MSQRD 的应用程序有所不同。」

所以,Pinscreen 的 AR 社交平台不只是一个概念而已。Li 希望能够捕捉人的面部表情,而无需考虑眼镜、头发等可能阻碍摄像机拍摄的问题。在他看来,AR 能够扩展电影、社交和游戏的边界。

这听起来相当具有开创意义,但要注意的是,并不仅仅只有 Li 和他的团队研究这一领域。迪士尼联合一些开发者推出了一个实时面部捕捉工具 Face2Face。前文提到过的 Faceshift、Facebook 和 Snapchat 也开始在这一领域展开研究。

那么,Pinscreen 的技术有什么不同?Li 表示,他们解决方案更强大,可以推断更精确的三维模型,因为他们可以明确地处理遮挡的问题。

「我们最重要的创新之处在于我们能够建立一个完整的 3D 头部模型,能够自动生成包括头发在内的所有图像」,Li 说,「一般来说,这项工作需要一个熟练的 CGI 建模师和装配师合作完成,但我们能完全自动生成」。

「最近在 SIGGRAPH 会议上展示的成果仍然需要输入很多图像,但我们的目标是尽可能减少对图像的输入,最好只输入一个单一的 2D 图像。」

Li 对于 Pinscreen 在社交媒体空间的潜力非常有信心,他说:「我们的技术能普及 3D 化身,必将被用在游戏、VR/AR 沉浸式沟通和 AI 代理。但我认为我们正在开发的社交媒体平台最酷的应用。」

让你一秒变动画人物的 AR 应用:Pinscreen AR资讯 第2张

「最重要的是」,他补充说,「我们要让人们制造出非常有趣的内容,并可以使用真正有趣的 AR 内容相互连接,而不需要昂贵的视觉特效。」

Li 表示,这一技术只是他们整个计划的一部分,这个技术 demo 只是他们想要采用的一个小功能。「Pinscreen 将包含更多有趣的功能,与其他的社交媒体平台很不一样。」

现在,Pinscreen 仍然有点神秘,让我们期待它登陆应用商店吧!

评论列表暂无评论
发表评论