Skip to main content
 首页 » AR资讯

AR技术打造 「虚拟演播室」求爱之路

2016年08月30日 22:24:273660ARINCHINA
在上周我们对「东京 8 分钟」进行了五大猜测后,有读者在后台留言表示 AR 的应用在我们国内并不是新鲜事,《财经郎眼》节目早已使用了这项技术,不值得我们如此「大肆宣扬」。

我们认真观摩了《财经郎眼》,其 AR 效果确实令人印象深刻。我们在观看节目时,发现了屏幕下面的小广告——「现场 3D 特效 VIZRT」。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第1张

顺藤摸瓜,我们找到 VIZRT,果不其然采用的是 AR「虚拟演播室」技术。

「虚拟演播室」技术早在 1978 年就有人提出, 但是长期受制于计算机硬件运算速度和图形图像处理能力,该技术并没有得到普及。

早期的 AR 系统有日本 NHK 的 Synthevsion、法国 INA 的 Synthetic 等。90 年代中后期,伴随着计算机硬件的发展,许多厂商纷纷把产品推向市场,其中代表性公司有 : GMD 公司的 3DK 系统、以色列 ORAD 公司的 Cyberset 系统、美国 Acom 公司的 Elset 系统、以色列 RT - SET 公司的 Larus Otus 系统、美国 Evans and Sutherland 公司的 Mindset 系统等。

目前,该技术在中央电视台、各省级电视台、教育行业及各大企业等视频节目得到广泛的应用,增加了节目的趣味性和互动性。那么,「虚拟演播室」技术乎用户报告=是如何实现的呢?

其实正如我们追求妹子一样,这是一个「求爱」过程。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第2张

「神技」的求爱之路

制作虚拟演播室所需材料:

一个房间

一个蓝箱
一个主持人(如果需要的话)

一个摄像机组

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第3张

其中,摄像机组是由一个虚拟摄像机和N个真实摄像机组成。

真实摄像机用来拍摄真实场景,虚拟摄像机拍摄的是虚拟场景。拍摄过程中需要对摄像机的位置、方向和镜头等参数进行追踪,然后将这些数据传递给计算机。计算机生成虚拟画面,使虚拟摄像机和真实摄像机达到同步效果。

找「对象」

想谈恋爱必须得先有个对象啊,同样,摄像机必须找到「对象」才能进行绘制。

专业一点来说,这个过程叫追踪。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第4张

摄像机的追踪方法主要有四种,分别为图像识别定位跟踪技术、传感器定位跟踪技术、红外线定位跟踪技术和超声波定位跟踪技术。

其中应用最多的是传感器定位跟踪技术。这种方式是在摄像机上安装运动参数编码器,通过此编码器,可以获得摄像机的俯仰、摇摆、变焦和平移等信息和活动参数。该技术可以支持多台摄像机同时工作,并且不需要进行太复杂的运算。通过传感器获得的数据基本没有延迟,参数也十分精准。

需要注意的是,这种方法需要对每一台摄像机安装传感器,而且当定位系统发生重启时,虚拟演播室需要进行再次校正。

为那个Ta,精心准备一份「礼物」

动画制作直接影响着节目的质量。虚拟演播室就是一个计算机图像产生与合成系统,利用计算机将演播室的观念「物化」,在制作手段上突破了传统制作手段的束缚,使演播室不再受时间和空间的局限。

动画师在计算机上借助 3D Max、MAYA 等三维动画软件制作虚拟场景。这些软件可以进行贴图的无缝拼接,添加自然的表面纹理,拥有真实的光照系统。做出的虚拟场景十分逼真,可达到以假乱真的效果。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第5张

不过,虚拟场景每帧只有 20ms的渲染时间,所以这计算量对计算机的要求也是很高的。

在合适的时间送上合适的「礼物」

最后的视频合成环节使用了抠像和键控技术。对摄像机拍摄到的真实人和景进行抠像处理,然后将抠出的「像」与制作好的虚拟场景合成在一起。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第6张

场景的制作、修改、保存等都在计算机上进行,制作和更换电子布景快捷简便,节省了大量的人力、物力、财力,而且缩短了节目制作周期,提高演播室的利用率。

表白成功后,故事还在继续......

「虚拟演播室」主要应用在中小规模演播室中,这些栏目场景有不少共同点:场地不大且更换频繁,演播人员少,摄像机也比较少,背景颜色和实景颜色好区分。

近年来 , 随着「虚拟演播室」技术的发展 , 图像的质量越来越高 , 其应用范围也超出了演播室本身,一些大型体育赛事中也开始采用这种技术。

挪威 TV2 电视台曾使用Sixty 公司的 AR 解决方案,用 AR 播报 2015 世界女子手球锦标赛。节目中采用了多种 AR 技术的组合,包括球员的个人简历和照片、3D 球场模型、球员队形模拟以及下一场赛事的预告等。此外,节目还利用动作捕捉技术来采集运动员的信息,并把将此运动信息运用到 AR 场景中,方便 TV2 体育节目主持人能迅速地为观众解析现场赛况。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第7张

回顾「东京 8 分钟」的五大猜想

「东京 8 分钟」有可能采用的是「虚拟演播室」吗?我们文章中的第三种猜想便是如此,那我们不妨展开分析可能性。

在摄像机追踪方面,现场应该不会采用图像追踪法。毕竟现场光线比较暗,这对图像识别来说太具挑战性,同时灯光的明暗变化对识别的稳定性也有很大影响。

至于红外线定位法和超声波定位法,这两种方法都需要提前在场景中布置及校正发射器。在闭幕式中有关 AR 的镜头才 27 秒,彩排却需要很长时间。这从节目安排角度来看,可能性不大。

所以,最有可能的还是传感器定位法。这种方法技术比较成熟。在「东京 8 分钟」27 秒中,我们看到转播多次进行镜头切换,来代替镜头的实时跟踪,这就无需实时生成虚拟场景,可以分开计算并绘制出每个摄像机对应的画面。不要小看这几个镜头切换,它们可以大大减小实时渲染成本。

当然,视频中的一次 360°镜头环绕,很明显是个 CG。

 AR技术打造 「虚拟演播室」求爱之路 AR资讯 第8张

日本是的渲染技术相对比较成熟。所以虚拟场景生成部分,对它们来说应该不是问题。但是能够做到如此精致,以假乱真的程度,代价也是挺高的。

我们后来找到了一个网友在现场录制视频——

然视频不够清晰,但是还能看清当红球被点亮时,场景上方是没有任何东西的。这也说明了 27 秒的 AR 展示只是作为现场节目的「转场」,所以「虚拟演播室」是最安全且效果又好的实现方法。

换言之,现场「东京 8 分钟」中的 AR 炫技最有可能采用的就是「虚拟演播室」技术。

最后特别感谢,各位读者给予的宝贵建议,以及亮风台算法研发工程师蒋佳忆博士对本文的大力指导~

评论列表暂无评论
发表评论