米乐体育官方网站入口专业定制伺服电动缸的电动缸厂家

咨询热线:13905180520
米乐体育官方网站入口

详解Facebook联手OTOY推光场相机 6自由度VR视频不是梦

来源:米乐体育官方网站入口    发布时间:2024-04-30 08:40:19

  Facebook大会第二天,虽然小扎不出来了,但是脸书持续刷屏。F8第二天,脸书曝光了其360视频平台Facebook 360的全新相机,x24和x6,从名字上能够看出来一个足球篮球大小,一个排球大小的全景相机结构。更神奇的是,两台相机结合OTOY的技术,可以在一定程度上完成类似于光场的6自由度360视频体验,并能通过Unity、Unreal、AE等软件组成流水线进行后期处理。

  据悉,Facebook将会找合作伙伴来生产x24和x6相机,产品可能在今年晚些时候曝光,不过定价未知。去年Facebook推出的开源360相机阵列的价格在3万美元左右。

  相对于去年推出的360相机的双锅盖造型,x24和x6采用了球型设计,而且个头都不小,x6看起来有排球大小,x24估计有篮球大小,但是两台设备看起来都十分高端,不仅是渲染图层面,实物看起来也相当有质感。瑞云科技的梁幸尧透露,相机本体是用超高精度5轴CNC智能机器人车床做的一体结构,精度非常高。根据Moor Insights & Strategy的Anshel Sag透露,大一些的x24相机由知名红外成像制造公司英国菲力尔公司(FLIR)制造,小一些的x6则由Facebook的内部硬件团队制造而成。

  目前很多公司都在尝试解决360视频的6自由度问题,就是让观众能够在视频中动起来,前后左右能看到不同的景象,而不单单是转动头部。其中一个解决方案就是光场技术,这其中比较出名的是Lytro。

  不管是光场还是其他技术,要想做到6自由度视频,要解决的都是如何记录深度信息的问题。而这也是怎么回事Facebook会和OTOY公司联手,因为后者将捕捉到的360影像信息看成是一个信息点流,从中提取出足够的深度信息,计算出一个空间范围,让观众能够前后左右从不同角度来观看360视频,“其实就是一个光场了。” OTOY创始人Jules Urbach说到。

  根据Facebook,x24相机能够捕捉每个像素的完全RGB和深度信息。每个信息点会被采样4倍,同时利用深度信息测算算法来捕捉高清影像和深度信息。小一些的x6能够采样3倍信息。x24能够捕捉含有深度信息的1.2亿像素点云,拍摄8K清晰度,每秒60帧的视频。

  即使能测算出深度信息,依然会有深度信息缺失的部分,例如HypeVR使用的激光雷达+光学摄像的方式,虽然能制作出类似于光场的效果的效果,但是被遮挡物体后方还是会形成一个“光场黑洞”,对此,合作伙伴OTOY的详细解决方案是:

  相机的摄像头分布能够创造出精准的重叠部分,而这些重叠视角(x24相机有8个重叠视角)能够补充任何深度信息缺失的部分和阴影;对于远景的深度信息缺失部分,个人会使用启发测算来填补这些缺失信息。

  在F8大会上会讨论一个简单的工作流程,就是在拍摄动态元素之前,先拍摄一个背景环境底版。利用OTOY软件能够很轻松的将这些底版加到影像中,最后,OTOY正在研发一个模板,能够让x24相机进行4-6秒的直线或者环形运动,实现光场捕捉。

  一般360视频相机都有安全距离,即物体如果距离相机太近,就会出现图像缝合问题,变得支离破碎。根据Jules Urbach的说法,x24和x6的安全距离都在1米左右。

  如果只是在360图像添加深度信息,那Facebook和OTOY此次的联手意义也不算深远,更重要的是两家正在和Adobe、Foundry、Mettle等后期软件公司合作研发工具和流程,让6自由度的360视频能融入传统影视后期制作。

  1. 使用Facebook相机拍摄的信息上传到Octane渲染云端被处理成点云信息,然后输出成一个ORBX(带有深度信息的Octane文件)的Scene File。

  3. 经过一系列后期软件出来后,能够生成一个ORBX Media File,这一个文件通过Otoy的合作伙伴就可以在Web、PC和移动端VR头显上进行观看了。

  Jules的视频中,最令人感兴趣的是目前VR开发者最喜欢使用的两个游戏引擎Unity和Unreal都已经支持Otoy的技术,而开发的人能使用游戏引擎来随意改变ORBX Scene File中的360视频,例如改变光照和颜色等等,甚至加入带有互动的元素和物体,创造出类似于游戏一般的实时互动效果。

  从这个角度来说,Facebook和Otoy在软件和硬件端的联手,提出了一个彻底改变VR视频制作和消费的可能方向。

  和去年曝光的360相机不同,今年Facebook的这两款相机x24和x6并没有透露是否会开源。单纯从制作角度来说,新款相机的制造难度就不是一般公司能够制作的,这也是为什么脸书会和指定的合作伙伴来生产相机,而不是像去年一样对大家说用什么配件来组装——今年Facebook即使对大家说怎么做,能没什么人能造出来。

  正如Jaunt VR和诺基亚的OZO,两个告诉360视频拍摄器材更多是选择合作伙伴来使用,或者专业机构来租赁,而非售卖,Facebook的这两款相机估计也会采用合作的形式,给想要尝试的机构和创作者来使用,而制作出来的作品,不出意外的话也会成为Oculus和Facebook平台的独家内容。

  Facebook今天的鸡血打的很好,只是不知道大家何时能用上x24和x6这两台机器,正在F8大会前线的Zcam负责人Jason透露,相机拍出的Demo依然有瑕疵,且真正能用到两款设备还需要比较长的时间。

  从6头Gopro到Jaunt One再到诺基亚OZO,到Lytro、HypeVR和今天的Facebook x24和x6,拍摄硬件的演化证明了要想成为真正的VR内容,带有深度信息的可互动的360视频才是前进的方向,虽然要达成这个目标,尚需一段时日。在那之前,我们可能还是要在3DOF的全景视频中摇头晃脑一阵。