光场的复现包括渲染和显示两个技术环节。由于光场包含了重要的方向信息,在任意指定的对焦平面和视角方向,通过简单的积分方法就可以渲染出所需要的场景。然而,光场数据具有很高的维度,记录到的光场往往因为采样不足造成混迭现象,在渲染的图像上出现“鬼像”。光场渲染中的“鬼像”问题可以通过辅助几何信息进行校正,只需要简单的几何信息,就可以大幅降低重对焦后的图像中的混迭现象。而这些辅助的几何信息直接可以通过光场相机进行深度估算得到,即通过综合利用重对焦、焦扫描和遮挡检测等技术,得到很好的深度图。最终,渲染的光场图像可以通过头盔显示器显示给人眼观看。由于显示在头盔屏幕的是渲染的光场图像,人眼便可以自然地观看VR内容,而不会产生传统VR设备带来的不适感。另外,光场显示设备将是光场VR研发和应用中的关键技术,Magic Leap公司所用到的显示设备就是基于光场的原理。近年来,用于近眼显示的光场头盔在学术界和产业界引起了极大兴趣,这种光场显示设备采用两层LCD液晶显示屏,将光场分解为两幅图像,通过光线调制就可以给人眼重现整个光场,人眼就可以自由地进行重对焦或者改变视角。这种能够重现完整光场的光场显示技术将是光场VR未来发展的热点方向。
光场VR内容制作的挑战
目前国内外光场VR技术研究仍处于起步阶段,美国的斯坦福大学在光场成像和光场显示方面具有深入研究,初创公司Lytro正在研发影视级的光场视频拍摄系统Immerge,NextVR将光场技术应用到全景3D体育赛事直播中。国内上海科技大学等高校已经开展了光场VR方面的研究,相关产品方面,目前仅有叠境数字(PlexVR)利用光场技术进行光场VR的内容制作,包括环视相机阵列光场采集、线阵光场成像、全景3D成像等,已有产品应用到博物馆展品的虚拟现实演示、房地产业的虚拟样板间参观、中共一大会址的3D建模和光场重建等。
目前,VR硬件设备和平台在高科技巨头的纷纷参与下,已经日渐成型并有高品质的硬件产品可用,而VR内容的开发则严重缺乏,尤其是光场VR内容的制作更是处于起步阶段。在虚拟现实的产业链生态系统中,内容的制作必然占据整个行业拼图中的很大份额,VR内容制作中涉及的拍摄硬件研制、软件开发和内容显示等都是关键的核心环节,是一个软硬件充分结合的产物,因此存在巨大的挑战。在产业形成的初期,我国与世界领先的VR技术差距还不明显,因而具有很大的发展空间和潜力,应尽快提高VR内容制作方向的竞争力,占据全球行业发展有利地位。
光场VR是世界上最新的虚拟现实制作概念和技术,对提高VR沉浸感体验具有极大的作用,也是能够改变整个虚拟现实领域的颠覆性技术,我国极有可能抢占光场VR技术研究和应用的领先地位。不论是光场VR的基础理论研究,还是应用开发,我国应加快相关的人才培养、应用普及和政策扶持,为已经来临的VR产业大发展做好充足的准备工作。