上海科技大学教授 虞晶怡

虚拟现实（VR）在经历了几十年的发展和技术储备后，近几年呈现出井喷式增长，美国高盛公司2016年初预测，虚拟现实和增强现实将继个人电脑和智能手机之后，成为下一代的大型计算平台，其产生的新的市场规模在未来十年内将有望达到800亿美元。在VR的竞技场里，诸如Facebook、Microsoft、 Google等高科技巨头纷纷加入角斗，更有数量众多的初创公司推动VR技术的飞速发展。由于技术的发展和资本的注入，一个新的虚拟现实产业生态正在形成，市场的期望为虚拟现实相关的各个行业提供了广阔的发展机遇，也对虚拟现实技术的突破提出了巨大的挑战。

虚拟现实的目标是通过计算机、电子、通信等技术的结合，创造出人眼无法分辨的虚拟场景，使人们能够产生身临其境的切身体验，犹如沉浸在这种虚拟的环境一般。为了使虚拟现实内容更舒适而且真实地被人眼所接受，虚拟现实设备必须产生符合人眼在自然状态下观察物质世界习惯的场景，然而，现有的VR技术并不能完全满足这样的需求，由此带来的沉浸感不足、交互感低和健康等问题造成VR体验还远远低于人们的预期。近年来，计算成像领域的光场技术凭借其能够捕获完整高维度光场信息的能力，为突破虚拟现实中的技术瓶颈提供了绝佳的解决方案，从而能使人眼真正获得“眼见为实”的沉浸式体验。

人眼无法分辨的虚拟与现实

人的眼睛是获取外界信息最主要的渠道，经过长时间的生理进化和日常训练，人眼形成了感知外部世界的一种本能，其中很重要的一点就是感知深度信息，这包括双目视差、运动视差、单目遮挡和聚散度等几种方式。在佩戴头盔的情况下，人眼实际是聚焦在头盔的屏幕上，而虚拟现实则试图“欺骗”人眼和大脑，仿佛双眼是聚焦在不同的距离。当显示的内容稍有差错或延迟，人眼就会敏感地察觉到，并造成相应的神经系紊乱，引发诸如头痛、眩晕、疲劳等不适症状。

实际上，当人在自然状态下观察目标时，眼睛是在不断变焦的，并且能够通过前庭视反射消除画面切换时的抖动和模糊。这是因为在人眼的周围有无数的光线，眼睛通过不断地改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动，人可以在很大的范围内不断地聚焦在所关心的物体上。也就是说，人需要时刻感知到周围来自不同位置和方向的光线，这就是光场。因此，虚拟现实要呈现人眼无法分辨的虚拟内容，就必须要借助光场技术来记录外部世界的完整信息，并将这些信息无损失地复现出来，才能使人眼获得在自然状态下观看的真实感觉。

传统的虚拟现实之所以不能完全符合人眼的观察习惯，就是因为其缺乏完整的光场信息。例如，人工合成的360°全景图片或视频，并不是真正的虚拟现实，因为这些图片或视频缺乏立体视觉效果。但是，即便采用了立体相机拍摄了三维空间信息，获得了双目立体视差，也并不是真正意义上的虚拟现实，因为这样的系统仍然缺乏运动视差，不能形成走入走出的沉浸感，只适合观看。再进一步，完美的沉浸感还需要加入聚焦信息，即人眼对焦在不同深度时，双眼的聚散程度不同，对焦所在的平面是清晰的，而其他平面则应该是模糊的。传统的VR系统完全没有提供对焦信息，整个画面都是清晰的，这就造成了人们长时间佩戴头盔后产生的各种视觉上的不适症状。真实世界的光场是四维数据，只有完全记录光场信息，并且不失真地重现出光场，虚拟现实所需要的沉浸感和走入走出效果才能淋漓尽致地表现出来。

光场的记录和复现

对于VR应用，光场是解决浸入感瓶颈难题的有效方法，其中的关键技术包括光场的记录和复现。光场信息包括二维的空间信息和二维的方向信息，目前主要有两种方式采集光场：相机阵列和微透镜阵列。麻省理工学院和斯坦福大学先后采用多相机阵列的方式搭建了光场采集系统，从每个相机拍摄到的图片进行重构，计算出四维光场。斯坦福大学的Ren Ng则采用把微透镜阵列置于探测器附近的方式，设计出单镜头的光场相机，通过重构算法得到完整光场。光场相机能够实现先拍照后对焦的功能，初创公司Lytro先后发布了两款基于此原理的光场相机，另外德国的Raytrix公司也有类似的产品问世。对于VR应用，Lytro也采用光场技术，准备发布一款名为Immerge的光场虚拟现实摄像设备，能够拍摄360度的全景光场信息。不管采用相机阵列还是光场相机，一旦四维的光场信息能够完整记录，就可以在后端的显示设备中进行光场复现。

光场的复现包括渲染和显示两个技术环节。由于光场包含了重要的方向信息，在任意指定的对焦平面和视角方向，通过简单的积分方法就可以渲染出所需要的场景。然而，光场数据具有很高的维度，记录到的光场往往因为采样不足造成混迭现象，在渲染的图像上出现“鬼像”。光场渲染中的“鬼像”问题可以通过辅助几何信息进行校正，只需要简单的几何信息，就可以大幅降低重对焦后的图像中的混迭现象。而这些辅助的几何信息直接可以通过光场相机进行深度估算得到，即通过综合利用重对焦、焦扫描和遮挡检测等技术，得到很好的深度图。最终，渲染的光场图像可以通过头盔显示器显示给人眼观看。由于显示在头盔屏幕的是渲染的光场图像，人眼便可以自然地观看VR内容，而不会产生传统VR设备带来的不适感。另外，光场显示设备将是光场VR研发和应用中的关键技术，Magic Leap公司所用到的显示设备就是基于光场的原理。近年来，用于近眼显示的光场头盔在学术界和产业界引起了极大兴趣，这种光场显示设备采用两层LCD液晶显示屏，将光场分解为两幅图像，通过光线调制就可以给人眼重现整个光场，人眼就可以自由地进行重对焦或者改变视角。这种能够重现完整光场的光场显示技术将是光场VR未来发展的热点方向。

光场VR内容制作的挑战

目前国内外光场VR技术研究仍处于起步阶段，美国的斯坦福大学在光场成像和光场显示方面具有深入研究，初创公司Lytro正在研发影视级的光场视频拍摄系统Immerge，NextVR将光场技术应用到全景3D体育赛事直播中。国内上海科技大学等高校已经开展了光场VR方面的研究，相关产品方面，目前仅有叠境数字（PlexVR）利用光场技术进行光场VR的内容制作，包括环视相机阵列光场采集、线阵光场成像、全景3D成像等，已有产品应用到博物馆展品的虚拟现实演示、房地产业的虚拟样板间参观、中共一大会址的3D建模和光场重建等。

目前，VR硬件设备和平台在高科技巨头的纷纷参与下，已经日渐成型并有高品质的硬件产品可用，而VR内容的开发则严重缺乏，尤其是光场VR内容的制作更是处于起步阶段。在虚拟现实的产业链生态系统中，内容的制作必然占据整个行业拼图中的很大份额，VR内容制作中涉及的拍摄硬件研制、软件开发和内容显示等都是关键的核心环节，是一个软硬件充分结合的产物，因此存在巨大的挑战。在产业形成的初期，我国与世界领先的VR技术差距还不明显，因而具有很大的发展空间和潜力，应尽快提高VR内容制作方向的竞争力，占据全球行业发展有利地位。

光场VR是世界上最新的虚拟现实制作概念和技术，对提高VR沉浸感体验具有极大的作用，也是能够改变整个虚拟现实领域的颠覆性技术，我国极有可能抢占光场VR技术研究和应用的领先地位。不论是光场VR的基础理论研究，还是应用开发，我国应加快相关的人才培养、应用普及和政策扶持，为已经来临的VR产业大发展做好充足的准备工作。