“掌握核心科技”：引领VR/AR发展的八项核心技术

VR今年是火的一塌糊涂，今年也被业内人员公认为VR元年，各路想分一杯羹的厂家蜂拥而入，不过谈到所谓的核心技术，大部分的厂家就只能支支吾吾了。

那么真正引领VR迭代升级的核心技术是什么呢？一些方向科技界已取得了很大的突破，但因为其他几个关键方向的落后，导致现有的VR体验还不尽人意。

1.超高清显示屏：4K很快实现、8K也不遥远

目前无论是Oculus、VIVE、PSVR都只能实现单眼1080P、双眼勉强达到2K的分辨率，稍关注手机设备的同学会注意到一个诡异的现象，就是目前主流的智能手机的分辨率也是2K，事实上PC/主机VR所广泛采用的OLED显示屏与手机厂商采用的显示屏是一个标准，本质上来看，独立头显相比智能手机在成像质量上没有差别。

造成移动VR图像质量差于独立头显的原因是，独立头显是为VR定制的，在同样性能的屏幕使用上独立头显更为科学、实现的VR视场角更大罢了，目前来看，以VR头显较低的出货量还不可能出现所用屏幕元器件高于智能手机平均标准的情况，像市场上出现的号称5K怪兽级的VR头显，本质上并未提升多少画质、增加的是视场角，但画面模糊视场再大有个鸟用，画质关键要看屏幕的PPI。

“掌握核心科技”：引领VR/AR发展的八项核心技术（图1）

要模拟人眼有效视场角内的图像清晰度，根据AMD的测算，屏幕需要达到单眼16K的分辨率，而目前三大头显的单眼分辨率仅1K，差距还有16倍。从VR设备升级的方向来看，gamelook认为最为标准的升级路线是单眼2K、4k、8k，每一代产品间隔2-3年的时间。从现在已出现的量产智能手机来看，SONY已发售了4K分辨率的智能手机、兑现到VR其等于单眼2K分辨率，而随着未来1年内4K屏开始迎来大量出货（希望国内手机厂商不再提什么4K屏性价比），那么VR将迎来一次关键性的画质升级。

如果说单眼16K是最顶级画质、甚至堪称浪费，那么8K能叫非常优秀，4K已经叫优秀，在gamelook看来，VR达到单眼4K画质是将是步入成熟阶段的标志，而目前从OLED的技术工艺来看，已具备很强的可行性。据媒体报道，富士和纳米电子研究机构IMEC的合作实现了全彩OLED的光刻胶（photoresist）技术，有望将OLED屏幕突破1000PPI，IMEC研究人员已乐观估计实现手机屏幕8K分辨率的可行性。

在这里gamelook谈下光刻技术，目前intel公司正在突破10纳米芯片生产工艺、运用的正是光刻技术，而OLED达到8K屏幕的像素密度距离是多少呢？15μm，而15μm=15000nm，采用光刻技术，未来屏幕分辨率未来的提升的速度也许会比我们想象的要快的多。

2.光场成像技术

实现更加接近人眼的虚拟环境，一个很重要的技术方向就是光场成像，这也是全球估值最高的AR公司Magic Leap公司的看家本领，而Magic Leap公司为了兑现这个概念，不同于VR的硬件同行，他们自行开发最基础的元器件，这也是他们牛的地方，也是全球最值得期待的创新，所以公司员工人数超过了1000人。

但gamelook需要强调的是，光场成像并不能有效解决图像分辨率的问题，也许这句话说的不完全准确，图像的质量依然得看类似的显示屏的突破。光场形成图像的原理，较多媒体都提到了Magic Leap借用了医用内窥镜的成像原理，说的简单点，就是一个投影仪，只是Magic Leap把这个投影仪元器件做的足够的小，甚至用到光纤传输图像，但生成图像gamelook认为其还是在使用成熟的LCD、LED来实现，而只要使用这类技术又回归了第一个问题：像素密度的提升、PPI的提升。从Magic Leap之前放出来的多段演示视频来看，Magic Leap并未能解决图像质量的问题。

光场成像最重要解决的是虚拟图像对人类的真实性，技术上来说，它实现了三样东西：立体视差、动态对焦、运动视差，有了这三样图像才算真正骗过了人脑，用户在身处虚拟世界的时候才不会认为假。

光场成像毫无疑问对VR/AR来说是革命性的、算得上核心技术，但在gamelook看来，对已经实现3D空间建模的VR游戏来说，光场却未必是必备项，依靠游戏引擎的实时渲染、和眼球追踪可以通过变通的方式来忽悠到大脑，因此光场对游戏来说是一个体验的增强功能。不过，光场对于AR增强现实应用来说，却是非常重要的功能，如果不能与现实场景有效融合，AR体验将非常古怪。

3.眼球追踪及图像算法：对VR游戏至关重要

上文提到了光场，其中提到了光场实现立体视差、动态对焦、运动视差，而要实现光场成像，一个最基础的技术就是对用户的眼球追踪。

眼球追踪看似比较高大上，其实实现的原理也是很简单的，就是通过摄像头捕捉人眼瞳孔的位置，这个其实目前已经有手机应用实现了这个功能，gamelook推荐大家到appstore下载一个老外学生团队做的app，名叫：i3D，基本展示了如何捕捉眼球的原理和实际效果，只是这个app较为简陋捕捉的是人眼的位置，而不是瞳孔的精确位置。而眼部追踪，在用户体验研究领域已经有了现成的眼动仪设备，国内一些大的游戏公司都有装备。

“掌握核心科技”：引领VR/AR发展的八项核心技术（图2）

在眼球追踪技术方面，国外有一家代表性的德国公司，名为SensoMotoric Instruments（简称SIM），成立于1991年，是一家眼球跟踪技术老牌公司。SIM的眼球追踪工作原理是使用红外线发射器包围每一个镜头的边缘。红外线人眼不可见,但会被安装在头显内部的两个Omnivision 250Hz相机传感器收集。使用SMI专有的Oculus跟踪SDK可以告诉计算机当前用户聚焦的具体位置。所有这些信息由硬件和软件在低于2毫秒的时间里处理完成,不但流畅,最为重要的是很精确。

“掌握核心科技”：引领VR/AR发展的八项核心技术（图3）

基于精确的眼球追踪，SMI提出了Foveated rendering漏斗渲染技术,旨在让计算机重点处理用户眼睛所关注的画面。当你观察一个物体,事实上只有一部分是完全清晰的,大约在你视线中心的10%~20%范围,然而周边视觉是越来越模糊。使用眼球跟踪结合Foveated rendering技术能够只渲染你看到的全部画面的一部分,但关键的地方在于它速度必须要快,快的连用户不会察觉到它,否则会有一堆模糊的区域在追赶你眼球所到达的地方。适当使用foveated rendering技术,SMI可以让图形性能提升至“2~4倍”，有效减轻了GPU的负载，这项技术对VR游戏来说至关重要，毕竟游戏是实时渲染、尤其是3D游戏随着画质的提升渲染图像将成为VR游戏不可能完成的任务。

通过3D游戏引擎空间建模来模拟光场成像、结合眼部追踪、foveated rendering，可以说即使没有Magic Leap的存在，游戏产品也能达到以假乱真的最真实体验。

4.高速无线WIFI技术

现如今Oculus、VIVE、PS VR头盔都有一个重大的BUG，那就是头上一堆缆线，极影响用户体验，为什么不能广大用户普遍默认的无线传输的方式，原因出在无线WIFI的数据传输速度上已满足不了VR的数据传输要求。

目前1080p高清格式需要传输速度为2.2Gbps，能满足如此高速图像传输的只有HDMI接口，依靠现有的WIFI和4G技术很难把图像实时传输到VR头显或手机上，而没有高速的传输，无论是用户观看VR视频、还是游戏都存在数据传输的瓶颈，必须牺牲图像的质量，而随着VR图像可预见的继续提升画质到4K乃至8K，无论是图像的无线传输、还是图像的编解码难度还将进一步的加大。

先不谈无线通信网，哪怕只要实现室内的WIFI高速数据传输，那么VR头显就可以去掉那一堆线缆，可惜从目前来看，5G无线传输也只是刚够目前的VR硬件的数据传输要求。从目前的技术条件来看，独立VR头显的一把线短时间是剪不断了，对移动VR来说、高质量的在线VR视频短期还难以实现，更多只能靠用户提前下载。

“掌握核心科技”：引领VR/AR发展的八项核心技术（图5）

​高速无线传输的难题如何解决呢？得看华为、中兴、思科这些通信设备商的研发速度了，从目前科研人员的实验成果来看，intel本月刚展示了使用WiGig标准的WiGig VR设备，而WiGig可实现7G的传输速率，但延迟问题还有待解决。

5.体感技术

在虚拟现实环境中，用户看到自己的双手、能用自然动作进行交互只能依靠体感技术。

现如今，可以说VR核心技术中最为成熟的就是体感技术，无论是VIVE率先实现的激光定位、还是PS、xbox kinect、Wii较早实现的体感技术都可以成熟的实现用户所需要的体感功能。

“掌握核心科技”：引领VR/AR发展的八项核心技术（图6）

在这个领域，对VR/AR硬件来说，最迫切需要的是低成本的体感技术，这里已经炒作了数年的Leap Motion毫无疑问是一个现有的最佳选择。而Leap Motion经历了一轮低于预期的发售之后、也开始日益重视其在VR/AR应用环境中的使用，过去一年一直在这个VR领域发力，其高管曾表示，未来Leap Motion主要卖体感模块、单个售价5美元，可以跟广大的VR硬件公司合作，目前国内暴风魔镜5 plus已采用这项技术，不过gamelook实际测试下来Leap Motion的体感准确性、相应速度还有待进一步提升。

在gamelook看来，现在比较奇葩的是，体感技术的多样化和复杂化，除了现有的手柄之外，现在比较出名的体感设备有Virtuix Omni的跑步机，Thalmic Labs公司推出的捕捉人体肌肉信号的MYO腕带，Manus公司的体感手套，还有日本各种体感成人玩具。只能说在体感这条道路上，萝卜青菜各有所爱，用户各取所需，但一个标准化、廉价、具高精准性操控的体感方案对行业更为重要。

6.实景3D建模

实景3D建模其实是一项发展比较久的技术，最早主要运用于军事、遥感测绘领域，而随着AR的崛起，尤其是Magic Leap、微软大力推动AR，民用AR极其迫切的需要实景3D建模技术的突破。

在这里，gamelook推荐一个比较牛的欧美公司，PIX4D，这家公司主要是地产、建筑行业服务，笔者第一次见到这家公司的建模演示还是在大疆的新品发布会上，其通过无人机航拍可以快速对城市、建筑进行3D建模，看完那个效果简直惊呆了。

“掌握核心科技”：引领VR/AR发展的八项核心技术（图8）

而对AR来说，需要的是实时、高速、准确的真实场景的3D建模，在快速形成的真实空间模型上、叠加虚拟图像，二者结合才会是最佳的AR体验，像pokemon Go这样的低质量AR效果显然是不合格的。很有意思的是，Magic Leap公司刚刚收购了一家由两位清华毕业生创建的3D建模公司，看来中国团队在这块并不落后于海外同行。

建模的重要性毋庸置疑，在AR重要的应用场景上，尤其是电子商务、地产、医疗、科研、军事等领域，急需要这项技术的突破。

7..GPU与CPU与存储

再来说说制约VR/AR的一项核心技术，就是芯片了，包括GPU、CPU、存储芯片，图像渲染靠他们、存储超大容量的VR游戏、VR视频得靠他们，目前来看，GPU对VR来说瓶颈更为明显一些，尤其是是智能手机上体现的更为明显，目前GTX970、GTX 1070这些VR入门独立显卡售价依然在2000元以上实在是让用户很受伤，性价比非常重要。

8.高容量电池

对VR设备、尤其是移动VR来说，没电玩个球。高能量、低重量的电池势在必行，以目前的SONY 4K手机来说，开启4K播放视频手机只能支撑2-3个小时就宣告没电，这还只是播放视频，如果运行VR游戏耗电量还得飙升。