所谓虚拟实境,就是要欺骗人的眼睛和大脑,让虚拟世界感觉跟真实世界一样。目前好的 VR 产品已经在这方面做得相当不错了,但仍有进步空间。下面要说的就是一项可以让虚拟世界更能模拟真实世界的技术。
人眼看世界与 VR 计算材质贴图方式
人眼能看到的范围是有限的,因此产生了一个名词叫人眼视度。人眼视度指的是人不动头时的可视角度。我们身处一个 360 度环绕的世界,但任何时候我们只能看 120 度视度范围内的事物,并且我们的双眼会聚焦在视野中一小块不超过 6 度的区域(中央凹 + 近中央凹视野),周围则是模糊的(周边视野),这就是我们看世界的方式。
顶级的 VR 头显(HTC Vive、Oculus Rift)的可视角度能达到 110 度左右(与眼睛和屏幕之间的距离有关),与人眼视度非常接近。我们在 VR 头显中看到的世界,也只是它的屏幕所显示内容的一部分,而真正聚焦的更是这一小部分中的一小块区域。但是 VR 装置在计算画面时却是对整个视野进行计算,不在人眼聚焦的画面一样在以相同的速度更新。
由于 VR 装置的高分辨率和更新率,这种贴图计算方式需要消耗大量的 GPU 资源,使得 PC 平台的头盔对显卡要求很高(通常在 GTX 970 以上),而行动 VR 则很难达到良好的体验。
不过,一些公司已经在着手解决问题,Nvidia 推出了 MRS(multi-resolution shading)技术,中国公司七鑫易维则希望在此基础上加入焦点算图(Foveated rendering)技术。
分区算图的 MRS
2015 年 5 月,Nvidia 在自家针对 VR 的开发者套件 GameWorks VR 中加入了 MRS 技术。这项技术使得针对 VR 的算图不再是将整个画面以相同的分辨率进行计算,而是分成了几个不同的区域。
画面的中央,也就是人眼在 VR 中看到的主要区域,也是画面没有畸变的地方,会以完整的高分辨率进行贴图计算;而画面的边缘则以更低品质进行算图,再加上边缘的图元经过变形后的损失,可以节省 25%-50% 的图元,理论上可以提升一倍的计算效果。
使用 Nvidia Maxwell 架构的显卡,包括 GeForce Titan X 和 GTX 900 系列,目前都支援这一技术。
在接受雷锋网采访时,Nvidia 全球副总裁、中国区总经理张建中也解释了这项技术:
传统的眼镜都是鱼眼的,传统的 GPU 算图的是长方形,长方形变成鱼眼,用传统的方法去计算是不行的。所以我们想了一个比较聪明的方法,我们把视觉图形分成 9 块,用不同的方式去计算,这样把效率提高大概 50% 左右。结果就相当于以前可能一秒钟计算贴图 90 格,现在可以做到 140 格左右,这样你就可以看到更高清晰度。
焦点算图
中国创业公司七鑫易维目前正与 Nvidia 合作,在 MRS 技术的基础之上,使用眼球追踪技术进一步开发出焦点算图技术(也叫注视点算图),从而进一步缩小高分辨率算图画面的区域。
据七鑫易维 CEO 黄通兵介绍,焦点算图透过近红外感测器对人的眼球进行追踪,判断人眼的注视点,只对注视点区域进行高分辨率计算,而且这个区域会随着注视点的变化而变化。
上图是雷锋网记者在试用注视点算图技术时电脑屏幕显示的画面,可以看到记者的视线焦点停留在小屋上时,画面中只有小屋是清晰的,而周围一大片区域则是模糊的。但是当你戴着头盔看时,几乎分辨不出和没有使用这项技术的画面的区别。
官方表示,这个方案可以在保证使用者体验的情况下,将渲染图元降低到 MRS 方案的 10% 左右,最终适用于 VR 装置的 PC 比率可以提升至 30%。
眼球追踪会对整个画面算图带来延迟,黄通兵表示他们解决了这个问题,他表示目前追踪技术最高可以做到 380Hz 的更新率,如果以通常提供的 220Hz 计算,会给算图带来 5ms 的延时。但是,由于使用焦点算图,GPU 的负担减轻,使得其算图延时可以降低至 5ms,最终使得整体延时仍然低于 20ms。
这项技术也仍有一些问题需要解决,包括针对戴眼镜的用户,眼镜会影响眼球追踪的效果;还有 HTC Vive 这类产品使用的菲涅耳透镜,其同心圆也会干扰到讯号。
国际上亦有厂商在开发类似的技术,包括 Tobii、SMI、FOVE 和 Eyefluence,但是这个领域还没有形成标准。
目前七鑫易维除了跟 Nvidia 合作外,也在跟高通、HTC、Oculus 以及中国 VR 头显厂商合作研究这项技术,具体的产品面世时间仍有待确定,但据悉高通的一体机方案会重点推这个技术,中国的大朋和 3Glasses 也很积极。
(本文由 雷锋网 授权转载;首图来源:达志影像)