七鑫易维助力华为打造5.5G XR 3D视觉原型系统

在今年的华为MBBF论坛上,七鑫易维、华为和西安电子科技大学联合推出了适用于VR/AR头戴式设备的XR Pro 3D全息立体视觉原型系统。

在VR/AR头戴式设备中,因为显示模块采用定焦屏幕,所以一直存在一种缺陷,即视觉辐辏调节冲突(Vergence-Accommodation Conflict,简称VAC),简单的说,就是用户双目视差形成的深度感知和单目焦距形成的深度感知是具有差异性的,恰恰正因为这种感知上的不同会让大脑产生冲突感,从而会让用户对VR画面产生不适,这就是为什么有一部分人观看VR画面的时候会产生眩晕感的原因原因所在。

其实在真实世界,人眼未注视的焦平面在视网膜中形成的图像是模糊的,这种模糊线索可以让人判断物体所处的不同距离,但人是无法通过定焦系统进行模糊线索来进行距离判断,所以很容易形成虚拟物体距离和大小的视觉错觉。

如果想解决该问题,就需要VR/AR采用变焦系统,让用户注视不同深度的画面信息时,画面变焦到相应的焦平面,使双目视差形成的深度与单目焦距形成的深度感知保持一致。在变焦系统尚不成熟时,可采用光场数据结合焦平面解码,形成不同焦平面的模糊线索,模拟真实的3D全息视觉。

图:当观察近处的玩具兔时,远处的相框会呈现视觉模糊,当观察远处的镜框时,则近处的玩具兔呈现视觉模糊

为此,七鑫易维、华为和西安电子科技大学联合推出了这套适用于VR/AR头戴式设备的XR Pro 3D全息立体视觉原型系统,以华为的VR Glass为硬件载体,加入七鑫易维的眼球追踪功能,借助其眼球追踪算法,高速检测用户眼部信息,计算出用户的注视深度,并利用其自主专利技术中的深度感知方法,通过AI识别和碰撞检测相结合的方式,大幅度提升了用户感知的深度范围和精准度。

图:华为VR Glass和七鑫易维眼球追踪模块

而在上述解决方案中,需要实时获知用户的双目视差注视深度,否则系统并不知道应该采用的平面焦距。西安电子科技大学在本方案中提供了光场图像数据及其实时解码,当用户注视不同深度时,所注视焦平面会被清晰解码和显示,其他焦平面的图像则和真实视觉类似呈现视觉模糊线索,从用户角度看,与真实世界感知更加接近,大幅度降低了VAC带来的冲突感和视觉错觉。

图:眼球追踪与光场数据结合展示不同焦平面显示效果,实现真3D全息视觉

该方案的最终实现离不开高带宽、大算力的支持,借助5/5.5G网络的确定性传输能力和云端算力,使之成为可能。但值得注意的是,由于3DOF注视点的运动预测极为困难,网络传输带宽和时延要求相比当前的VR业务要更高。

从传统的液晶显示到全新虚拟屏显,通过双目视差的原理,VR/AR为人眼带来了立体视觉,但是由于每只眼睛的屏幕仍然是定焦屏幕,所以该立体视觉从本质上讲仍然呈现的是2D画面,无法解决VAC带来的视觉错觉与疲劳。本次三方联合推出的方案,能通过深度信息的视觉变化,真正模拟了人眼的主观效果,消除视觉错觉,将2D视差立体视觉推进到了3D全息立体视觉,进一步解决了目前VR/AR中存在的技术难点,提高了VR/AR的用户体验,这也将会是VR/AR显示上的又一大进步!未来变焦技术成熟后,该方案依旧可以进一步发挥其作用。

图:从2D平面视觉到3D全息立体视觉的发展路径

目前VR/AR技术正在高速发展,如何帮助用户更加自然的过度到新屏显的交互时代,是所有新形态硬件厂商共同努力的目标,七鑫易维期待利用眼球追踪技术与新兴硬件厂商共同探索VR/AR方面的更多可能,推进了VR/AR更大规模的应用,为用户打造更为舒适的使用环境。