当前位置:首页 > 科研成果库

戴VR半小时就头晕?聊聊虚拟现实技术研发里那要命的20毫秒

2026-11-22 19:31:47小研科研成果库10

上周四,江宁的实验室空调坏了。我抱着刚刷完固件的一体机,跑到隔壁组找人当小白鼠。同事戴上,晃了六分半钟,摘下来,脸色发青,说了句“你们这玩意儿是给人用的吗”,然后去楼道里透气了。

那台机器的屏幕不差。芯片也不弱。可他还是晕。

晕这件事,有一半责任在你自己的耳朵里

人判断“我在动”,靠两套系统。眼睛说,画面在往后跑,我在前进;内耳里的前庭说,我坐着没动,你别瞎说。两套信号打架,大脑没法处理,就丢给你一个“中毒了”级别的反应——恶心、冒汗、想吐。这是进化留下的老机制,不是你的身体有缺陷。

所以虚拟现实技术研发里有一整条主线,不是把画质做漂亮,而是把这两套信号哄到一块儿去。我们内部管这个叫“对齐”。对齐得不好,再高的分辨率也白搭。

有个硬指标:运动到光子延迟,Motion-to-Photon Latency。名字绕口,意思很土——你脑袋动的那一瞬间,到屏幕上的像素真的跟着变过来,中间隔了多久。

行业里流传一个数,20毫秒。低于它,多数人不难受;高于它,晕的概率就往上爬。这数不是铁律,个体差异大得离谱。有人40毫秒玩得欢,有人15毫秒还是想吐。但它是个不错的靶子。

VR头显运动到光子延迟示波器波形测试实拍VR头显运动到光子延迟示波器波形测试实拍

这20毫秒,是怎么一毫一秒攒出来的

拆开看,挺吓人。

IMU,就是那个测角速度和加速度的小芯片,一般跑在1000赫兹。听起来很勤快对吧。可你甩头的瞬间,角速度能冲到每秒500度,一次采样间隙里,头已经转过0.5度了。这还只是采样。

然后是融合。加速度计噪声大但长期准,陀螺仪短期准但会漂。得用卡尔曼滤波那套东西揉在一起。代码写得好不好,直接决定你转头时画面是“跟手”,还是先滑一下再跟上。

再是渲染。90赫兹的屏,一帧只有11.1毫秒。渲染、畸变校正、提交、扫描输出,全得塞进去。GPU在里头还要做两遍——左右眼各一遍。压力大不大,你自己想。

所以后来有了单眼渲染、多视图渲染,还有异步时间扭曲。时间扭曲这东西挺妙的:这一帧的画面已经渲染完了,可头又转了1度,来不及重画。那就别重画了,把画好的图按最新姿态硬转、硬拉一下,贴上去。图像会有点变形,但延迟降下来了。眼睛对这种“糊一下”的容忍度,比对延迟的容忍度高得多。

说白了,拿画质换稳定。工程上到处都是这种交易。

VR头显Pancake光学模组拆解内部透镜实拍VR头显Pancake光学模组拆解内部透镜实拍

光学这一关,比渲染更让人上火

光学这一关,比渲染更让人上火光学这一关,比渲染更让人上火

早几年头显又厚又沉,因为屏幕离眼睛远,得靠透镜把光路拉长。后来Pancake方案出来了,用偏振片把光在里面来回折两三次,厚度一下砍掉一半。

听着很香。代价呢?

光损。光在里头折一次,少一点;穿过偏振片,又少一点。落到你眼睛里的,可能只剩屏幕发出的十分之一多一点。屏幕就得开得特别亮,功耗和发热全跟着上去了。

还有鬼影。偏振片消光比不够理想,本该被挡掉的那部分光漏了一丁点,形成重影。工程师在暗室里盯着一个白点调一整天,就为把这点鬼影压下去。这种活儿干多了,会怀疑人生。

更麻烦的是辐辏和调节的冲突。你盯着一个虚拟物体,两眼视线往中间聚——这叫辐辏。可焦点呢,始终落在那个固定的屏幕面上,几米开外——这叫调节。现实里这两个动作是绑死的,VR里被拆开了。盯久了,酸、累、发虚。

解决思路有几套:变焦显示、多焦面、光场。我们去年试过一台多焦面样机,效果确实有,但模组体积和成本……嗯,先放回柜子里吧。

手和眼睛,看着简单,做起来要命

手部追踪,外面看着很酷。摄像头一拍,21个关节点出来。

实际上是:摄像头跑30帧,手一挥就拖影;红外补光撞上阳光就废;两只手一交叉,模型直接疯掉。有回演示,客户的手在桌上放了一下,虚拟手“啪”地穿进桌面,又从底下钻出来。场面一度很尴尬。

后来我们把摄像头提到60帧,加了点时序平滑,情况好一些。代价是算力、是发热、是续航掉半小时。

眼动追踪相对成熟,主要吃在注视点渲染上——你看哪儿,哪儿高精度渲染,其他地方糊着。人眼周边视力本来就一般,糊了也难察觉。这一招省下来的算力相当可观。

可它也有前提:得追得准。戴眼镜的、睫毛长的、化浓妆的,全是对手。我们组有个姑娘每次测试都得摘了美瞳再来。

讲点实在的边界

先说晕动症。它解决不了所有人。再怎么优化,总有一部分人天生敏感。做产品的时候我倾向于老老实实给个“舒适模式”,降加速度、缩视野、加一道虚拟鼻梁挡视野。土办法,但管用。

再说重量和体感。别指望戴上就忘了设备。闷热、压脸、出汗,这些跟算法没关系,是材料和人体工学的事。南京的梅雨天,戴十分钟镜片全是雾。这问题跟渲染管线一点关系都没有,可用户骂的是同一句。

还有内容侧的空缺。硬件参数年年涨,可真正为VR重新设计交互的内容,太少。大多数还是把手柄当鼠标用。这个不能怪开发者,生态就是这样,谁也不敢先砸钱。

还有成本。一体机的芯片、屏幕、光学、追踪,每一样都在抢预算和电池。你在某个指标上多花功夫,另一个指标就掉下去。这不是技术问题,是取舍问题。

有次跟做产学研合作的一位老师聊天,他说了句我挺认同的话:虚拟现实技术研发,现在不像是在造一个新产品,更像是在把一堆互相打架的约束,慢慢地、一点点地,挪到一个大家好歹能接受的位置上。

对。就是这样。没有哪个瞬间叫“成了”。只有这周比上周,少头晕了两个人。

空调修好之后,我又去找那位同事。这次他戴了二十分钟。摘下来,说还行,就是有点热。

我觉得,这算进步。