本技能是“VR与AR开发”参考文档的第2部分(共5部分,对应§4–§6),隶属于插件vr-ar-development,与另外四个兄弟技能共享章节编号:xr-perceptual-constraints-displays-and-tracking(§0–§3)、xr-platforms-audio-and-comfort(§7–§9)、xr-ux-design-and-performance-budgeting(§10–§11)、xr-reference(§12–§17)。资料假定读者已具备图形学基础(光栅化、PBR、渲染方程)以及计算机视觉基础(SLAM、多视图几何),本部分只讲建立在其上的XR特有层。
一、XR成为独立学科的三个事实 资料指出:你是在为神经系统渲染,而不是为屏幕渲染。帧预算由人类感知决定,未达标不是画质下降,而是让人产生恶心。延迟是首要约束,它不是一个性能指标:运动到光子(motion-to-photon)约20毫秒以下是被普遍接受的阈值,并支配整个架构。沉浸感(presence)脆弱且不对称:需要持续正确才能建立,但一帧错误、一个比例错误的物体、一只追踪错误的手就能摧毁它。
二、XR渲染管线(§4)
- 立体渲染(4.1):双眼有IPD偏移,各自使用非对称投影矩阵;视锥是离轴的,而不是简单平移,搞错会产生难以诊断的深度不适。不要天真地把所有东西渲染两次,优化手段包括单通道/多视图(multiview)——一次几何通道、通过不依赖几何着色器的实例化路径写入两个渲染目标,通常可大致减半CPU绘制开销;以及实例化立体、视图相关剔除、立体感知的阴影与反射通道共享而非重复。
- 重投影(4.2):资料称其为让XR可忍受的机制。时间扭曲/ATW在扫描输出前用最新头部朝向重新扭曲已渲染帧,只廉价地校正旋转误差,使感知延迟与帧时间解耦。Spacewarp/ASW在未达帧率时由运动矢量合成中间帧,属于外推,会在快速运动物体和去遮挡处产生伪影。位置时间扭曲还能校正平移,但需要深度。警告:重投影是安全网,不是性能预算,它只为偶发丢帧设计;依赖ASW达到目标帧率的作品会永久带有伪影,某些平台还会认证失败。应达到原生帧率,让重投影只兜住离群帧。
- 注视点渲染(4.3):在人眼注视处全分辨率、周边降低分辨率,依据是人眼锐度随离心率急剧下降。固定注视点渲染(FFR)不需要眼动追踪,利用镜头畸变本就在边缘浪费采样,是广泛使用的免费性能。眼动追踪注视点渲染(ETFR)节省更大,但需要§1.1中的注视延迟预算(42–91毫秒可容忍,远比头部MTP宽松)。
- XR特有预算的其余部分(4.4):XR中更偏好MSAA而非TAA,因为TAA的拖影和模糊在立体、头追踪显示上远比显示器上更令人反感,时间性伪影会破坏沉浸感。前向渲染常优于延迟渲染,因为MSAA可用且移动芯片上带宽宝贵。移动XR是分块延迟渲染(TBDR),因此应避免帧中渲染目标切换、避免回读、保持分块驻留。渲染目标通常是显示分辨率的1.2–1.4倍,以经受畸变重采样。
三、输入与交互(§5) 控制器仍是最精确、最低疲劳的输入,带触觉反馈和明确的按键状态,不应轻视。手部追踪自然且无需硬件,但对精确操作确实更差:没有触觉反馈、双手重叠或离开相机视锥时被遮挡、以及疲劳。捏合(pinch)是可靠手势,复杂手势不可靠。眼动追踪用于注视点渲染、基于注视的选择(“注视并捏合”是visionOS的核心交互且效果好)、通过化身眼睛表达社交存在、以及分析;眼动数据是生物特征且隐私敏感,应相应处理。其他输入包括语音、身体/面部追踪、触觉手套与背心、跑步机、以及基于透视的真实世界输入。 交互人体工学(5.3):手臂长时间伸展会在几分钟内疲惫,应设计为手靠近身体休息:短捏合手势优于大幅手臂动作、交互目标低于眼平并处于舒适锥内、不要持续持握。visionOS的“注视定位、手部确认”模型正是为避免此问题,值得跨平台借鉴。 移动方式(5.4)是风险最高的设计决策。资料以表格给出舒适度:房间尺度物理移动最好(无冲突,受游玩空间限制);传送非常高(无视流,破坏沉浸感是可接受的代价);冲刺/闪烁高(极快移动被视为瞬时);平滑移动+暗角中等(应提供而非强加,始终配舒适选项);无缓解的平滑移动最差(首次体验恶心的常见原因);快速转向(snap turn)高,应避免平滑转向,因为旋转比平移更糟;重定向行走高,需要大追踪空间。旋转比平移更易致恶心,偏航是最糟轴,快速转向应默认开启、平滑转向作为可选项。
四、AR空间理解(§6) 锚点:系统随地图改进持续精化的位姿。内容应附着到锚点而非世界坐标,因为世界原点会随SLAM精化而漂移;锚定内容相对真实世界保持不动,未锚定内容会可见地滑动。空间理解包括水平/垂直平面检测、网格重建(场景网格提供物理与遮挡几何)、语义场景理解(这是墙/桌/地板)、图像与物体追踪、以及对检测几何的命中测试。 遮挡是AR最难也最重要的正确性问题:没有它,虚拟物体会漂浮在所有东西前面,幻觉无法形成。方法包括传感器或立体深度、重建网格、学习式单目深度;注意在光学透视硬件上,真正遮挡真实世界在物理上不可能,因为你只能加光。光照估计:让虚拟光照匹配真实环境(环境强度、色温、主方向、环境探针)。警告:即使光照和阴影正确,比例错误的物体仍显错误;而一个普通模型若有正确的接触阴影会显得“粘在地上”,接触阴影是AR渲染中杠杆最高的特性。持久化与共享:云锚点和共享坐标系用于多人AR,以及针对保存地图的定位;重定位在光照变化和家具重排下很脆弱,设计时应考虑其失败。
限制:本资料是参考性文档,不提供可直接运行的代码、安装命令或具体平台SDK步骤;产品名称、URL、代码和安装命令在原始资料中未作为独立条目提供,故本文未列出。