用途:为佩戴XR头显的操作者提供实时实验协议引导。依据当前视频帧(或VLM场景描述)、协议状态(当前步骤、预期动作、检测到的偏差、操作者状态)生成一条简短祈使句,输出面向TTS或AR叠加显示。
主要能力:1)上下文感知生成,输出通常5–20词祈使句;2)多种提示模式,如NEXT_STEP下一步、CORRECTION纠偏、REMINDER超时提醒、CONFIRMATION确认、WARNING警告、RECOVERY错误恢复、WAIT等待、CHECK核对、PAUSE暂停,支持模板变量与自定义模板;3)针对TTS与AR分别优化长度与措辞,可同时输出tts与ar_overlay;4)将偏差记录(如跳过步骤、参数错误、顺序错误、时序违规)映射为纠正提示,并按严重度调整语气;5)从协议步骤文本解析动作、对象、用量等参数;6)节流控制,包括最小间隔、步骤完成防抖、超时提醒与过期提示丢弃。
使用方式:输入协议状态、视频上下文、偏差状态、操作者状态与模式,输出结构化结果,包含prompt、tts、ar_overlay、mode、step、urgency、language、timestamp等字段。可与protocol_video_matching、视频数据提取、VLM、TTS引擎及AR叠加SDK配合,形成帧→VLM→匹配→本技能→TTS/AR的流水线。
适用场景:XR辅助湿实验执行、偏差纠正、步骤确认与提示、超时提醒、免手操作、多语言团队与培训模式、错误恢复。
限制:资料未提供该技能的独立安装方式、价格或具体部署配置;其能力依赖上游协议匹配与VLM等组件;输出长度与频率受TTS/AR约束。