用途:把语音命令映射为 LabClaw 技能调用。输入为由 ASR(Whisper、Azure Speech、Google Cloud)转写的文本,可选置信度、语言码、说话人 ID。适用于免手操作实验、远程监督、培训问答、实验后语音复盘、XR 多模态交互、无障碍控制、快速迭代和批量命令链。
主要能力:1)意图识别与技能映射,内置意图表,如 CHECK_COMPLIANCE→protocol_video_matching、NEXT_STEP→realtime_protocol_guidance_prompts、DETECT_ERRORS→detect_common_wetlab_errors、EXTRACT_DATA→extract_experiment_data_from_video、ANALYZE_CELLS→analyze_lab_video_cell_behavior、GENERATE_CHARTS→generate_cell_analysis_charts、EXPORT_EXCEL→export_experiment_data_to_excel、GENERATE_METHODS→generate_scientific_method_section、GENERATE_REPORT→generate_double_column_pdf_report、PAUSE/RESUME_PROTOCOL、SCENE_DESCRIPTION→gaussian_splatting_scene_description、STATUS;支持模糊匹配、置信度阈值澄清与多意图链式调用。2)参数抽取与上下文填充,识别试剂、步骤号、时间范围,缺失时用会话默认值,并做参数校验。3)为每个技能提供可填充的提示模板与 TTS 回复模板,另有兜底模板。4)会话上下文管理,维护当前协议、视频流、实验 ID、输出目录、当前步骤等,支持多轮对话与后续建议。5)错误处理与澄清,含未识别意图、缺少上下文、技能失败、歧义消解与破坏性操作确认。6)多语言与口音鲁棒性,支持语言检测、多语意图短语、口音噪声与代码切换。
使用方式与限制:文档未提供具体安装命令或调用代码;其集成依赖 ASR、TTS、各目标技能与 LabOS 智能体/规划器。低置信度或缺少上下文时会先澄清,导出等破坏性操作需确认。资料未说明收费、价格或平台支持范围。