SuperAPI AI 工具集

egocentric_view_to_structured_log

通用与其它

查看项目

更新于 10-16 05:03

技能介绍

用途:把 XR 头显(如 Meta Quest、HoloLens 2、Magic Leap、Ray-Ban Meta)拍摄的第一人称视频,转换为机器可读的实验时间线日志,用于实验记录、电子实验记录本(ELN/Benchling)附件、方案合规比对、方法学溯源、实验复盘、培训评估以及 GLP/GMP 审计轨迹。

主要能力:支持 MP4、MOV、MKV 以及 RTSP/WebRTC 流输入;帧采样间隔可配置(如 1 fps 或每 5 秒一帧),可做稳定化处理、兴趣区域裁剪和多机位时间对齐。通过 VLM(如 GPT-4o Vision、Gemini 1.5 Pro、LLaVA-Med)或动作分类器识别事件,内置移液、涡旋、离心、加试剂、孵育等实验动作词汇,并可识别试管、孔板、移液器等对象及位置;连续同类动作会合并,每个事件带置信度,低置信度可标记或排除。事件可附加位置标签、操作者上下文和仪器读数结果。

使用方式:以视频路径、帧间隔、输出格式(json、markdown、csv、ndjson)和输出路径作为输入参数运行;可过滤指定动作或时间范围,支持流式增量输出与去重压缩。

限制:动作与对象识别的准确性取决于模型和视频质量;部分能力(如操作者识别、OCR 读数)仅在相应数据可用时提供。资料未说明具体定价、平台部署要求或性能指标。