用途
extract_experiment_data_from_video 是 LabOS 视频转数据流程中的通用传感器层技能，目标是把来自 XR 头显（Meta Quest、HoloLens 2）或固定台面摄像头的非结构化实验室录像，转化为带类型标注和时间戳的测量数据表。它通过一组可配置的计算机视觉提取器完成分析，并输出结构化时间序列 JSON 或扁平 CSV，供下游分析、图表绘制或 ELN 集成技能直接使用，减少手工转录环节。
主要能力
视频接入与 ROI 定义：支持 MP4、AVI、MOV、MKV、TIFF stack、OME-TIFF，以及通过 RTSP 或 WebRTC 接入 XR 实时流。可自动检测原生帧率，并配置提取间隔（每 N 帧或每 T 秒）。用户可为每个视频定义一个或多个命名矩形或多边形 ROI，如 "tube_A1"、"pH_meter_display"、"petri_dish"，可指定像素坐标，也可用自然语言锚点描述并由 VLM 空间定位解析。若未指定 ROI，可由 VLM 场景理解自动识别候选提取目标并提出命名 ROI。对倾斜的 XR 画面可进行透视校正，对多摄像头来源可基于共享视觉事件或内嵌时间戳进行时间对齐。
液体体积与液面追踪：可从容器提取填充液面时间序列，方法包括 Canny + Hough 变换检测弯月面边缘、Cellpose 或 SAM 分割液气界面，或针对有色液体进行颜色边界检测。可依据用户提供的容器几何或从容器标签识别推断的几何，将像素高度映射为物理体积。支持多容器同时追踪，并标记加液、吸液等离散事件以及蒸发、扩散等缓慢连续变化。
颜色与浊度提取：按 ROI 逐帧提取 RGB、HSV 和 CIE Lab* 的均值与中位数，其中 Lab* 更适合量化感知颜色变化。若画面中存在色标或已知浓度参考，可执行帧内校准，将颜色坐标换算为浓度估计。可计算透射光强度作为吸光度代理，并输出相对浊度时间序列（0 表示澄清，1 表示不透明）。可自动将时间序列切分为颜色稳定阶段和过渡事件。对荧光视频（GFP、mCherry、DAPI）可提取每帧每 ROI 的平均通道强度。
细胞、菌落与物体计数：支持血细胞计数板细胞计数、培养皿/琼脂板菌落计数、斑点或液滴计数（ddPCR 液滴、微球、免疫荧光斑点等）。可检测网格、分割单个细胞、按象限计数并应用稀释因子估算 cells/mL；可检测培养皿边界、做背景扣除、按大小和圆度计数菌落，并输出菌落数、平均菌落面积和大小分布直方图数据。可跟踪逐帧数量变化并发出 COUNT_INCREASE 和 COUNT_DECREASE 事件。每次计数包含基于分割质量的置信度，低置信度帧会在 warnings 中标记。
仪器显示与标签 OCR：可读取仪器面板和管标签上的数值与文本，支持 7 段数码管和 LCD 数字显示（天平、pH 计、温度计、离心机、计时器、PCR 屏、培养箱）、字母数字 LED 显示和电子墨水标签。OCR 流程为：锐化帧 → 透视校正 ROI 裁剪 → EasyOCR 或 pytesseract → 基于正则的值与单位解析。输出统一归一化为 SI 基本单位（°C、rpm、µL、g、pH）。可对重复相同读数进行时间去重，仅输出变化事件。也可读取手写或打印的管标签，提取样本 ID、浓度、日期等溯源信息。
凝胶电泳定量：可从视频中的琼脂糖或 SDS-PAGE 凝胶图像提取条带数据，包括检测凝胶边界与泳道位置、按垂直条纹分析识别泳道、按每泳道水平强度峰检测条带、计算条带距加样孔的迁移距离并换算为 mm、使用 ladder 条带拟合 log(MW) 与迁移距离关系以估算未知条带分子量、对条带像素强度积分得到相对丰度与归一化条带强度比。
结构化输出 Schema：所有提取器写入统一的、经 schema 校验的 JSON，包含 video_id、source、extraction_config（启用的提取器、帧间隔、ROI）、timeseries（按 volume、color、ocr_display、colony_count 等分组）、events 和 warnings。扁平 CSV 导出可将 timeseries 转置为每个时间戳每个提取器一行，便于 pandas、R 或 Excel 使用。
使用方式
技能可通过自然语言触发，例如指定正在录制的实验、需要提取的指标和关注的 ROI。输入包括视频文件或 XR 流地址、启用的提取器列表、帧间隔、ROI 定义和可选校准文件；输出为结构化 JSON 和/或扁平 CSV。
示例一：酶动力学反应监测（颜色 + 体积）。输入视频、启用 color 和 volume 提取器、帧间隔 5 秒、ROI 为自动检测到的 Eppendorf 管。可提取 240 个时间点，记录 L*、a*、b* 变化，并生成颜色过渡事件（如 colorless→yellow、yellow→orange-brown），同时追踪体积保持稳定。
示例二：通过 XR 头显 OCR 进行移液体积审计。输入 HoloLens 录制视频，启用 ocr_display 和 ocr_label 提取器，识别移液器显示与管标签。可读取 P20、P200、P1000 的移液体积及对应管标签，并在读数偏离协议预期时发出 WARNING，随后可将 JSON 传给 protocol_video_matching 生成合规报告。
示例三：过夜细菌生长浊度监测（固定摄像头）。输入固定摄像头拍摄的 16 小时延时视频，启用 color 和 volume 提取器，帧间隔 120 秒，ROI 为 250 mL 摇瓶，并提供 OD600 标准曲线校准文件。可得到 480 个时间点，相对浊度从 0.03 升至约 0.64，并通过标准曲线校准为 OD600 估计值，识别迟滞期、对数期和稳定期，输出可用于绘图或推送 ELN 的生长曲线 JSON。
适用场景
- 比色或浊度 assay：反应容器、比色皿或多孔板随时间变色或变浑浊（Bradford assay、OD600 细菌生长、BCA 蛋白 assay、酶促显色反应、沉淀）。
- 液体体积监测：管、瓶或储液器中液面在实验过程中变化（蒸发追踪、滴定终点检测、分液 QC）。
- 移液与分液读数：操作者移液器体积拨盘或数字显示出现在 XR 视野中，需记录为协议审计轨迹（与 protocol_video_matching 配合使用）。
- 仪器显示捕获：天平、pH 计、温度计、离心机 RPM 显示、PCR 仪屏幕、培养箱面板在画面中，需提取并记录读数而无需手工记录。
- 细胞、菌落或斑点计数：培养皿、血细胞计数板、菌落板或凝胶图像出现在视频中，需在一个或多个时间点自动计数。
- 凝胶电泳定量：琼脂糖或 SDS-PAGE 凝胶被成像或出现在 XR 视野中，需提取条带迁移距离和像素强度用于下游 MW 估算或光密度分析。
- 多步反应监测：台式化学或生物反应在多个步骤中产生可观察的视觉变化（颜色转变、沉淀形成、泡沫、相分离），作为反应进度的代理指标。
- 被动环境记录：固定摄像头连续数小时或数天记录台面区域，提取任何可检测的变化事件（物体出现/消失、颜色变化、液面变化）作为稀疏事件日志供后续审查。
限制
资料未提供关于该技能在准确率、处理速度、硬件要求、收费或价格、最大视频时长、最大 ROI 数量等方面的具体限制。缺失事实暂未提供。
集成说明
protocol_video_matching 作为上游，提供协议步骤时间以限定提取窗口；analyze_lab_video_cell_behavior 为同级技能，负责细胞追踪，本技能处理非细胞光学读数；generate_cell_analysis_charts 为下游，消费时间序列 JSON 渲染生长、颜色、计数图；benchling-integration 用于 ELN 推送，将时间序列 JSON 和事件日志附到实验条目；omero-integration 用于图像数据管理，将标注帧与提取数据一起存储；lamindb 用于长期数据版本化，将提取的时间序列作为可查询数据集存储；markitdown 用于将提取的 CSV 表转换为 Markdown。