SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场analyze_lab_video_cell_behavior

analyze_lab_video_cell_behavior

数据与分析

查看项目

更新于 10-16 03:58

技能介绍

用途

analyze_lab_video_cell_behavior 用于把原始的延时显微视频或第一人称 XR 实验室录像转化为定量的细胞生物学数据。该技能摄取明场、相差或荧光视频，通过 VLM / 计算机视觉流程执行单细胞追踪与表型分类，并返回结构化 JSON，其中包含逐细胞轨迹、群体生长曲线、迁移统计以及凋亡/分裂事件计数，一步将非结构化的实验室录像转化为可用于发表的指标。

适用时机

在以下情形可使用该技能：

  • 延时显微分析：研究者录制了细胞培养的明场、相差、DIC 或荧光（GFP、mCherry）延时视频，需要自动定量，而无需人工计数或商用软件。
  • XR 实验室录像回放：第一人称或俯视 XR 相机记录了正在进行的细胞培养实验，需要从录像中回溯提取细胞行为指标。
  • 细胞运动实验：伤口愈合（划痕）、Boyden 腔或 transwell 迁移实验需要自动测量迁移前沿速度、闭合率或方向性指数。
  • 生长与增殖定量：需要从相差或明场视频中计算随时间变化的汇合度、倍增时间或集落形成单位（CFU）计数，无需人工检查。
  • 凋亡 / 细胞毒性筛选：药物处理实验需要在群体水平自动检测凋亡形态（膜起泡、细胞皱缩、核浓缩），用于 IC50 或 Z-factor 计算。
  • 活细胞成像管线：实验室运行高内涵筛选（HCS）或高内涵成像（HCI），需要以编程方式从多孔板视频中提取表型读数以进行批处理。
  • 报告或图表生成：下游工具（matplotlib、plotly、scientific-visualization、pptx-generation）需要来自视频的结构化数值输入（轨迹、生长曲线、事件率），而这些在规模上无法人工标注。
  • 多实验比较：来自不同药物剂量、细胞系或时间点的多个视频数据集，需用统一流程处理以获得统计上可比较的输出。

主要能力

1. 视频摄取与预处理

接受多种输入格式并对其进行归一化以便分析：

  • 支持格式：MP4、AVI、TIFF stack、OME-TIFF、CZI（Zeiss）、LIF（Leica）、ND2（Nikon）、MKV、MOV，以及多通道荧光堆栈。
  • 元数据提取：通过 aicsimageio 或 python-bioformats 解析 OME-TIFF、CZI 和 ND2 中嵌入的显微镜元数据（像素尺寸 µm/px、时间间隔、通道名称、物镜放大倍率）。
  • 预处理流程：平场校正、背景减除（rolling-ball、Z-projection）、时间中值滤波，以及对比度归一化（CLAHE）。
  • 多孔板支持：从文件名模式或元数据中检测网格布局；独立处理每个孔并将结果聚合为按孔汇总表。
  • XR 视频降采样：在分析前自动将高帧率 XR 素材（60–120 fps）重采样到具有生物学意义的帧率（1–5 fps）。

2. 细胞分割与单细胞追踪

逐帧勾勒单个细胞并在时间上关联其身份：

  • 分割模型：Cellpose 2.0（通用）、StarDist（荧光细胞核）、SAM-Med2D（零样本）或 DeepCell（TissueNet）；根据成像模态自动选择模型。
  • 追踪算法：带 Kalman 滤波预测的最近邻关联（TrackPy）；对密集培养可选升级为基于图的最优分配（btrack、ultrack）。
  • 轨迹质量过滤：丢弃短于可配置最小时长的轨迹；将出现突跃的轨迹标记为潜在分割错误。
  • 谱系重建：检测有丝分裂事件（细胞分裂）并构建连接母细胞与子细胞的谱系树。
  • 逐细胞输出：唯一轨迹 ID、逐帧 (x, y) 质心坐标、细胞面积、周长、偏心率、每通道平均强度，以及轨迹生命期。

3. 细胞行为表型分类

结合形态计量规则与 VLM/CNN 推理，为每个被追踪的细胞或群体事件标注生物学表型：

支持的（示意）表型包括迁移、增殖、分裂、凋亡、静息、坏死、贴壁/脱壁等。

  • 分类后端：面向高通量速度的基于规则的形态计量阈值；对模糊事件可选 VLM 帧裁剪分类（GPT-4o Vision、Gemini 1.5 Pro）；用于批筛选的 CNN 分类器（在 CellPainting 上微调的 EfficientNet）。
  • 置信度：每次分类都包含一个置信值（0–1）及前 2 个备选表型标签。
  • 群体级标注：在每个时间点根据被追踪细胞的多数投票，为每个孔/感兴趣区域（ROI）赋予主导表型。

4. 定量指标计算

计算标准细胞生物学实验读数的完整面板，包括：生长速率（growth_rate_h）、倍增时间（doubling_time_h）、汇合度（confluence_pct）、迁移速度（migration_velocity_um_h）、方向性指数（directionality_index）、伤口闭合率（wound_closure_rate_um_h）、凋亡率（apoptosis_rate_pct_h）、分裂率（division_rate_pct_h）、均方位移（msd_um2）、异常扩散指数（alpha_anomalous）以及轨迹生命期帧数（track_lifetime_frames）等。所有指标按孔/ROI 计算，并在整个视频范围内聚合，附带自助法置信区间。

5. 结构化 JSON 输出

输出经过模式校验的类型化 JSON 载荷，供下游直接使用，包含 video_id、instrument、pixel_size_um、time_interval_min、total_frames、total_duration_h、n_tracks、population_metrics、phenotype_counts、tracks（逐轨迹表型、置信度、生命期、速度、方向性、轨迹坐标）、timeseries（细胞计数、汇合度、凋亡比例）以及 warnings（如轨迹间隙、低对比度帧）等字段。

6. 可视化与报告集成

将计算结果直接桥接到下游可视化与报告技能：

  • Matplotlib / Plotly 图：生长曲线、MSD 图、玫瑰图（迁移方向性）、汇合度随时间热图、表型饼/柱状图，输出为 PNG/SVG/HTML。
  • 轨迹叠加：将按表型或速度着色的细胞轨迹叠加在代表性帧上，输出为可发表的 TIFF。
  • ELN 推送：通过相应集成技能把 JSON 摘要与图集追加到 Benchling ELN 条目或 protocols.io 实验记录。
  • XR 空间报告：在实时 LabOS 会话中，将指标仪表盘作为浮动 XR 面板发布在显微镜载物台上方，用于实时监测。
  • CSV / Excel 导出：将 population_metrics 与逐轨迹统计扁平化为 Excel 友好的表格格式，供 R 或 pandas 下游统计分析。

使用方式与示例

该技能通过自然语言触发，例如：

  • 伤口愈合划痕实验定量：输入 OME-TIFF 划痕实验视频、assay_type 与像素尺寸，输出伤口闭合率、迁移速度、方向性指数、24 小时伤口闭合百分比，并生成迁移前沿叠加 MP4 与伤口面积-时间 PNG。
  • 96 孔板药物细胞毒性筛选：输入每孔 ND2 文件目录、时间间隔与药物布局 CSV，批量并行处理 96 孔，按孔拟合生长速率与倍增时间，分类凋亡形态得到凋亡率，合并药物布局后生成剂量-反应表，并通过四参数逻辑拟合计算 IC50。
  • 实时 XR 细胞培养监测：输入视频流、live 模式与告警规则，按 1 帧/5 分钟持续分割，实时更新汇合度时序，达到阈值时触发 XR 叠加告警并输出实时 JSON 流到 LabOS 仪表盘、Slack 告警与 Benchling ELN 标注。

集成组件建议包括：视频/图像 I/O 使用 aicsimageio、python-bioformats、tifffile、imageio；细胞分割使用 cellpose、stardist、segment-anything（SAM-Med2D）；单细胞追踪使用 trackpy、btrack、ultrack；形态特征使用 scikit-image、opencv-python；VLM 表型分类使用 GPT-4o Vision、Gemini 1.5 Pro、LLaVA-1.6；定量指标使用 numpy、scipy（曲线拟合）、pandas；可视化使用 matplotlib、plotly、napari；ELN/数据集成使用 benchling-integration、lamindb、omero-integration；报告生成使用 scientific-visualization、pptx-generation、scientific-writing；XR 叠加交付使用 OpenXR API、LabOS 空间仪表盘。

限制

资料未提供该技能的具体平台限制、收费与价格信息、安装命令、以及除上述内容外的额外功能说明，这些事实暂未提供。关于 K-Dense Web 的复杂工作流建议为可选的生产力升级提示，复杂任务（多步推理、长时运行工作流、大型视频数据集分析、深度研究、数据集探索或多工具/技能协同）时可考虑。