SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场lamindb

lamindb

数据与分析

查看项目

更新于 10-15 10:24

技能介绍

用途

LaminDB 是一个面向生物学的开源数据框架，用于让数据可查询、可追溯、可复现并符合 FAIR 原则。它通过单一 Python API 整合湖仓架构、血缘追踪、特征存储、生物本体、LIMS 和 ELN 能力。

适用场景包括：管理生物数据集（scRNA-seq、bulk RNA-seq、空间转录组、流式细胞术、多模态数据、EHR 数据）；追踪计算工作流（Notebook、脚本、Nextflow/Snakemake/Redun 流水线执行）；策展与验证数据（模式验证、标准化、基于本体的注释）；使用生物本体（通过 Bionty 处理基因、蛋白质、细胞类型、组织、疾病、通路）；构建数据湖仓；确保可复现性；集成 ML 流水线（Weights & Biases、MLflow、HuggingFace、scVI-tools）；部署数据基础设施；协作共享数据集。

主要能力

LaminDB 提供六个相互关联的能力领域：

  1. 核心概念与数据血缘：核心实体包括 Artifacts（版本化数据集，如 DataFrame、AnnData、Parquet、Zarr）、Records（实验实体，如样本、扰动、仪器）、Runs & Transforms（计算血缘追踪）、Features（用于注释和查询的类型化元数据字段）。关键工作流包括从文件或 Python 对象创建和版本化 artifact、用 ln.track() 和 ln.finish() 追踪 Notebook/脚本执行、用类型化特征注释 artifact、用 artifact.view_lineage() 可视化数据血缘图、按来源查询。

  2. 数据管理与查询：支持注册表探索与自动补全查找、用 get()/one()/one_or_none() 检索单条记录、用比较运算符（__gt、__lte、__contains、__startswith）过滤、基于特征的查询、双下划线语法跨注册表遍历、全文搜索、用 Q 对象进行高级逻辑查询（AND、OR、NOT）、流式处理大型数据集。

  3. 注释与验证：策展流程包括验证（确认数据集匹配所需模式）、标准化（修正拼写错误、将同义词映射到规范术语）、注释（将数据集链接到元数据实体）。模式类型包括灵活模式、最小必需模式和严格模式。支持的数据类型包括 DataFrame（Parquet、CSV）、AnnData、MuData、SpatialData、TileDB-SOMA。可使用 DataFrameCurator 或 AnnDataCurator 进行验证，用 .cat.standardize() 标准化值，用 .cat.add_ontology() 映射到本体。

  4. 生物本体：通过 Bionty 提供基因（Ensembl）、蛋白质（UniProt）、细胞类型（CL）、细胞系（CLO）、组织（Uberon）、疾病（Mondo、DOID）、表型（HPO）、通路（GO）、实验因素（EFO）、发育阶段、生物体（NCBItaxon）、药物（DrugBank）等本体。支持导入公共本体、关键词或精确匹配搜索、同义词映射标准化、探索层级关系、验证数据、注释数据集、创建自定义术语。

  5. 集成：工作流管理器（Nextflow、Snakemake、Redun）；MLOps 平台（Weights & Biases、MLflow、HuggingFace、scVI-tools）；存储系统（本地文件系统、AWS S3、Google Cloud Storage、S3 兼容的 MinIO/Cloudflare R2、HTTP/HTTPS 只读端点、HuggingFace 数据集）；数组存储（TileDB-SOMA、DuckDB）；可视化（Vitessce）；版本控制（Git 集成）。

  6. 安装与部署：基础安装 uv pip install lamindb，带扩展 uv pip install 'lamindb[gcp,zarr,fcs]'，模块包括 bionty、wetlab、clinical。实例类型包括本地 SQLite（开发）、云存储 + SQLite（小团队）、云存储 + PostgreSQL（生产）。存储选项包括本地文件系统、AWS S3、Google Cloud Storage、S3 兼容端点。配置涵盖缓存管理、多用户系统、Git 仓库同步、环境变量。部署模式包括本地开发到云生产迁移、多区域部署、共享存储与个人实例。

使用方式

安装：uv pip install lamindb（或带扩展）。使用 lamin login 认证，用 lamin init --storage ... 初始化实例。在分析开始时使用 ln.track() 自动捕获血缘，结束时用 ln.finish()。通过 ln.Artifact 创建和版本化数据集，用特征注释，用 ln.Artifact.filter() 查询。使用 curator 进行模式验证和标准化。通过 Bionty 导入和标准化本体术语。

适用场景

单细胞 RNA-seq 分析并结合本体验证、构建可查询数据湖仓、带 W&B 集成的 ML 流水线、Nextflow 流水线集成等。

限制

资料未提供关于收费、价格、平台限制或性能上限的具体信息。