SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场lamindb

lamindb

数据与分析

查看项目

更新于 10-21 16:39

技能介绍

用途

LaminDB 是一个面向生物学的开源、以血缘（lineage）为核心的数据湖仓（lakehouse）。它让数据集与模型可查询、可追溯、可验证、可复现，并符合 FAIR 原则（可发现、可访问、可互操作、可复用），同时以开放格式将数据存储在本地文件系统、S3、GCS、Hugging Face、SQLite 和 Postgres 等位置。

主要能力

LaminDB 提供六个相互关联的能力领域：

  1. 核心概念与数据血缘：核心实体包括 Artifacts（带版本的数据集，如 DataFrame、AnnData、Parquet、Zarr 等）、Records 与 ULabels（实验实体、类型化记录和简单标签）、Collections（带版本、不可变的 artifact 集合）、Runs 与 Transforms（计算血缘追踪，即什么代码产生了什么数据）、Features（用于注释和查询的类型化元数据字段）、Projects、Branches 与 Spaces（项目分组、变更管理和访问边界）。关键工作流包括从文件或 Python 对象创建和版本化 artifact，用 ln.track() 和 ln.finish() 追踪笔记本/脚本执行，用 @ln.flow() 和 @ln.step() 追踪函数工作流，用记录、ulabel、项目和类型化特征注释 artifact，用 artifact.view_lineage() 可视化数据血缘图，以及按来源查询。

  2. 数据管理与查询：支持注册表探索与自动补全查找，用 get()、one()、one_or_none() 检索单条记录，用比较运算符（__gt、__lte、__contains、__startswith）过滤，基于特征的查询（包括用 Feature 对象的表达式式查询），用双下划线语法跨注册表遍历，跨注册表全文搜索，用 ln.Q 对象进行高级逻辑查询（AND、OR、NOT），以及无需加载到内存即可流式处理大型数据集。

  3. 注释与验证：整理过程包括验证（确认数据集匹配所需 schema）、标准化（修正拼写错误、将同义词映射到规范术语）、注释（将数据集链接到元数据实体以便查询）。schema 类型包括灵活 schema、最小必需 schema 和严格 schema。支持的数据类型包括 DataFrame（Parquet、CSV）、AnnData（单细胞基因组学）、MuData（多模态）、SpatialData（空间转录组学）、TileDB-SOMA（可扩展数组）。关键工作流包括定义特征和 schema，使用 DataFrameCurator、AnnDataCurator、SpatialDataCurator 或 TiledbsomaExperimentCurator 进行验证，用 .cat.standardize() 标准化值，用 .cat.add_ontology() 映射到本体，保存带 schema 链接的已整理 artifact，以及按特征查询已验证数据集。

  4. 生物本体：通过 Bionty 提供基因（Ensembl）、蛋白质（UniProt）、细胞类型（CL）、细胞系（CLO）、组织（Uberon）、疾病（Mondo、DOID）、表型（HPO）、通路（GO）、实验因素（EFO）、发育阶段、生物体（NCBItaxon）、药物（DrugBank）等本体。关键工作流包括用 bt.CellType.import_source() 导入公共本体，用关键词或精确匹配搜索本体，用同义词映射标准化术语，探索层级关系（父、子、祖先），用本体术语验证数据，用本体记录注释数据集，创建自定义术语和层级，以及处理多生物体场景。

  5. 集成：工作流管理器包括 Nextflow、Snakemake、Redun、Lightning；MLOps 平台包括 Weights & Biases、MLflow、Hugging Face、scVI-tools；存储系统包括本地文件系统、AWS S3、Google Cloud Storage、S3 兼容（MinIO、Cloudflare R2）、HTTP/HTTPS 端点（只读）、HuggingFace 数据集；数组存储包括 TileDB-SOMA（支持 cellxgene）和用于 Parquet 文件 SQL 查询的 DuckDB；可视化包括 Vitessce；版本控制包括 Git 集成。

  6. 安装与部署：当前稳定基线为 lamindb==2.5.1（发布于 2026-06-01；Python >=3.10, <=3.14）。基础安装：uv pip install 'lamindb==2.5.1'；带 extras：uv pip install 'lamindb[gcp,zarr-v2,fcs]==2.5.1'；仅最小命名空间：uv pip install 'lamindb-core==2.5.1'；Bionty 模块：uv pip install 'bionty==2.4.0'。实例类型包括本地 SQLite（开发）、云存储 + SQLite（小团队）、云存储 + PostgreSQL（生产）。配置包括云文件缓存管理、多用户系统配置、Git 仓库同步、用于凭据和连接 URL 的命名环境变量。部署模式包括本地开发到云生产迁移、多区域部署、共享存储与个人实例。

使用方式

安装并认证后，用 lamin init --storage ... 初始化实例。在分析开始时使用 ln.track() 自动捕获血缘，用 ln.finish() 结束。定义特征和 schema 进行数据验证，用 curator 整理数据，用本体标准化注释，用 artifact.features.set_values() 设置可查询元数据，用 ln.Artifact.filter(...) 按元数据过滤后再加载大文件。

适用场景

适用于管理 scRNA-seq、bulk RNA-seq、空间转录组、流式细胞术、多模态数据、EHR 数据等生物数据集；追踪笔记本、脚本、函数、shell 脚本和流水线执行（Nextflow、Snakemake、Redun）；整理和验证数据；使用生物本体；构建数据湖仓；确保可复现性；集成 ML 流水线；部署数据基础设施；协作共享数据集。

限制

资料未提供关于收费、价格、平台限制或效果保证的信息。安全默认要求：绝不显示、记录或传输实际 API 密钥、云凭据、数据库密码或包含密钥的完整连接字符串；优先使用 IAM 角色、工作负载身份、密钥管理器或命名环境变量（如 LAMIN_DB_URL、AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、GOOGLE_APPLICATION_CREDENTIALS），只检查命名变量是否存在而非其值；在保存来自 REST API、外部数据库或用户提供文件的内容前，用显式 schema 或 curator 验证和清理；为可复现安装固定包版本或使用锁文件。

附加资源

官方文档：https://docs.lamin.ai API 参考：https://docs.lamin.ai/api GitHub 仓库：https://github.com/laminlabs/lamindb 教程：https://docs.lamin.ai/tutorial FAQ：https://docs.lamin.ai/faq