SuperAPI AI 工具集

scidatacopilot-agentic-data-preparation

智能体与模型

查看项目

更新于 10-16 01:34

技能介绍

用途:SciDataCopilot 用于构建端到端的科研数据准备流水线,把多种格式的原始实验数据(CSV、JSON、FASTA、pickle、NumPy 数组、HDF5 及领域专用格式)转换为统一、可分析的数据集。其核心思路是把“数据就绪”视为一等的操作原语,围绕科学任务而非模型格式来组织。

主要能力:框架采用四智能体架构——数据访问、意图解析、数据处理、数据集成,共享知识库 K={D,T,C}(D 为规范化数据集描述符的数据湖,T 为带 I/O 契约的工具湖,C 为历史解决方案的案例湖)。数据访问智能体递归扫描目录、探测文件类型并生成原子数据单元描述符;意图解析智能体把自然语言查询转成结构化需求 R={Obj,Var,Con,Task} 并生成执行计划;数据处理智能体把计划细化为可运行代码并在自修复循环中执行;数据集成智能体把跨单元约束分解为工具-约束匹配并编排合并流程。遵循三项原则:任务条件化组织、下游兼容性、跨集成能力。

使用方式:先扫描编目原始数据,再为每个文件生成原子描述符(列名与类型、张量形状、序列数量、字段列表、取值区间、缺失率等),然后解析科研意图、匹配需求到数据单元、检索或生成处理计划、执行前校验(需求对齐、覆盖完整、I/O 类型兼容)、生成并执行处理代码、跨单元集成、输出质量校验,最后产出审计工件(来源日志与最终 schema)。自修复执行循环会捕获完整错误栈、诊断根因、重新生成代码并重试(最多 3 次)。

适用场景:多格式科研数据(如 FASTA 蛋白序列 + CSV 反应数据 + JSON 元数据)需要统一数据集时;从实验室或公共仓库摄取、校验、规范实验数据时;整合基因组学、蛋白质组学、代谢组学等跨领域数据时;需要自动质量检查、审计追踪与可复现脚本时;把自然语言研究问题解析为结构化数据需求时。

限制:该方案假设用户能用自然语言或结构化方式描述科研意图,纯探索式“不知道要找什么”的场景需先进行交互式发现阶段;官方资料中该部分内容未完整提供,其余限制暂未提供。