SuperAPI AI 工具集

datasource-connectors

数据与分析

查看项目

更新于 10-15 21:40

技能介绍

用途:当任务提到尚未加载的数据源(文件、数据库或 API),或计划中包含 Ingest 步骤时,用本模块引导 LLM 把数据加载为可用数据集。它是一套决策框架而非代码库,负责告诉 LLM 该问什么、该注意什么、如何处理各格式的怪癖。若数据已加载(内联表、前序步骤输出、用户已粘贴),或说明“数据已预加载”,则跳过。

主要能力:按路径或 URL 信号选择连接器——.csv/.tsv/.txt 用 CSV,.json/.jsonl/.ndjson 用 JSON,http(s) 且返回 JSON/XML 用 REST API,连接串/.sql/数据库名用 SQL,.xlsx/.xls 用 Excel,.parquet/.arrow 用 Parquet;格式不明确时应询问而非猜测。各连接器覆盖常见问题:CSV 的分隔符、编码、尾随逗号、引号字段、混合换行、BOM;JSON 的嵌套对象展平、键不一致、大文件流式处理、日期解析;REST API 的认证方式(API key、Bearer、OAuth 2.0、无认证)、分页模式(offset、cursor、Link header、页码)、超时与重试规则(429/5xx 重试 3 次指数退避,400/401/403/404 不重试);SQL 的只读连接、参数化查询、把聚合下推到数据库;Excel 的多工作表、表头位置、合并单元格、公式、日期序列号;Parquet 的自描述 schema、分区目录、嵌套列。

使用方式:先询问或推断格式,再按对应连接器提问并处理怪癖,最后输出带类型的表,并报告行数、列数、来源路径及警告。错误处理要求绝不静默失败,需给出具体可操作信息。

限制:资料未提供具体实现代码、依赖库、安装命令、收费或平台信息;凭据不得硬编码,应使用环境变量或密钥存储;分页默认最多 100 页以防死循环。