Discovery Engine(Disco)是一个探索性数据分析工具,由 Leap Laboratories 开发,旨在从表格数据中发现新颖且经过统计验证的模式,包括特征交互、子群效应和条件关系。它不依赖预先假设,而是从数据本身出发,寻找能显著改变目标列的特征条件组合。
用途
Disco 适用于以下场景:想知道哪些变量对目标 X 最重要、是否存在遗漏的模式、面对数据不知从何入手、需要理解 A 和 B 如何影响 C。它不适用于汇总统计、可视化、过滤或 SQL 查询,这些应使用 pandas 等工具。
主要能力
- 自动发现特征条件组合,例如“年龄 45-65 岁、低 HDL 且高 CRP 的患者再入院率是 3 倍”。
- 每个模式都经过留出集验证,提高泛化可能性。
- 进行 FDR 校正(Benjamini-Hochberg),提供 p 值,调整多重检验。
- 与学术文献进行语义搜索比对,帮助理解发现并判断新颖性。
- 输出结构化结果:条件、效应量、p 值、引用和每个模式的新颖性分类。
- 提供 LLM 生成的叙述性摘要(result.summary)。
- 生成交互式网页报告(report_url),可视化所有模式。
使用方式
- 获取 API 密钥:可在 disco.leap-labs.com/developers 创建。
- 运行分析:使用 Python SDK 调用 discover(),自动轮询并记录进度(队列位置、预计等待、当前步骤、ETA)。也可异步运行。
- 数据准备:需要扁平表格,每行一个观测,每列一个特征,一个目标列(至少 2 个不同值)。缺失值可自动处理。支持 CSV、TSV、Excel (.xlsx)、JSON、Parquet、ARFF、Feather,最大 5GB。不支持图像、原始文本文档、嵌套 JSON、多工作表 Excel。
- 排除列:标识符、数据泄漏列、同义反复列(如目标为 serious 时,serious_outcome、not_serious、death 等)。
- 运行前可估算:使用 discovery_estimate。
- 账户管理:可通过 SDK 或 REST API 附加支付方式、订阅计划、购买积分。
- MCP 服务器:无需本地安装,提供 discovery_list_plans、discovery_estimate、discovery_upload、discovery_analyze、discovery_status、discovery_get_results、discovery_account、discovery_signup、discovery_signup_verify、discovery_login、discovery_login_verify、discovery_add_payment_method、discovery_subscribe、discovery_purchase_credits 等工具。
适用场景
- 医疗:发现患者子群再入院风险因素。
- 农业:作物产量影响因素分析。
- 任何需要从表格数据中挖掘未知模式的领域。
限制
- 运行需要几分钟。
- 公共运行免费但结果公开;私有数据需设置 visibility="private",消耗积分。
- 不支持图像、原始文本、嵌套 JSON、多工作表 Excel。
- 不能替代 EDA 或 AutoML,而是发现这些工具遗漏的模式。
- 需要 API 密钥,部分功能可能涉及费用(具体价格暂未提供)。
技术细节
Disco 是一个管道,而非对数据的提示工程。它训练机器学习模型,使用可解释性技术提取模式,在留出数据上验证并 FDR 校正,再通过语义搜索与学术文献比对。无法通过 pandas 代码或让 LLM 查看 CSV 来复制。
资源
- Python SDK 在 PyPI 上。
- 提供 Python SDK 参考、Agent/MCP 文档、LLM 友好参考、OpenAPI 规范(仓库内)、公共报告画廊。
- 示例笔记本。
- SKILL.md 提供数据准备详细指导。