SuperAPI AI 工具集

bdistill-knowledge-extraction

数据与分析

查看项目

更新于 10-16 03:19

技能介绍

用途

bdistill 用于从 AI 模型中提取结构化、带质量评分的领域知识,把 AI 订阅会话转化为可累积的知识库。它面向需要结构化参考数据的场景,例如医学、法律、金融、网络安全等领域,也可用于构建查找表、问答数据集或研究语料,以及为传统机器学习模型(回归、分类,而非训练竞争性 LLM)生成训练数据,或进行跨模型的领域知识对比。

主要能力

  • 会话内抽取:从闭源模型抽取,无需 API key,使用现有订阅。
  • 本地抽取:通过 Ollama 从本地开源模型抽取。
  • 对抗模式:挑战模型的论断,要求提供证据、修正并承认局限,产出可供独立来源审查的候选内容。注意:对抗式自我修正并非外部验证。
  • 知识库管理:列出所有领域、关键词搜索、导出为 CSV 或 Markdown。
  • 表格化 ML 数据生成:通过 schema 定义字段与类别,导出为可供 pandas/sklearn 使用的 CSV,每行记录 source_model 以支持跨模型分析。

使用方式

安装:

pip install bdistill
claude mcp add bdistill -- bdistill-mcp   # Claude Code

会话内抽取知识:

/distill medical cardiology                    # 预设领域
/distill --custom kubernetes docker helm       # 自定义术语
/distill --adversarial medical                 # 带对抗验证

搜索、导出、累积:

bdistill kb list                               # 显示所有领域
bdistill kb search "atrial fibrillation"       # 关键词搜索
bdistill kb export -d medical -f csv           # 导出为电子表格
bdistill kb export -d medical -f markdown      # 导出为可读知识文档

生成表格化 ML 数据:

/schema sepsis | hr:float, bp:float, temp:float, wbc:float | risk:category[low,moderate,high,critical]

本地模型抽取(Ollama):

# 从 https://ollama.com 安装 Ollama
ollama serve
ollama pull qwen3:4b

bdistill extract --domain medical --model qwen3:4b

输出格式

输出为结构化参考 JSONL,而非训练数据,示例:

{
  "question": "What causes myocardial infarction?",
  "answer": "Myocardial infarction results from acute coronary artery occlusion...",
  "domain": "medical",
  "category": "cardiology",
  "tags": ["mechanistic", "evidence-based"],
  "quality_score": 0.73,
  "confidence": 0.73,
  "validated": false,
  "source_model": "<actual host model recorded at run time>"
}

其中数值评分为示例性、未校准的元数据,示例中不含独立来源验证。

适用场景

  • 需要某领域结构化参考数据(医学、法律、金融、网络安全等)。
  • 构建查找表、问答数据集或研究语料。
  • 为传统 ML 模型生成训练数据。
  • 进行跨模型领域知识对比。

安全与限制

  • 会话内抽取使用现有订阅,无需额外 API key;本地抽取通过 Ollama 完全在本机运行。
  • 会话内抽取使用宿主提供商及其数据政策,并非离线;真正本地的 Ollama 端点可保持推理本地化,但下载模型/安装包仍需联网。使用前应核实端点与已批准的数据处理方式。
  • 输出为参考数据,不是 LLM 训练格式。
  • 生成的医学、法律、金融或安全内容需要带日期的独立权威证据与领域审查;quality_score/confidence 不代表临床/法律准确性,也不是校准概率。不要将个人记录放入生成的语料,也不要把合成标签当作真实患者结果。
  • 安装 MCP 或下载模型与抽取是分开的步骤;应使用经过审查的环境并遵守宿主/配置授权。
  • 不要将输出视为环境特定验证、测试或专家审查的替代品。
  • 若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。

相关技能

@bdistill-behavioral-xray - 透视模型的行为模式。