SuperAPI AI 工具集

bdistill-validate

数据与分析

查看项目

更新于 10-15 21:46

技能介绍

用途:在 bdistill-extract 之后、导出之前过滤不可靠条目,使导出的知识库只保留模型能稳定复现的断言;也可用于检查阈值型规则是否真实可靠,并在 bdistill-operationalize 之前只提升稳定条目。

主要能力:从每个含数值断言的条目生成 5 个改写问题独立作答,提取数值并计算一致性得分;同时评估结构稳定性,包括条件稳定性、范围稳定性、结构稳定性与长度稳定性四项子分。综合分级为 stable(数值和结构均不低于 0.80)、moderate(均不低于 0.60)、unstable(任一低于 0.60)。数值稳定性单独分级为 stable(CV<0.15)、moderate(0.15-0.40)、unstable(>0.40)。

使用方式:连接 bdistill MCP 后依次调用 bdistill_consistency_start、bdistill_consistency_respond、bdistill_consistency_export;无 MCP 时可独立运行,读取 data/knowledge/base/{domain}.jsonl 或 data/rules/base/{domain}.jsonl,并用如下命令:python scripts/validate_engine.py extract-numbers --text "the answer text";python scripts/validate_engine.py consistency-score --values '[50000, 50000, 48000, 50000, 50000]';python scripts/validate_engine.py structural-stability --answers '["answer1...", "answer2...", "answer3...", "answer4...", "answer5..."]'。结果写入 data/consistency/{domain}-results.json。

限制与注意事项:无 MCP 时同一上下文窗口会污染得分,需用独立子代理或在问题间插入无关内容;不同模型得分不可直接混用;如模型接受故意错误数字的锚定测试,则标记为不稳定;无数值断言时应报告 0 条、正常退出。