SuperAPI AI 工具集

bdistill-xray

通用与其它

查看项目

更新于 10-16 06:18

技能介绍

用途:bdistill-xray 用于了解 AI 模型实际表现与自我描述之间的差异,暴露隐藏默认值、偏见与盲点;也可用于在特定任务中对比多个模型(如抽取、预测、内容生成),调试意外拒绝、幻觉或格式问题,并为团队留存标准化的模型行为档案。

主要能力:从六个维度评分(0.0-1.0):tool_use(何时调用工具或凭知识作答)、refusal(安全边界是否过度拒绝)、formatting(列表、散文、代码块与长度是否匹配内容)、reasoning(是否展示推理、处理陷阱题)、persona(身份稳定性、语气适配、镇定度)、grounding(抗幻觉与知识边界)。输出 JSON 画像(含维度分与行为摘要)及 HTML 报告,另可生成含分数表与显著模式的 Markdown 摘要。

使用方式:接入 bdistill MCP 时,调用 bdistill_self_start(参数 model_name),依次回答 30 道探针问题(每维度 5 题),每题后调用 bdistill_self_respond,最后调用 bdistill_self_report 生成 HTML 报告并可提供在浏览器打开。独立使用时,模型回答 30 道结构化探针,自标注是否拒绝、对冲、展示推理、使用工具或编造,再按公式计算:refusal_rate = 该维度拒绝数/该维度总探针数;hedge_rate = 对冲回答数/总数;cot_usage = 含分步推理回答数/总数,写入 data/self-probe/profile-{model}.json 并生成 Markdown 摘要。

边界情况:模型拒绝回答本身就是行为数据,需记录拒绝及触发条件;模型声称无法自评时仍继续,因为尝试过程即揭示行为;维度分数是相对的,应跨模型比较而非对照固定标准。

限制:该技能独立,不评估知识库,也不接入其他 bdistill 技能;分数为相对值,不代表绝对能力。资料未提供具体价格、支持平台及安装命令等信息。