SuperAPI AI 工具集

bdistill-behavioral-xray

通用与其它

查看项目

更新于 10-16 08:11

技能介绍

用途:帮助用户在构建应用前了解模型的真实行为,以便进行任务选型、对比不同模型,或跟踪模型行为随时间的变化;也可用于调试意外拒答、幻觉、格式问题,以及合规审计与红队评估。

主要能力:运行 30 个探针问题,覆盖 6 个维度——tool_use(何时调用工具)、refusal(安全边界与是否过度拒答)、formatting(列表与散文、代码块、长度)、reasoning(可见解释是否恰当、是否处理陷阱问题,不涉及隐藏思维链)、persona(身份、语气、敌意下的镇定)、grounding(抗幻觉、编造陷阱、知识边界)。输出为带雷达图、条形图和响应标签的 HTML 报告,含可操作洞察。

使用方式:先安装并接入,命令为 pip install bdistill,Claude Code 中运行 claude mcp add bdistill -- bdistill-mcp;其他工具需将 bdistill-mcp 添加为 MCP 服务器。探针命令:/xray(完整 30 题)、/xray --dimensions refusal(单维度)、/xray-report(生成报告)。也可通过 MCP 自然语言触发,如“X-ray your behavioral patterns”。该技能通过宿主模型现有会话进行探测,需要单独安装 bdistill 包/MCP 集成,并可能消耗宿主模型用量。

适用场景与限制:适合模型选型、行为漂移跟踪、合规审计和红队边界映射。30 题结果属于探索性证据,不是独立基准、合规认证或通用模型能力证明;应记录提示、响应、模型身份、日期和运行条件以便同条件对比。不能替代环境特定验证、测试或专家评审。若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。