SuperAPI AI 工具集

llm-consistency-testing

智能体与模型

查看项目

更新于 10-16 09:33

技能介绍

用途:在需要评估 Agent、RAG 或 LLM 方案、结果与证据集时使用,聚焦重复输入、版本/模型/提示词因素、不变量、方差证据和比较边界,产出可执行的改进建议。即使上下文不完整,也可先做有边界的首轮分析,并标注假设、缺口与需人工决策的边界。

主要能力:提取范围、环境、版本、时间窗、约束、成功标准与已有证据;区分已确认事实、有证据的推断、候选建议与人工决策,再按风险与证据强度排序;将高风险项转化为前置条件、步骤、预期行为或决策标准、所需证据与验证方法。输出默认按领域风险、证据状态、优先级和边界组织的 Markdown;如需表格、CSV、JSON 或工单字段,保留相同的发现字段、证据与决策边界,机器消费前先确认 schema、枚举、必填字段与证据来源。

使用方式:先阅读并遵循 prompts/llm-consistency-testing.md,其中包括输入审计、领域覆盖与输出顺序。固定样本 ID、模型/提示词/工具/数据版本、温度、seed(若支持)等采样参数,重复次数由项目提供。先检查结构不变量(schema、必填字段、枚举、策略),再用项目评分标准比较语义决策;允许的改述或顺序变化不算失败。报告重复试验分母、结构/语义失败数与每样本间歇性失败。方差需有具名数值变量、单位与公式。

参考文件:校准领域结果、有效控制或证据缺口时读 references/domain-decision-example.md;评估时读 evals/eval.yaml 及 evals/cases/ 下对应用例;仅当 references/、examples/、scripts/ 或 output-formats.md 存在且任务需要时加载。

限制:单一观测不能建立重复一致性;缺少评分标准时语义一致性为 UNKNOWN;参数/版本分组应分开而非合并作为稳定性证据。不得编造系统行为、字段、模型输出、数据、阈值、根因、执行记录或通过结论;静态设计、计划、文件存在或试运行不能作为真实执行证据。证据不足时使用待确认、受阻、未评估或 NOT_SCORED,并给出最小验证方法。用户数据、生产或安全工作应使用最小权限、脱敏、模拟、试运行或隔离。