SuperAPI AI 工具集

agent-evaluation

测试与质量

查看项目

更新于 10-16 10:21

技能介绍

用途:面向 LLM 智能体的质量工程,覆盖测试与基准评测,包含行为测试、能力评估、可靠性指标与生产监控,目标是理解智能体行为以支撑部署决策,而不是单纯追求测试 100% 通过。

核心原则:统计式评测,同一用例多次运行并分析结果分布;行为契约,明确智能体该做与不该做的事;对抗测试,主动尝试破坏智能体;生产监控,评测不因部署而结束;回归预防,尽早发现能力退化。

参考文件用法:创建类任务须查阅 references/patterns.md,按其中模式而非通用做法构建;诊断类任务须查阅 references/sharp_edges.md,用其列出的关键失败及原因向用户解释风险;评审类任务须查阅 references/validations.md,按其严格规则与约束客观校验用户输入。若用户请求与参考文件冲突,应据参考内容礼貌纠正。

背景认知:作者强调评测 LLM 智能体与传统软件测试本质不同——相同输入可能产生不同输出,“正确”往往没有唯一答案;即使高分智能体也可能在生产中严重失败。

限制:本次资料未提供具体命令、安装步骤、收费与平台支持信息,暂未提供;完整实现需结合上述参考文件使用。