SuperAPI AI 工具集

analyze-experiment

测试与质量

查看项目

更新于 10-16 03:49

技能介绍

用途:把一次已完成的智能体模拟迭代转成三类产物——一个自包含、可移植的数据转储;一份诚实、有证据支撑的 Markdown 报告;以及一份品牌化、可直接交付客户的 PDF。它是实验套件中的第三个技能:setup → run → analyze。

主要能力:报告按任务给出结果、按根因聚类摩擦点、比较不同 arm 或模型差异,并附上智能体就绪度差距的简短结论。输出格式可选 md、pdf、html,可多选,至少选一个;数据转储无论选什么都会生成。当选择 pdf 或 html 时,Markdown 报告仍会在内部生成,因为二者都从它派生。可选“setup 分析”仅在聊天中给出,不写入任何产物。

使用方式:分析前需先向用户确认两个问题——想要哪些输出格式(md、pdf、html),以及是否需要 setup 分析。数据只来自以下命令:tpc sim experiment results <id> [--iteration N] --format json、tpc sim experiment signals、tpc sim run get/logs/actions/list。前提条件:已安装 tpc CLI(tpc --version),已认证(tpc auth whoami),已设置当前产品(tpc product list → tpc product switch <slug>),且迭代已完成或处于 generating_results 状态;迭代运行中无法获取结果。缺 CLI 时安装命令为 curl -fsSL https://cli.promptingco.com/install.sh | bash。

限制与规则:不得编造数据,所有定量结论必须引用上述命令中的计数,定性结论必须有转录或日志示例;需披露工具缺口并在 Caveats 中说明;明确给出 n 并标注天花板效应。默认按根因紧急聚类,只有当提供冻结分类文件(--taxonomy <file>)时才优先映射到它;冻结类别只能追加,不能重命名或删除。若信号未提取成功、harness 产生零动作或日志不完整,需如实说明。