SuperAPI AI 工具集

stackbone-evals

测试与质量

查看项目

更新于 10-16 04:31

技能介绍

用途:指导 Stackbone 评测闭环——先建什么、哪个界面能建、如何读结论,用于衡量智能体或工作流是否有效、改动是否带来提升。

事实来源:文档通过 MCP 的 stackbone-docs 服务器提供(https://docs.stackbone.ai/mcp,公开,工具为 search_docs、get_doc、list_docs),stackbone docs 打印连接信息。先 list_docs,再取路径后 get_doc;不要凭记忆输入路径。准则目录不在文档而在运行环境上,写套装前先向环境索取。已安装版本的 --help 优先于文档,不要凭记忆解释退出码。会话中没有 stackbone-docs 工具时,可获取 https://docs.stackbone.ai/llms.txt(每页一行的索引)或 https://docs.stackbone.ai/llms-full.txt(约 700 KB)。

连接环境:claude mcp add --transport http my-box http://127.0.0.1:4242/mcp。按名称操作而非扫描:list_operations 有上限,超过返回 catalog_too_large,需传 tag: "evals",读用 call_read_operation,写用 call_write_operation。

各界面能力:CLI 不能构建评测,只启动他人写好的套装并转为退出码;盒子 MCP 与 Studio 可建用例列表、用例、CSV 导入、版本历史、套装与准则,盒子还能干跑单条准则设置、启动双变体对比、取消运行,Studio 可读逐变体对比表。

从零到对比:先在 Studio 设置模型提供方、评判模型与模拟器模型(后两者可选,建议设置并区分)。读环境目录,建用例列表并用真实运行的“Save as test case”播种。写套装:目标、用例列表(固定版本)、准则、重复次数、每次上限与及格线。冒烟:stackbone eval <suite> --agent <id> --json --git-sha "$(git rev-parse HEAD)"。模型内置于 bundle,比较两个模型需发布两次;提示词比较需发布 A 跑一次、发布 B 再跑一次。对比从环境启动两个变体,再在 Studio 运行详情看并排表。

术语:评分器(准则)将某用例答案判为通过、失败或无可评判;用例通过需所有准则通过。数据集版本为写时复制,每次编辑生成不可变版本。变体是同一批用例上的带标签配置,最多两个;不同模型、提示词版本或评判模型会被拒。人格模拟器在用例提问时代答,用例自带回复先按序原样回放。轨迹记录工具、工作流步骤、子智能体的名称与顺序,不比较参数。

规则:仅盒子 MCP 会先询问确认(启动消耗预算),无法询问则返回 confirmation_unavailable;Studio 显示计划与大致花费;CLI 两者都不做,stackbone eval 不在 --yes 之后,回车即开始花费。计划为用例×重复×变体,再有评判器翻倍。取消是更便宜的闸门;Ctrl-C 与 --timeout 只停 CLI 监视器,不停运行,需正确取消。已完成的运行若少于计划仍是红闸,要看计数。准则干跑不存任何东西但仍属写操作。有四种结论,stopped 不等于 failed,先读每用例原因再判定回归。运行对上次与变体对比是两种读法,后者只在 Studio,无操作返回。

向用户说明:启动前用两三句话说明衡量什么、在哪些界面看到、哪些只有用户能决定(是否花费、列 B 指向哪);之后一句话说明得分、结论界面与下次运行需超过的基线。不覆盖:模型周边代码测试、模型选择与定价、被测智能体或工作流的编写。