用途:Running Evals 是运行全量评测的单一会话内入口。手工跑完整评测需要多条易忘命令,而 AI/轨迹通道无法做成纯 CLI——独立进程没有会话内 Agent,也无法消耗订阅 token,只有会话内驱动才能产出评分器读取的轨迹。直接运行 /t3:running-evals 即执行默认全套件。
测试与评测的区别:测试是单元/集成代码测试,命令为 t3 teatree run tests,确定性且免费;评测是 AI/轨迹评测(智能体行为),命令为 t3 eval run,非确定性(取决于模型)。判断标准:eval 评的是智能体在提示上的所作所为,test 断言的是函数返回值。
成本划分:免费确定性通道包括 skill-triggers(t3 eval skill-triggers)和 pinned-regressions(t3 eval pinned-regressions);计费通道为 AI/轨迹,命令 t3 eval run --backend api,仅计费 ANTHROPIC_API_KEY,绝不使用订阅 OAuth token。默认后端是 transcript,复用已录制运行并对其磁盘轨迹评分,不额外花钱、不跑模型;--backend api 才会真实运行模型,且只在显式传入时执行,不会静默回退。
该技能自动驱动的步骤:t3 eval prepare-transcript 生成每场景的 agent 定义、提示与轨迹路径;对每个场景派发会话内 Agent 子代理执行提示;t3 eval capture-subagent <scenario> --since <epoch> 复制最新子代理 JSONL 到评分器读取的轨迹路径(每次派发前记录 epoch);t3 eval run --backend transcript 评分;最终打印一张统一结果表。免费确定性通道同时运行。裸 t3 eval 会执行整套件并在无轨迹时输出清单与本技能配方。
CLI 表面:t3 eval skill-triggers、t3 eval coverage、t3 eval pinned-regressions、t3 eval list、t3 eval prepare-transcript --transcript-dir ./transcripts、t3 eval capture-subagent <scenario> --transcript-dir ./transcripts --since <epoch>、t3 eval run --backend transcript --transcript-dir ./transcripts、t3 eval。
编写评测:技能行为评测位于 evals/scenarios/<skill>.yaml,带 agent_path: skills/<name>/SKILL.md;场景体不放在 skills/ 树内;每个场景附带 pass/fail/noop 三个反空洞 fixture;无评测的技能须在 frontmatter 声明非空 eval_exempt 原因,否则 coverage 报告为缺口。
限制:数据未提供界面截图、定价页面或具体支持平台中的额外细节;计费仅限 ANTHROPIC_API_KEY。