用途:对同一只读提示做一次配对 A/B 观测,对照“免费 Atlassian 工具加本地 MCP/连接器”与“通过 TWG CLI 使用付费 Atlassian Teamwork Graph 上下文”两种方式。仅比较读取任务,不比较写操作;如需写操作,只能在用户批准后比较只读计划或 dry-run。两个分支必须使用逐字节相同的提示。
主要能力:自带可复用 runner、judge 与报告模板;提供 twg benchmark lite 命令桥接。默认全生命周期运行:twg benchmark lite run --prompt "<read-only prompt>" --output-dir <dir>,可用 --agent rovo 改用 Rovo,--judge-agent codex|rovo 指定评审运行时。运行前用 twg benchmark lite --check 校验可移植 runner 与所选运行时,Rovo 需加 --agent rovo。手动编排需两个托管代理 twg-bench-lite-control 与 twg-bench-lite-test,缺失时运行 twg skills install --yes 并新开 Codex 线程刷新代理发现;两者并发启动、不继承父上下文、发送完全相同的提示,不得代入分支专属指令。
结果与限制:先读两份回答再做质量分类,类别为 equivalent、twg-better、control-better、capability-gain、not-comparable;not-comparable 是缺失、不可用或不可比回答的真实结果。仅对 equivalent 或 twg-better 声明观测到的节省;capability-gain 只报告能力增益。评估覆盖度、正确性、证据质量、直接性与局限性,不给数值质量分。报告包含提示原文、两分支状态与输出、观测到的工具族与 TWG 命令证据、运行时暴露的 token/工具/耗时指标、质量分类与理由及完整性说明;指标缺失写 not measured,不得估算。结论仅为一次观测到的提示对比,不是通用效率率。V1 支持 Codex 与 Rovo 实时运行,Claude 为 V2;命令行未找到时按平台回退路径使用 twg 并提示加入 PATH,不得把鉴权或命令错误当作 PATH 故障。