Caveman Evidence Review 是一个只读的审查技能,用于读取 Caveman Cloud 中的证据并在当前数据基础上形成结论。它的定位是“只读操作者”,不基于代码仓库的猜测做判断,也不会通过该技能启动、批准、取消或回滚任何实验。
用途方面,该技能适用于回答“Caveman 发现了什么”或“问题出在哪里”之类的问题,覆盖范围包括成本、Cave Score、工作流、追踪、延迟、错误、路由以及节省情况。
主要能力与数据纪律方面,它要求严格区分四类桶:measured provider-complete list-price cost(已测量的、provider 完整口径的标价成本)、inferred daily headroom(推断的每日余量)、verified ledger savings(已验证的账本节省)以及 evidence cost(证据成本)。这四类不得相加,也不得重新贴标签。默认审查时,元数据、span、时间、模型、token 计数、状态与优化器归因已足够,除非用户明确要求 payload review,否则不抓取 prompt、completion、tool 或 artifact 负载。所有读取都应限定在 Caveman 上下文所选的项目,且不得提供组织 id。
使用方式分为几个步骤。第一步加载上下文,优先使用 MCP 的 caveman_context {},CLI 回退为 caveman cloud whoami 与 caveman cloud projects list;如果缺少登录或项目选择则停止,并请用户运行 caveman login 或选择项目,不得猜测。第二步建立基线,使用 caveman_report 获取 overview、costs、score、workflows、verified_savings,再用 caveman_plan 获取排名的每日余量;若问题范围较窄则跳过无关报告,只读能回答该问题的最短集合,CLI 回退包括 caveman cloud costs、caveman cloud score、caveman cloud plan --json,并在解释方向前说明报告窗口与口径。第三步用 traces 检验主要解释,使用 caveman_trace_search,选择有界窗口与封闭过滤条件,如 workflow、agent、model、provider、error code、runtime mode、cache status、optimization id、status class、token/cost/latency 边界、compression 或 monitor verdict;常用分组包括 workflow(找出驱动成本或失败的作业)、model(比较模型组合)、session(隔离重试或循环行为)以及 ungrouped(定位具体 trace);应将可疑群体与对照群体或更早的有界窗口比较,不能从单条昂贵 trace 推断因果。CLI 示例为 caveman cloud traces search --workflow <slug> --from <RFC3339> --to <RFC3339> --sort total_cost_usd --dir desc --limit 25。第四步检查代表性 trace,调用 caveman_trace_get 查看少量高信号 trace id,检查请求与 span 元数据、延迟、状态、token 计数、缓存状态、已应用的优化器与模型路由,保持 payload 检索关闭;CLI 回退为 caveman cloud traces show <trace-id> --spans。第五步按固定结构报告,包含范围(项目与时间窗口)、measured cost、verified savings、inferred headroom、findings(带聚合证据与 trace id)、unproven(缺少对照、trace 或评估的合理但未经证实的解释)、next read-only check(一个有界查询)以及 possible action(仅作提案,生命周期审查与安全门应使用 caveman-manage)。
适用场景方面,该技能适合对 Caveman Cloud 项目进行只读的成本与质量审查,例如了解成本构成、查看 Cave Score、梳理工作流、定位高成本或失败 trace、比较模型组合、检查延迟与错误、审视路由与优化器归因,以及核对已验证节省。
限制方面,该技能本身不执行任何写操作,不能启动、批准、取消或回滚实验;不主动拉取提示、补全、工具或物化内容,除非用户明确要求;所有读取限定在 Caveman 上下文所选项目,且不得提供组织 id;空结果只能视为当前无信号,不能解读为零成本或零风险;需要引用 trace id 与确切时间窗口,不能仅凭聚合断言因果;如果数据缺失,应指出缺失信号并停在可支持的最强结论处,不得将目录小计当作发票,也不得将实验结果当作已验证节省。