用途:caveman-manage 用于检查 Caveman Cloud 的评测门控(eval-gated)实验生命周期,并对不安全的执行做阻断。它适用于被要求启动、批准、取消、提升或回滚 Caveman 实验的场景。整个过程将每次生命周期变更视为生产控制动作:先读取当前状态与结果,然后报告一个受支持的推荐或阻断。
主要能力与核心约束:当前 agent MCP 被有意设计为只读,因为 control-api 尚未原子化地强制执行完整的生命周期状态转换表与证据门禁。技能列出多条不可协商的门禁:审查、检查、解释或推荐类请求只授权读取;结果待定、缺少必需护栏或证据报告违规的实验永不批准;实验提升永不转换为 verified_savings,只有活跃真实流量加上提供商因果、提供商完整的账本证据才能做到;绝不提供组织 id,项目与租户范围来自已登录的 Caveman 身份与服务器 RBAC;即使用户批准,也绝不执行生命周期变更,因为 <action>:<experiment_id> 字符串可由 agent 生成,不是人类意图的证明;未知状态与服务器错误一律失败关闭,并报告确切的 cave_snake_code。
使用方式:步骤一,加载项目与实验,优先使用 MCP 命令 caveman_context {}、caveman_experiment_get {"action":"get","experiment_id":"<id>"}、caveman_experiment_get {"action":"results","experiment_id":"<id>"};当用户未指定 id 时使用 {"action":"list"}。CLI 回退命令为 caveman cloud experiments list、caveman cloud experiments show <id>、caveman cloud experiments results <id>。如果登录、项目、实验或结果不可用则停止。步骤二,评估证据,报告当前生命周期状态与安全等级、控制组与候选组样本量、质量或评测结果、延迟/错误/成本/重试/丢弃/升级等护栏(存在时)、证据成本、回滚或保留原因,以及结果是待定、失败、可提升还是活跃。缺失不等于通过,若必需字段缺失,应说明证据不完整且不提议批准。步骤三,提出一个动作,允许的动作包括 start(仅从可启动的 draft 或 queued 状态且已配置 grader)、approve(仅当证据完整通过且当前角色可批准该安全等级)、cancel(停止用户不再需要的非活跃实验)、rollback(通过服务器关联策略路径回滚活跃或有害变更,当前部署可能以 cave_not_implemented 诚实拒绝,绝不能把该响应描述为回滚)。需展示推荐与 id,例如“Proposed action: approve experiment 7f... Reason: candidate passed quality and every configured guardrail. Execution: blocked until server-authoritative lifecycle and evidence gates ship.”不要把此前“manage it”或“do what is best”之类的泛化表述当作变更批准。步骤四,阻断不安全执行,不要发出或运行可执行的生命周期命令,并解释当前服务器尚未原子化地强制每个证据/状态转换,因此 CLI 与 MCP agent 界面仅暴露实验读取。步骤五,外部操作者操作后重新读取,如操作者称已执行命令,则再次读取详情与结果,报告服务器观测到的后状态、审计或结果响应以及返回的策略交付状态,绝不单凭操作者意图推断成功。收尾格式为 Action: <action> <experiment-id>、Before: <state>、Server response: <status and cave_snake_code if any>、After: <re-read state>、Basis: experiment evidence only. Verified savings unchanged unless the signed ledger independently records active, provider-causal real-traffic savings.
适用场景:需要在生产语境下谨慎审查 Caveman 实验、评估证据完整性、避免越权批准或执行变更的场合。
限制:当前 agent MCP 与 CLI/MCP agent 界面仅支持实验读取;服务器尚未原子化强制执行完整生命周期与证据门禁,因此不能执行任何生命周期变更;rollback 在当前部署可能被拒绝;证据缺失或服务器错误时应失败关闭并报告确切 cave_snake_code。