SuperAPI AI 工具集

kitaru-replay-experiment

通用与其它

查看项目

更新于 10-16 01:09

技能介绍

用途:对一个候选变更在已知用例上做一次安全、有界的 Kitaru 回放对比,说明现有证据是改进、退化、权衡还是不确定;不做部署决策。

主要能力:从已接受行为、精确 cohort 版本、精确评估器版本与参数出发,仅测试一个候选变更。回放会按历史会话存储的顶层输入,在应用覆盖后启动全新 agent 任务,不恢复任意检查点、对话、进程内存、适配器实例状态、文件系统或外部世界状态。需先解析适配器支持与构造路径;每个使用工具的运行都需显式工具策略,省略会解析为当前服务器上的实时透传,作为隐式默认不安全。支持按需读取实验契约与实验方法参考。

使用方式:先只读复用精确标识符并重读各对象,确认行为与用途、cohort 版本 ID 与有序用例数、候选 agent 版本 ID 与公开运行规格、评估器版本与参数、回放覆盖、适配器构造路径、全部可能工具及覆盖它们的显式策略。运行 Kitaru CLI 与 SDK 脚本时设置 KITARU_ACTIVE_SKILL=kitaru-replay-experiment。启动或重启用户控制的 worker 时使用 --concurrency 10;仅当启动入口通过环境变量暴露 worker 设置时使用 KITARU_WORKER_CONCURRENCY=10。优先使用原生 Kitaru MCP 操作,内置等待或 MCP 未暴露的能力用结构化 CLI。

适用场景:需要回放 cohort、回归测试已知用例、或评估用户自定义门槛时;无已接受行为或 cohort 时应转 kitaru-investigation。

限制:执行前需用普通语言说明远程写入、模型与 worker 计算、成本不确定性和可能的实时影响,并在解释可见后请求一次批准;工具路径有外部影响时需单独批准。不提供公开 winner、发布策略、统计显著性、CI 退出判定。不使用非 Kitaru 产品术语,不为摘要编造标签。实验配置在有运行后冻结,实质变更需新建实验。若运行停滞、失败、取消或部分完成,返回精确当前状态、各状态计数、可恢复标识与最小安全下一步。