用途:harness 是 Pi 原生的 evaluate→improve→persist 循环工具,用于系统化地改进输出:生成候选、按 rubric 评判、并把经验沉淀为可复用的 playbook。它建立在 autoctx(judge/improve 核心)与 Pi 工具之上。
主要能力:提供三个工具。harness_solve 执行完整循环:生成→评判→改进→持久化 playbook;harness_knowledge 用于读取、写入、列出 playbook,路径为 knowledge/<scenario>/playbook.md;harness_status 查看近期运行、分数与场景概览。评判引擎由 autoctx(通过 pi-autocontext 依赖)提供,基于 LLM 评估。
使用方式:以目标与 rubric 调用 harness_solve,例如 goal 为改进某检查清单、rubric 指定可执行发现、Effect 反模式、相关安全项,得到最佳输出并把 playbook 保存到 knowledge/<scenario>/。用 harness_status 查看带分数与场景的近期运行。用 harness_knowledge 的 list 列出所有含 playbook 的场景,read 加 scenario 读取完整 playbook。若只需一次性评判或改进,可用 pi-autocontext 的 autocontext_judge / autocontext_improve。
适用场景:需要系统性提升输出质量、回顾累积经验、查看历史运行记录时使用。
限制与成本:harness_solve 每轮生成都会消耗 Pi 提供方配额,建议先用 gens: 1 校准 rubric 再增加;harness_knowledge 与 harness_status 为零成本。其余细节暂未提供。