用途：回答一个明确的技能维护决策——保留、修改、移除或证据不足。它先根据调用方的决策选择可回答该决策的测量方式，在调用方接受的用例与资源范围内执行一次评估，给出单条限定范围的建议后停止。评估完成不等于必须出现正向差异。
主要能力与规则：所有尝试都计入统计，失败、崩溃、中断、阻塞、放弃、缺失与基础设施无效的运行都保留，重跑只增加尝试而不覆盖失败记录；除目标变量外，使各对照组的指令、工具、环境、模型与投入保持一致；在把零差异或小差异读作无收益前，先确认处理组确实加载或注入了该技能；评分前校准评分器，确认判分器能通过明显达标、拒绝明显不达标的响应；小样本只作方向性判断，每次差异都附带不确定性。停止条件须在运行前固定。
测量选择：自然请求是否加载技能，用路由探针或仅含工具使用的评分；加载是否改变某个可观测行为，用行为探针；已安装插件能否端到端改变评分答案，用插件评估对比无插件基线；包或版本是否改善工程结果与成本，用受控编码对比；记忆更新是否帮助后续工作，用冻结与更新记忆的迁移测试；普通运行中发生了什么，用现有原生记录与验收证据。
使用方式：claude plugin eval <plugin-path> --model <id> 是 Claude Code 的评估器，默认在插件 eval 目录运行用例，默认以 --ablation with-without 做带与不带对比，用用例评分器打分并报告分数差；--runs 设置每用例重复次数，--max-cost-usd 限制花费，--json 写出每次运行结果；默认发布 HTML 报告到 claude.ai 并在插件 eval 目录写结果，可用 --no-publish 关闭，用 --output-dir、--json、--report 指向调用方指定存储；参数以 claude plugin eval --help 为准。scripts/probe-skill.sh 是仓库内的小型行为探针运行器，注入确切的 SKILL.md 字节，用确定性判别器评分并回放固定夹具，因强制加载，它测的是文本对某一行为的影响而非路由；它、evals/ 与探针门禁仅存在于 AgentOps 源码检出中，其他环境须改用 claude plugin eval 或调用方运行器并说明替代关系。两者结果不可互相替代。
限制：不搭建核心技能、AO 评估命令、调度器、仪表盘、第二追踪器或强制评审；运行前需调用方授权与边界；错误身份、变更验收、污染或配对不明不能构成对比证据；缺失的评审、用量、计费、阶段或可行性证据保持未知；原始试验与新证据写入调用方指定的受保护外部非 Git 存储，仅经批准可公开的脱敏夹具进入 Git。输出包含决策、问题、设置、尝试、结果、不确定性、成本与未证明项。资料未提供具体价格、平台支持列表或性能保证。