用途:通过运行 Logic-Lens 内容评测流水线的一个迭代,对某次技能改动进行量化衡量;运行内容用例并对其输出评分,最终生成带分数的 summary.json。
主要能力与结构:运行器与评分器刻意分离。运行阶段调用 Claude、消耗 token;评分阶段是纯正则 Python,免费,可对已有输出反复重跑。因此不要为了重新评分而重跑运行器,应改为重新评分。summary.json 位于迭代目录内,包含总体通过率,以及按模式和按子分数(logic 与 format)的细分。logic 子分数反映推理质量;format 反映 Output-Skeleton 合规性,是历史瓶颈且单次运行方差较大,判断改动时应看对应的子分数。
使用方式:先同步缓存(不可跳过),运行器从插件缓存而非 skills/ 加载技能,跳过会导致评测用旧版本、整轮作废:bash .claude/skills/sync-skill-cache/scripts/sync-cache.sh。然后选择范围:SMOKE=1 bash scripts/run-content-evals.sh(每种模式一个用例,快速冒烟);CASES="200 201 202" bash scripts/run-content-evals.sh(仅诊断标记的用例);TAG=myfix bash scripts/run-content-evals.sh(整轮并命名标签);不带参数则整轮,标签为 git 短 SHA。运行器幂等,已有 output.md 的用例会被跳过,删除 eval-<id>/ 目录可强制重跑该用例。编辑评分器后或基于已有输出重算:python3 scripts/grade-iteration.py skills-workspace/iteration-<TAG>。已有输出、只要分数表时,直接对该迭代目录评分是成本最低的路径(见 scripts/README.md)。
限制与注意:全文运行消耗真实 token,迭代期间应缩小范围。logic-review 单次运行分数受方差主导,一次运行只是信号而非结论;对接近临界的决策,应把受影响用例跑 2–3 次或扩大用例集后再下结论,并将结果交给 iteration-guard 做发布/回滚判断,而非凭单个数字目测。