用途:帮助向 stata-skill 项目(Claude Code 的 Stata 参考技能)做贡献,涵盖运行评测流水线、分析结果、基于数据改进技能文档。
主要能力:评测脚本 tests/eval.py 负责发送任务给 Claude 并评判回答;tests/rubric.md 为 7 类评分标准(满分 55);tests/tasks/task_*.md 为 24 个测试任务;还有 runner-only 基线插件、结果目录与既有评测报告、ROADMAP.md、CONTRIBUTING.md。
常用方式(命令保持原样): 单任务单次:python tests/eval.py tests/tasks/task_01_data_cleaning.md 单任务 5 次:--runs 5 保存基线:--save tests/results/my_baseline.json 对比基线:--compare tests/results/my_baseline.json 测试模式:--runner-only、--no-skill、--skill-path /path/to/modified/plugin A/B 测试:编辑前保存基线,编辑文档后重跑并对比,观察均分上升、标准差持平或下降、无新失败模式。 可并行运行多个任务,目录原子创建,但建议每批 3-4 个任务以免资源耗尽。
结果结构:每次运行生成 tests/results/run_NNN/,含 transcript.json、judge_findings.md、metadata.json、code_files/;聚合结果为 JSON 列表。
多智能体分析:跑完评测后派发 4-5 个并行 Sonnet 子智能体,分别做回归分析(技能反而更差)、冗余分析(技能无增量)、高方差分析(SD>10)、最大提升分析、图形/薄弱区分析,汇总修改建议:先修文档 bug,再补缺失陷阱与工作流,最后重跑验证。已有示例分析发现 4 处文档 bug、新增 3 个陷阱与 1 个工作流,并提出“锚定效应”。
费用(资料给出):单任务 1 次约 $0.50-$1.50;5 次 $2.50-$7.50;全部 24 任务各 1 次 $12-$36;各 5 次 $60-$120;完整 A/B $120-$240;多智能体后测分析 $3-$8。建议先用 1-3 个相关任务小规模验证。
限制:评测消耗 API 额度,须先小规模再放大;具体环境依赖、安装步骤、支持平台等资料暂未提供。