SuperAPI AI 工具集

analyze-ablation

测试与质量

查看项目

更新于 10-15 21:51

技能介绍

用途:分析指引消融实验结果,判断各指引章节的保留价值。适用于用户提出“分析消融结果”、询问保留或删除哪些指引章节、关注指引压缩或AGENTS.md token预算,或已通过GitHub Action/本地运行过消融实验时。

主要能力与流程:

  1. 查找结果:列出 ablation/results/ 目录查看已有模型结果。若为空,需本地运行 bun run scripts/runAblation.ts --model <model>,或从GitHub Actions下载:gh run list --workflow=ablation_experiment.yml --limit=5 与 gh run download <run-id> -n ablation-<model>-<run-id> -D ablation/results/。
  2. 读取ablation/results/<model>/下最新JSON,含model、timestamp、baseline、sections(每节含name、tokensInSection、verdict、regressions、improvements、score)。verdict分为ESSENTIAL(2次以上回归)、MARGINAL(1次回归)、DISPENSABLE(0次回归)。
  3. 输出分类表:列Section、Verdict、Regressions、Improvements、Tokens、Score,按ESSENTIAL、MARGINAL、DISPENSABLE排序。
  4. 详细分析:对ESSENTIAL与MARGINAL列出回归的eval,检查是否与章节主题相关,标出意外回归;对有improvements的章节标记为改写候选。
  5. 跨模型比较:全部模型均ESSENTIAL的必留,部分ESSENTIAL的保守保留,全部DISPENSABLE的可安全删除,标出冲突结论。
  6. Token预算汇总:当前完整指引、仅必要章节、必要+边缘章节的token数,以及删除DISPENSABLE(可选MARGINAL)可节省的token。
  7. 建议下一步:如分类清晰且节省明显,可构建AGENTS.md并做验证运行;若function_guidelines为ESSENTIAL(约2400 tokens,最大章节),建议对其8个子章节做后续消融;仅测试一个模型时建议增加1-2个模型验证;若多个章节恰好1次回归,说明运行方差可能过高,建议重跑或换模型。

限制:结果可能有噪声;未获请求前不建议改动代码。涉及的10个顶层章节位于 runner/models/guidelines.ts,包括function_guidelines、validator_guidelines、schema_guidelines、typescript_guidelines、full_text_search_guidelines、query_guidelines、mutation_guidelines、action_guidelines、scheduling_guidelines、file_storage_guidelines。