用途:对 foundation-suite 执行系统性评估优化,流程为先跑基线(baseline),再对结果做失败聚类分析(analyze),据此定位需要改进的冲突族,而非针对单个用例过拟合。
主要能力:运行基线评测、输出结构化结果文件、基于结果文件进行失败聚类分析,用于支持通过率(pass@1)的系统化提升。
用法:需要 Go 工具链(go 在 PATH 中),并以仓库根目录作为工作目录(或传入 cwd)。运行基线:python3 skills/eval-systematic-optimization/run.py '{"action":"baseline","tag":"r12"}'。分析失败:python3 skills/eval-systematic-optimization/run.py '{"action":"analyze","result_file":"/tmp/foundation-suite-r12-baseline/foundation_suite_cases.json"}'。
限制:基线命令超时 600 秒;默认基线输出路径为 /tmp/foundation-suite-<tag>-baseline;analyze 需要有效的 JSON 结果文件路径;优化重点是冲突族,不针对单例过拟合。其他收费、平台或效果信息暂未提供。