SuperAPI AI 工具集

eval-autoresearch-fit

写作与研究

查看项目

更新于 10-16 08:00

技能介绍

用途:评估一个技能是否适合作为 Karpathy 3-File Autoresearch 自主优化循环的候选对象。该模式要求同时满足三个条件:单一明确指标、无需人工介入的自动评估、每次循环只修改一个可编辑文件。

主要能力:按四个维度各打 1-10 分(满分 40)——客观性(能否由 shell 命令输出单一数字或二元通过/失败)、执行速度(秒级到 30 分钟以上)、使用频率、潜在效用。总分对应结论:32-40 HIGH、24-31 MEDIUM、16-23 LOW、低于 16 NOT_VIABLE。还会判定循环类型(DETERMINISTIC、LLM_IN_LOOP、HYBRID),提出 3 文件架构(program.md 规格、单一变异目标、evaluate.py 评估器),并识别障碍。

使用方式:以路径或名称定位技能并完整读取 SKILL.md,逐维度评分后输出评估表,再用更新脚本写入 summary-ranked-skills.json。脚本支持 --list、--show、--filter-status PENDING、--morning-report 等命令。批量模式每次评估 3 个 PENDING 条目。对 HIGH/MEDIUM 技能可在目标技能目录内搭建 autoresearch/ 脚手架(program.md、evaluate.py、results.tsv、tasks/ 或 test-fixtures/)。

限制:evaluate.py 需在实现循环时自行编写,不属于本技能;LLM 评估存在非确定性,需多次取平均;交互式阶段需在评估模式下绕过;资料未提供具体收费、平台与效果信息。