SuperAPI AI 工具集

autoresearch-prompt

智能体与模型

查看项目

更新于 10-16 00:06

技能介绍

用途:用评测驱动的实验循环自动优化 LLM 提示词。智能体反复编辑 prompt.md,对带标签的样例集运行评测,保留得分提升的改动、回退导致退化的改动,最多迭代 10 次。

主要能力:按 eval_set.jsonl 中的 expected_* 字段计算逐字段准确率,支持 --weights 自定义加权;输出 score、各字段准确率、cost、latency_ms、errors、total;支持自定义提示词、评测集与模型。

使用方式:进入 skills/autoresearch-prompt 后执行 uv sync 安装;运行 uv run -- autoresearch-prompt evaluate(需 ANTHROPIC_API_KEY);可加 --prompt、--eval-set、--model 参数;默认模型与定价见 src/autoresearch_prompt/models.toml,可用 AUTORESEARCH_MODEL 环境变量覆盖;也可将 JSON 通过 stdin 管道传给 classify。

结构:prompt.md 由智能体编辑,eval_set.jsonl 为 20 条标注样例(不可编辑),program.md 为循环指令,results.tsv 记录得分历史,src/ 为评测工具。

限制:评测集格式为约定式 JSONL,非 expected_* 键作为输入渲染进 {{key}},expected_* 键为评分输出;字段缺失则跳过,无可比较字段时准确率记为 1.0。其他平台支持、收费与效果数据暂未提供。