SuperAPI AI 工具集

auto-review-loop-llm

智能体与模型

查看项目

更新于 10-15 17:29

技能介绍

用途:以自主循环方式迭代改进研究工作,流程为评审→实现修复→再评审,直到外部评审给出正面评估或达到最大轮数。触发方式为“auto review loop…”,上下文由 $ARGUMENTS 传入。

主要能力与常量:MAX_ROUNDS = 4;正面阈值(POSITIVE_THRESHOLD)为分数 ≥ 6/10,或评审结论包含 accept、sufficient、ready for submission;评审日志写入项目根目录的 AUTO_REVIEW.md(累积记录)。

配置:使用任意 OpenAI 兼容 API,通过 llm-chat MCP 服务器配置(推荐,写入 ~/.claude/settings.json)或环境变量。支持 OpenAI、DeepSeek、MiniMax、Kimi、智谱 GLM、SiliconFlow、阿里云百炼、零一万物等提供商,分别对应各自的 LLM_BASE_URL 与 LLM_MODEL。调用方式优先使用 MCP 工具 mcp__llm-chat__chat,回退方案为 curl 调用 ${LLM_BASE_URL}/chat/completions。

状态持久化:每轮结束(Phase E 文档记录后)将状态写入 REVIEW_STATE.json,含 round、status、last_score、last_verdict、pending_experiments、timestamp;完成后 status 置为 completed。

工作流:初始化(检查 REVIEW_STATE.json 恢复、读取项目上下文与既往评审、初始化轮次计数);循环最多 MAX_ROUNDS 轮,每轮含 Phase A 评审(调用 LLM 按 1-10 打分、列出关键弱点、给出最小修复、说明是否可提交);Phase B 解析评估(务必逐字保存完整原始回复,提取分数、结论、行动项,若分数达标即停止);Phase C 实现修复(优先级:补充指标 > 重新表述 > 新实验);Phase D 等待结果(监控远程实验);Phase E 记录本轮至 AUTO_REVIEW.md 并写 REVIEW_STATE.json。第 2 轮及以后提示中需包含上轮摘要与变更。

关键规则:大文件写入失败时改用 Bash 分块写入;参考资料严禁凭空生成 BibTeX,须走 DBLP → CrossRef → [VERIFY] 链;如实说明弱点;先实现修复再重新评审;完整记录;优先 MCP 工具而非 curl。

限制:资料未提供具体平台支持范围之外的更多细节、价格或效果保证;MAX_ROUNDS 固定为 4;依赖外部 LLM 服务的可用性与配置正确性。