简介 Auto Review Loop (Generic LLM) 是一个自主研究改进循环技能,通常以 Claude Code 技能形式使用。其核心目标是通过反复的外部 LLM 评审与修复,将研究工作逐步推进到可提交状态。
主要用途 用于在无人干预或较少干预的情况下,对研究性工作(如论文草稿、实验方法、指标结果)进行多轮自动评审与改进。技能会调用一个外部的大语言模型作为“资深评审员”,给出评分、剩余问题清单和最低限度修复建议,然后由使用者或自动化流程实施修复,再进入下一轮评审。
主要能力与关键参数
- 循环流程:评审(Phase A)→ 解析评估(Phase B)→ 实施修复(Phase C)→ 等待结果(Phase D)→ 记录轮次(Phase E),最多运行 MAX_ROUNDS = 4 轮。
- 正面停止条件:评分 score >= 6/10,或评语 verdict 包含 "accept"、"sufficient"、"ready for submission"。
- 修复优先级:指标补充 > 重新表述 > 新实验。
- 评审提示模板:要求评审者给出 1-10 评分、按严重程度排序的关键弱点、每项弱点的最小修复,以及是否 READY 的明确判断,并强调“要极其诚实”。
- 第二轮及以后的提示会携带上一轮评分、评语、关键弱点列表,以及自上次评审以来的变更和更新结果。
LLM 配置方式 支持任意兼容 OpenAI 的 API,推荐通过 llm-chat MCP 服务器配置。配置写入 ~/.claude/settings.json,示例包含 command 为 /usr/bin/python3,args 指向 server.py,以及环境变量 LLM_API_KEY、LLM_BASE_URL、LLM_MODEL。
支持的提供方及示例参数(依据资料):
- OpenAI:LLM_BASE_URL = https://api.openai.com/v1,模型 gpt-4o、o3
- DeepSeek:https://api.deepseek.com/v1,模型 deepseek-chat、deepseek-reasoner
- MiniMax:https://api.minimax.io/v1,模型 MiniMax-M2.7
- Kimi (Moonshot):https://api.moonshot.cn/v1,模型 moonshot-v1-8k、moonshot-v1-32k
- 智谱 (GLM):https://open.bigmodel.cn/api/paas/v4,模型 glm-4、glm-4-plus
- SiliconFlow:https://api.siliconflow.cn/v1,模型 Qwen/Qwen2.5-72B-Instruct
- 阿里云百炼:https://dashscope.aliyuncs.com/compatible-mode/v1,模型 qwen-max
- 零一万物:https://api.lingyiwanwu.com/v1,模型 yi-large
调用方式 首选 MCP 工具 mcp__llm-chat__chat,传入 prompt、model、system。若 MCP 不可用,则回退到 curl,调用 ${LLM_BASE_URL}/chat/completions,并在请求头中携带 Bearer 认证和 JSON 内容类型。
状态持久化与恢复 每轮结束后写入 REVIEW_STATE.json,字段包括 round、status、last_score、last_verdict、pending_experiments、timestamp;全部完成时将 status 设为 "completed"。初始化时先检查 REVIEW_STATE.json 以恢复状态,读取项目上下文和历史评审,并初始化轮次计数器。
文档记录 每轮追加记录到项目根目录的 AUTO_REVIEW.md,内容包括轮次时间戳、评估摘要(评分、评语、关键批评)、评审者完整原始回复(放在可展开区域,要求逐字未编辑)、已采取的行动、结果和状态。
关键规则
- 大文件处理:若 Write 工具因文件大小失败,立即改用 Bash(cat << 'EOF' > file)分块写入,不询问用户许可,静默执行。
- 防止引用幻觉:添加参考文献时绝不凭空编造 BibTeX,应使用 DBLP → CrossRef → [VERIFY] 链条,不要凭记忆生成 BibTeX。
- 对弱点保持诚实;在重新评审前先实施修复;记录一切;第二轮及以后提示中包含此前上下文;有 MCP 工具时优先于 curl。
适用场景 适合需要在提交前多次自评和改进的研究性工作,尤其是在希望引入独立 LLM 评审视角、并希望流程可复现、可记录、可恢复的场景中使用。
限制 资料未提供具体的安装方式、费用、价格、平台兼容性细节或效果保证;MAX_ROUNDS 固定为 4,正面阈值固定为 6/10。是否可用取决于所配置的 LLM API 与 MCP 环境。