auto-review-loop-llm

用途

Auto Review Loop (Generic LLM) 是一个面向科研工作的自主评审循环技能。它的目标是在缺少人工持续参与的情况下，自动完成“外部评审 → 实现修复 → 再次评审”的迭代，直到外部评审模型给出正面评价，或达到预设的最大轮数。它被设计为对一个研究项目（claims、methods、results、已知弱点）进行多轮严苛评审，并按评审意见推进改进。

主要能力

自主循环评审：每一轮调用外部 LLM 评审，得到评分与整改清单，实施修复后再进入下一轮。
评分与判定：评审输出 1-10 分评分与判定词，判定词取值为 ready / almost / not ready。
停止条件：当 score >= 6/10 且 verdict 属于 ready 或 almost 时停止；两个条件必须同时成立，not ready 不符合停止条件。
MAX_ROUNDS 默认 4 轮。
上下文延续：第 2 轮起会把上一轮摘要（上一轮评分、判定、关键弱点）以及自上次评审以来的变更与更新结果带入当轮评审提示词。
评审记录：每轮将结果追加到 review-stage/AUTO_REVIEW.md（累积日志，旧项目回退到 ./AUTO_REVIEW.md），并保留评审员完整原始答复。
状态持久化：每轮写入 review-stage/REVIEW_STATE.json（旧项目回退到 ./REVIEW_STATE.json），字段包括 round、status、last_score、last_verdict、pending_experiments、timestamp；完成后 status 置为 completed。
防幻觉引用：添加参考文献时不得凭记忆生成 BibTeX，需按 DBLP → CrossRef → [VERIFY] 链路核对。

使用方式

LLM 配置

通过 llm-chat MCP 服务器（推荐）配置，加入 ~/.claude/settings.json，示例：

{
  "mcpServers": {
    "llm-chat": {
      "command": "/usr/bin/python3",
      "args": ["/Users/yourname/.claude/mcp-servers/llm-chat/server.py"],
      "env": {
        "LLM_API_KEY": "your-api-key",
        "LLM_BASE_URL": "https://api.deepseek.com/v1",
        "LLM_MODEL": "deepseek-chat"
      }
    }
  }
}

支持的提供商与参数对应关系：

OpenAI：LLM_BASE_URL 为 https://api.openai.com/v1，模型 gpt-4o、o3
DeepSeek：https://api.deepseek.com/v1，deepseek-chat、deepseek-reasoner
MiniMax：https://api.minimax.io/v1，MiniMax-M3
Kimi (Moonshot)：https://api.moonshot.cn/v1，moonshot-v1-8k、moonshot-v1-32k
ZhiPu (GLM)：https://open.bigmodel.cn/api/paas/v4，glm-4、glm-4-plus
SiliconFlow：https://api.siliconflow.cn/v1，Qwen/Qwen2.5-72B-Instruct
阿里云百炼：https://dashscope.aliyuncs.com/compatible-mode/v1，qwen-max
零一万物：https://api.lingyiwanwu.com/v1，yi-large

调用方式

首选 MCP 工具调用：

mcp__llm-chat__chat:
  prompt: |
    [Review prompt content]
  model: "deepseek-chat"
  system: "You are a senior ML reviewer..."

MCP 不可用时回退到 curl：

curl -s "${LLM_BASE_URL}/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${LLM_API_KEY}" \
  -d '{
    "model": "${LLM_MODEL}",
    "messages": [
      {"role": "system", "content": "You are a senior ML reviewer..."},
      {"role": "user", "content": "[review prompt]"}
    ],
    "max_tokens": 4096
  }'

工作流程

初始化：检查 review-stage/REVIEW_STATE.json 以恢复（找不到时回退 ./REVIEW_STATE.json），读取项目上下文与先前评审，初始化轮次计数器。
循环（最多 MAX_ROUNDS 轮）：
- Phase A 评审：通过 MCP 或 curl 调用评审模型，要求其给出 1-10 评分、按严重度排序的剩余关键弱点、每项弱点的最小修复建议，以及是否 READY 的明确判断。
- Phase B 解析评估：逐字保存完整原始答复，提取 Score、Verdict、Action items；若 score >= 6 且 verdict 属于 ready 或 almost 则停止。
- Phase C 实施修复：优先级为指标补充 > 重新表述 > 新实验。
- Phase D 等待结果：监控远程实验。
- Phase E 记录轮次：向 review-stage/AUTO_REVIEW.md 追加本轮评估摘要、评审员原始答复（完整、逐字、未编辑）、采取的行动、结果与状态，并写入 review-stage/REVIEW_STATE.json。
终止：将 REVIEW_STATE.json 的 status 置为 completed，并写最终总结。

第 2 轮及以后的提示词模板

系统提示："You are a senior ML reviewer (NeurIPS/ICML level)."，用户提示中包含上一轮摘要（上一轮评分、判定、关键弱点）、自上次评审以来的变更及更新结果，并要求重新评分与重新评估，同样给出四项内容（评分、剩余关键弱点、最小修复、是否 READY）。

适用场景

需要以顶会（如 NeurIPS/ICML）标准反复打磨研究工作的科研项目。
希望以“评审—修复—再评审”闭环自动推进、并在达到阈值后停止的场景。
使用任意 OpenAI 兼容 LLM API 作为外部评审后端的项目。

限制与注意事项

不要用 /loop、/schedule 或 CronCreate 包裹本技能。它自身已内部循环（review → fix → re-review），每轮会把上一轮摘要喂给下一轮评审提示（后端是无状态的每轮 API/MCP 调用，而非共享线程）。外部定时器每个 tick 会从顶部重新进入，丢掉累积上下文，并按墙钟时间而非成果变更触发判定，零新增信号却消耗完整 token 成本。应当调度其前置的外部等待，而不是调度判定本身。
大文件处理：如果 Write 工具因文件大小失败，应立即改用 Bash（cat << 'EOF' > file）分块写入，不要向用户请求许可，静默执行。
引用真实性：添加参考文献时绝不能凭空捏造 BibTeX，不要凭记忆生成 BibTeX，需使用 DBLP → CrossRef → [VERIFY] 链路核对。
评审后必须在再次评审之前实施修复；如实对待弱点；记录所有内容；第 2 轮及以后提示词必须包含先前上下文；有 MCP 工具时优先使用而非 curl。
输出协议：遵循共享的输出协议，包括输出版本化协议（先写带时间戳的文件，再复制为固定名称）、输出清单协议（所有输出登记到 MANIFEST.md）、输出语言协议（尊重项目的语言设置）。
关于收费、价格、平台或效果等信息，资料中暂未提供。