SuperAPI AI 工具集

llm-judge

智能体与模型

查看项目

更新于 10-15 21:39

技能介绍

用途:当需要比较两个或多个代码实现与同一规格或需求文档时使用,例如判断“哪个仓库更好”。

主要能力:先做事实采集(每个仓库一个 Phase 1 单元,只采集事实不评分),再按五个维度评分(每个维度一个 Phase 2 单元),聚合加权总分、排名并生成结论,输出 Markdown 摘要和 .beagle/llm-judge-report.json 报告。默认权重为功能 30、安全 25、测试 20、过度工程 15、死代码 10;评分采用 1 至 5 分制。

使用方式:命令为 llm-judge <spec> <repo1> <repo2> [repo3...] [--labels=...] [--weights=...] [--branch=...]。spec 为需求文档路径,repos 为两个以上仓库路径;--labels 自定义标签,--weights 覆盖权重,例如 functionality:40,security:30;--branch 指定比较分支,默认 main。流程含解析参数、校验输入、读取规格、加载技能、Phase 1 采集事实、校验结果、Phase 2 逐维度评分、聚合、生成结论、写报告、显示摘要、校验报告。内置硬性门禁要求各阶段通过后才能进入下一阶段,报告需通过 python3 -c "import json; json.load(open('.beagle/llm-judge-report.json'))" 校验。

适用场景:多仓库实现对比、选型评审、对照需求的评分排名。

限制:每个仓库路径需包含 .git;至少需要两个仓库;必须先完成 Phase 1 事实采集才能评分;每个分数都需有理由;平行执行仅在支持子代理时可用,否则顺序执行但输出一致。具体价格、平台支持、效果等事实资料未提供。