用途:评测大模型推荐真实学术文献的能力,通过核验每条引用文献来量化幻觉率。
主要能力:从 JSON/JSONL 数据集加载查询;收集目标模型返回的 BibTeX 参考文献;解析 BibTeX 条目;对照 Crossref、PubMed、arXiv、DBLP 交叉核验;计算核验率、逐字段准确率(标题、作者、年份、DOI)与学科分布;生成 Markdown 报告和可视化图表。核验状态分为 VERIFIED(标题、作者、年份完全匹配)、SUSPECT(部分匹配)、NOT_FOUND、ERROR。排名依据总体准确率、年份合规率、平均置信度、完整性。
使用方式:先安装依赖 pip install py-openjudge,生成图表还需 pip install matplotlib。准备 YAML 配置(定义端点、数据集、核验设置)和数据集文件,设置相应 API 密钥环境变量(如 OPENAI_API_KEY、DASHSCOPE_API_KEY)。命令行运行:python -m cookbooks.ref_hallucination_arena --config config.yaml --save;默认从检查点续跑,加 --fresh 可重新开始,--output_dir 可覆盖输出目录。也可用 Python API 调用 RefArenaPipeline.from_config("config.yaml") 后 await pipeline.evaluate()。
适用场景:评估不同模型在学术文献推荐任务上的可靠性,比较学科间表现,生成排行榜或评测报告。
限制:需要配置 API 密钥和数据集;核验依赖外部数据库 API,可能受速率限制或网络超时影响;可选 Tavily 工具增强模式需额外密钥;报告语言支持 zh 或 en。具体收费、价格与平台信息暂未提供。