LLM-eval-survey 是综述论文《A Survey on Evaluation of Large Language Models》的官方 GitHub 页面，由来自吉林大学、微软研究院、中国科学院自动化研究所、卡内基梅隆大学、西湖大学、北京大学、伊利诺伊大学、香港科技大学等机构的研究者共同维护。仓库定位为大语言模型评估领域的论文与资源汇总，论文按照该综述的章节结构进行组织。
用途方面，该仓库服务于希望系统了解大语言模型评估研究现状的读者，包括研究人员、开发者以及对 LLM 评测感兴趣的实践者。其核心用途是提供按主题分类的评估文献索引，并作为综述论文的持续更新载体。仓库说明指出，由于无法实时更新 arXiv 论文，最新更新以本仓库为准，论文可能会在后续更新。
主要能力体现在文献组织与资源聚合上。仓库按综述结构分为“评估什么（What to evaluate）”“在哪里评估（Where to evaluate）”等板块。其中“评估什么”涵盖自然语言处理、鲁棒性/伦理/偏见与可信度、社会科学、自然科学与工程、医疗应用、智能体应用以及其他应用等方向。仓库收录了大量评估相关论文，例如自然语言处理方向的多任务多语言多模态评估、情感分析评估、主题分类评估等；鲁棒性方向涉及分布外泛化、对抗提示鲁棒性、提示基准 PromptBench 等；伦理与可信度方向包括毒性、偏见、公平性评估等；此外还涉及数学推理、逻辑推理、事实一致性、幻觉检测、多语言评估、法律与社会科学应用等。
使用方式上，用户可以直接浏览 GitHub 仓库中的文件夹与文件，按综述章节查找论文列表；每条论文条目通常包含作者、发表 venue 和论文链接。仓库同时提供相关项目链接，包括面向大语言模型鲁棒性评估的 PromptBench 以及 LLM-eval。仓库欢迎通过 pull request 或 issues 贡献内容，贡献者会在致谢中列出。
适用场景包括：开展大语言模型评估相关研究时的文献调研；了解特定评估维度（如鲁棒性、偏见、幻觉、推理能力）的代表性工作；跟踪该综述的更新与新增论文；以及作为评估方法学习的入口。
限制方面，资料未提供该仓库的许可证信息、具体更新频率、维护团队规模或是否接受特定格式贡献等细节。仓库本身是论文与资源列表，不提供可直接运行的评估代码或工具；部分评估基准与数据集的可用性需查看对应论文。此外，由于无法实时更新 arXiv，仓库与论文版本之间可能存在时间差。关于收费、价格、平台支持等信息，资料中暂未提供。
