FELM（Benchmarking Factuality Evaluation of Large Language Models）是一个用于评估大型语言模型事实性评估器的元基准。
用途： 评估 LLM 生成文本的事实性是一个新兴但关键的研究方向，其目标是提醒用户注意潜在错误，并指导开发更可靠的 LLM。然而，评估事实性的评估器本身也需要合适的评估来衡量进展并促进提升。这一方向此前探索不足，严重阻碍了事实性评估器的进步。FELM 正是为缓解这一问题而引入的基准。
主要能力：
- 收集来自 LLM 的回答，并以细粒度方式标注事实性标签。
- 覆盖五个不同领域：世界知识（World Knowledge）、科学技术（Science/Technology）、写作/推荐（Writing/Recommendation）、推理（Reasoning）和数学（Math）。
- 提供用于评估事实性评估器的数据与排行榜。
使用方式： FELM 通过收集各领域的提示（prompts）来构建数据。提示来源包括标准数据集（如 truthfulQA）、在线平台（如 GitHub 仓库）、ChatGPT 生成或由作者起草。随后使用 ChatGPT 为这些提示生成回答。基准提供数据集统计和排行榜。排行榜使用 F1 Score 衡量检测事实错误的能力，使用 Balanced Accuracy 衡量在正确和错误样本上的均衡表现。
适用场景： 适用于研究和评估事实性评估器在多个领域识别 LLM 输出事实错误的能力，帮助比较不同评估方法的性能。
限制： 资料未提供关于安装、使用步骤、收费、价格、平台支持或具体效果的更多信息。
