用途
ACLUE（Ancient Chinese Language Understanding Evaluation）是一个专注于古代汉语语言理解的评估基准，用于评估大型语言模型在古代汉语方面的能力。它旨在帮助研究者测试和改进模型对古汉语的理解。
主要能力
ACLUE由15个任务组成，涵盖多个领域：
- 词汇：T1 古文单字多义、T2 通假字、T3 古汉语命名体识别
- 句法：T4 古文断句
- 语义：T5 对联、T6 古诗词上下句预测
- 推理：T7 古诗词质量评估、T8 古文阅读理解、T9 古诗词曲鉴赏、T10 诗词情感分类
- 知识：T11 古汉语知识、T12 国学常识、T13 医古文、T14 古代文学知识、T15 古音学
所有任务均为多项选择题，每题4个选项，只有一个正确答案。问题涵盖从夏朝（公元前2070年）到明朝（公元1368年）的广泛时间范围。
使用方式
- 数据以逗号分隔的.csv文件形式提供，位于
data目录，分为data/dev和data/test目录。 - 预处理代码位于
src/utils目录。 - 每个模型的评估代码位于
src目录，运行脚本位于script目录。 - 提供了添加直接回答提示后的数据示例。
- 研究者可使用ACLUE测试模型，并可通过联系或提交拉取请求贡献模型结果。
适用场景
适用于评估大型语言模型在古代汉语理解方面的表现，适合自然语言处理、古汉语研究、语言模型评测等领域的学术研究。
限制
- 所有任务均为多项选择题形式。
- 数据时间范围有限（夏朝至明朝）。
- 项目采用MIT许可证，数据集采用Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License。
- 其他具体限制暂未提供。
