CompMix 是一个面向异构问答(Heterogeneous Question Answering)的基准,用于评估那些需要同时处理多种异构输入源(包括知识库、文本、表格、信息框)的问答方法。
用途方面,CompMix 的核心目标是提供统一的评测环境,衡量问答系统在混合数据源场景下的表现,而非仅针对单一类型的数据源。
主要能力方面,根据公开信息,该基准涉及对混合异构输入源上的问答方法进行评估,其官方页面列出了若干关注点,例如基准是如何创建的、其中的问题以何种形式开始、答案呈现为何种形态,以及提供排行榜用于对比不同方法。
使用方式方面,官方页面提供了基准介绍、问题示例、答案形式说明和排行榜等入口。具体的安装方式、代码仓库、数据下载方式、评测脚本及使用步骤暂未提供。
适用场景方面,该基准适合问答系统研究、异构信息检索与融合、多源知识问答等方向的实验与对比评估。
限制方面,目前仅能确认其定位为异构问答基准,关于数据规模、语言、领域覆盖、评测指标、许可协议及更新情况等细节暂未提供。