InfiBench
AI开发平台InfiBench 是一个专为代码大语言模型(Code LLM)设计的基准测试,旨在评估模型回答真实世界代码相关问题的能力。它包含 234 个精心挑选的高质量 Stack Overflow 问题,覆盖 15 种编程语言,并遵循 Stack Overflow 的自然问题分布。该基准采用四种无模型自动评估指标(关键词匹配、填空、单元测试和对话相似度)来判断回答正确性,由领域专家为每个问题具体化评分标准。目前已有超过 100 个最新代码大语言模型在 InfiBench 上进行了系统评估。InfiBench 完全开源且持续扩展,以促进更科学、系统的代码 LLM 评估实践。