SuperAPI AI 工具集

evaluating-code-models

编程与开发

查看项目

更新于 10-30 06:46

技能介绍

用途

该技能用于评估代码生成模型,基于 BigCode Evaluation Harness,在 15 个以上基准(包括 HumanEval、MBPP 和 MultiPL-E 的 18 种语言)上以 pass@k 指标衡量模型生成代码的功能正确性。适用于对代码模型进行基准评测、多语言代码生成能力对比、为 BigCode/HuggingFace 排行榜做基准测试,以及评估 fill-in-the-middle(FIM)能力。

主要能力

  • 支持多种基准:HumanEval(164 道 Python 题)、HumanEval+(80 倍测试)、MBPP(500 道)、MBPP+(35 倍测试)、MultiPL-E(18 种语言)、APPS(10,000 道)、DS-1000(1,000 道数据科学题)、HumanEvalPack(6 种语言,合成/修复/解释)、Mercury(计算效率)等。
  • 支持标准 HuggingFace 模型、4-bit/8-bit 量化模型以及自定义/私有模型。
  • 支持 pass@k 估计(k=1,10,100),可保存生成结果并输出 JSON 指标。
  • 支持仅生成模式(--generation_only)与 Docker 内安全执行代码,适合多语言评测。
  • 支持指令微调模型评测,可配置 instruction tokens 与 instruct 任务。

使用方式

安装:

git clone https://github.com/bigcode-project/bigcode-evaluation-harness.git cd bigcode-evaluation-harness pip install -e . accelerate config

在 HumanEval 上评测:

accelerate launch main.py
--model bigcode/starcoder2-7b
--tasks humaneval
--max_length_generation 512
--temperature 0.2
--n_samples 20
--batch_size 10
--allow_code_execution
--save_generations

查看可用任务:

python -c "from bigcode_eval.tasks import ALL_TASKS; print(ALL_TASKS)"

多语言评测(MultiPL-E)建议先在主机生成,再在 Docker 中执行:

docker pull ghcr.io/bigcode-project/evaluation-harness-multiple docker run -v $(pwd)/generations_multi.json:/app/generations.json:ro
-it evaluation-harness-multiple python3 main.py
--model bigcode/starcoder2-7b
--tasks multiple-py,multiple-js,multiple-java,multiple-cpp
--load_generations_path /app/generations.json
--allow_code_execution
--n_samples 50

指令模型评测示例:

accelerate launch main.py
--model codellama/CodeLlama-7b-Instruct-hf
--tasks instruct-humaneval
--instruction_tokens "<s>[INST],</s>,[/INST]"
--max_length_generation 512
--allow_code_execution

适用场景

  • 需要专门评估代码生成模型,而非通用 LLM 基准。
  • 需要多语言(18 种语言)代码生成评测。
  • 需要通过单元测试验证功能正确性(pass@k)。
  • 为 BigCode/HuggingFace 排行榜做基准测试。
  • 评估 fill-in-the-middle(FIM)能力。

限制与注意事项

  • 结果可能与论文报告不同,需检查 n_samples(准确 pass@k 需 200)、temperature、任务名称拼写、max_length_generation 等参数。
  • 显存不足时可使用 --load_in_8bit 或 --load_in_4bit,或减小 batch_size、设置 --max_memory_per_gpu。
  • 代码执行可能挂起或超时,建议使用 Docker 安全执行。
  • 指令模型得分低时需确保正确的指令格式与 instruction tokens。
  • MultiPL-E 语言失败时需使用专用 Docker 镜像。
  • 硬件需求:7B 模型 fp16 约 14GB 显存、4-bit 约 6GB,HumanEval n=200 在 A100 上约 30 分钟;13B 约 26GB/10GB、约 1 小时;34B 约 68GB/20GB、约 2 小时。
  • 替代方案:通用 LLM 基准可用 lm-evaluation-harness;更严格测试可用 EvalPlus;真实 GitHub 问题可用 SWE-bench;无污染持续更新可用 LiveCodeBench;代码理解任务可用 CodeXGLUE。