用途
该技能用于评估代码生成模型,基于 BigCode Evaluation Harness,在 15 个以上基准(包括 HumanEval、MBPP 和 MultiPL-E 的 18 种语言)上以 pass@k 指标衡量模型生成代码的功能正确性。适用于对代码模型进行基准评测、多语言代码生成能力对比、为 BigCode/HuggingFace 排行榜做基准测试,以及评估 fill-in-the-middle(FIM)能力。
主要能力
- 支持多种基准:HumanEval(164 道 Python 题)、HumanEval+(80 倍测试)、MBPP(500 道)、MBPP+(35 倍测试)、MultiPL-E(18 种语言)、APPS(10,000 道)、DS-1000(1,000 道数据科学题)、HumanEvalPack(6 种语言,合成/修复/解释)、Mercury(计算效率)等。
- 支持标准 HuggingFace 模型、4-bit/8-bit 量化模型以及自定义/私有模型。
- 支持 pass@k 估计(k=1,10,100),可保存生成结果并输出 JSON 指标。
- 支持仅生成模式(--generation_only)与 Docker 内安全执行代码,适合多语言评测。
- 支持指令微调模型评测,可配置 instruction tokens 与 instruct 任务。
使用方式
安装:
git clone https://github.com/bigcode-project/bigcode-evaluation-harness.git cd bigcode-evaluation-harness pip install -e . accelerate config
在 HumanEval 上评测:
accelerate launch main.py
--model bigcode/starcoder2-7b
--tasks humaneval
--max_length_generation 512
--temperature 0.2
--n_samples 20
--batch_size 10
--allow_code_execution
--save_generations
查看可用任务:
python -c "from bigcode_eval.tasks import ALL_TASKS; print(ALL_TASKS)"
多语言评测(MultiPL-E)建议先在主机生成,再在 Docker 中执行:
docker pull ghcr.io/bigcode-project/evaluation-harness-multiple
docker run -v $(pwd)/generations_multi.json:/app/generations.json:ro
-it evaluation-harness-multiple python3 main.py
--model bigcode/starcoder2-7b
--tasks multiple-py,multiple-js,multiple-java,multiple-cpp
--load_generations_path /app/generations.json
--allow_code_execution
--n_samples 50
指令模型评测示例:
accelerate launch main.py
--model codellama/CodeLlama-7b-Instruct-hf
--tasks instruct-humaneval
--instruction_tokens "<s>[INST],</s>,[/INST]"
--max_length_generation 512
--allow_code_execution
适用场景
- 需要专门评估代码生成模型,而非通用 LLM 基准。
- 需要多语言(18 种语言)代码生成评测。
- 需要通过单元测试验证功能正确性(pass@k)。
- 为 BigCode/HuggingFace 排行榜做基准测试。
- 评估 fill-in-the-middle(FIM)能力。
限制与注意事项
- 结果可能与论文报告不同,需检查 n_samples(准确 pass@k 需 200)、temperature、任务名称拼写、max_length_generation 等参数。
- 显存不足时可使用 --load_in_8bit 或 --load_in_4bit,或减小 batch_size、设置 --max_memory_per_gpu。
- 代码执行可能挂起或超时,建议使用 Docker 安全执行。
- 指令模型得分低时需确保正确的指令格式与 instruction tokens。
- MultiPL-E 语言失败时需使用专用 Docker 镜像。
- 硬件需求:7B 模型 fp16 约 14GB 显存、4-bit 约 6GB,HumanEval n=200 在 A100 上约 30 分钟;13B 约 26GB/10GB、约 1 小时;34B 约 68GB/20GB、约 2 小时。
- 替代方案:通用 LLM 基准可用 lm-evaluation-harness;更严格测试可用 EvalPlus;真实 GitHub 问题可用 SWE-bench;无污染持续更新可用 LiveCodeBench;代码理解任务可用 CodeXGLUE。