SuperAPI AI 工具集

code-llm-papers-guide

写作与研究

查看项目

更新于 10-16 06:44

技能介绍

用途:该合集用于调研面向代码的大语言模型(Code LLM)研究,配套一篇 TMLR 综述论文,对预训练、微调、评测与应用进行系统分类,跟踪 500+ 篇论文。

主要能力与分类:其分类体系分为四部分。预训练按架构分为仅编码器(CodeBERT、GraphCodeBERT)、仅解码器(Codex、CodeGen、StarCoder、DeepSeek-Coder)和编码器-解码器(CodeT5、PLBART);微调与对齐包括指令微调(WizardCoder、Magicoder)、面向代码的 RLHF(CodeRL)与自博弈(AlphaCode);应用涵盖代码生成(自然语言到代码)、代码补全、代码修复、代码翻译、代码摘要、测试生成与代码审查;评测包括基准(HumanEval、MBPP、SWE-bench)、指标(pass@k、CodeBLEU)与安全分析。

关键模型时间线:CodeBERT(2020,Microsoft,125M)、Codex(2021,OpenAI,12B)、AlphaCode(2022,DeepMind,41B)、StarCoder(2023,BigCode,15B)、CodeLlama(2023,Meta,34B)、DeepSeek-Coder(2024,DeepSeek,33B)、Qwen2.5-Coder(2024,Alibaba,32B)。

使用方式:资料给出 HumanEval 分数跟踪示例,以字典记录 GPT-4、Claude 3.5 Sonnet 等模型的 pass@1/pass@10 并排序输出;还用 arxiv 库示例按主题检索近期论文,如 find_code_llm_papers("code generation")。

适用场景:文献综述与研究版图梳理、模型选型对比、基准表现跟踪、研究规划与趋势识别,以及软件工程与 AI 交叉课程材料。

限制:页面仅提供分类、模型时间线、基准示例与检索片段,未给出完整论文清单、详细方法说明或数据更新日期;基准数值与研究方向属于资料所载内容,具体准确性需以原始论文与官方榜单为准。