用途
CodeGen2 是 Salesforce 面向程序合成(Program Synthesis)任务发布的官方研究模型系列。所谓程序合成,即让模型根据给定上下文自动生成代码。相关研究以论文形式发表于 ICLR 2023,论文标题为《CodeGen2: Lessons for Training LLMs on Programming and Natural Languages》,作者包括 Erik Nijkamp、Hiroaki Hayashi、Caiming Xiong、Silvio Savarese 和 Yingbo Zhou,其中前两位作者标注为同等贡献。
主要能力
该系列提供四个参数规模的模型:1B、3B、7B 和 16B。模型检查点(Model checkpoints)已发布在 Hugging Face Hub 上,模型卡(Model cards)中说明了如何将模型用于因果采样(causal sampling)和填充采样(infill sampling)。其中,程序合成可以通过自回归采样(auto-regressive sampling)的方式实现。
使用方式
根据官方资料,用户可通过 Hugging Face Hub 获取模型检查点,并参照对应的模型卡了解因果采样与填充采样的具体用法。自回归采样可用于执行程序合成任务。除此之外,资料中未提供更详细的安装命令、代码示例或操作步骤,这些内容暂未提供。
适用场景
CodeGen2 主要面向代码生成与程序合成方向的研究与开发场景,适合需要基于开源模型进行代码生成实验、研究大语言模型在编程语言与自然语言上训练方法的相关工作。
限制
现有资料仅说明这是一个官方研究发布,未提及收费模式、价格、性能效果或商用授权等具体信息,这些内容暂未提供。