用途 Devin 是 Cognition 推出的“世界首个完全自主的 AI 软件工程师”,定位为不知疲倦、技能娴熟的团队成员,既能与工程师并肩构建,也能独立完成任务供用户审查。官方称,借助 Devin,工程师可以专注于更有趣的问题,工程团队可以追求更宏大的目标。
主要能力
- 长期推理与规划:官方表示,凭借在长期推理和规划方面的进展,Devin 能够规划并执行需要数千次决策的复杂工程任务,并能在每一步回忆相关上下文、随时间学习并修正错误。
- 开发者工具与沙箱环境:Devin 配备常用开发者工具,包括 shell、代码编辑器和浏览器,运行在沙箱计算环境中,官方称这“是人类完成工作所需的一切”。
- 实时协作:Devin 能实时汇报进展、接受反馈,并根据需要与用户共同完成设计选择。
官方给出的能力示例
- 学习不熟悉的技术:阅读一篇博客文章后,Devin 在 Modal 上运行 ControlNet,为 Sara 生成带有隐藏信息的图像。
- 端到端构建并部署应用:Devin 制作一个模拟“生命游戏”的交互式网站,逐步添加用户要求的功能,然后将应用部署到 Netlify。
- 自主查找并修复缺陷:Devin 帮助 Andrew 维护和调试他的开源竞赛编程书。
- 训练和微调自己的 AI 模型:仅根据 GitHub 上一个研究仓库的链接,Devin 就为大语言模型设置好微调。
- 处理开源仓库的问题与功能请求:仅给出一个 GitHub issue 链接,Devin 就完成所有必要的设置和上下文收集。
- 贡献成熟生产仓库:在 SWE-bench 基准测试的一个示例中,Devin 解决了 sympy Python 代数系统中的对数计算缺陷——它自行设置代码环境、复现缺陷,并编写和测试修复方案。
- 承接真实工作:官方称曾尝试给 Devin 真实的 Upwork 工作,它也能完成;在一个示例中,Devin 编写并调试运行计算机视觉模型的代码,对结果数据采样,并在最后编译报告。
性能 官方在 SWE-bench 上评估了 Devin。该基准要求智能体解决 Django、scikit-learn 等开源项目中的真实 GitHub issue。官方称,Devin 端到端正确解决了 13.86%* 的问题,远超此前最优的 1.96%;即使被告知需要编辑的确切文件,此前最好的模型也只能解决 4.80% 的问题。官方注明,Devin 在数据集的随机 25% 子集上评估,Devin 是在无辅助情况下评估的,而所有其他模型都是有辅助的(即被告知确切需要编辑哪些文件)。官方计划很快发布更详细的技术报告。
关于 Cognition Cognition 是一家专注于推理的应用 AI 实验室,正在构建能力远超当今现有 AI 工具水平的 AI 队友。官方称,通过解决推理问题,可以在广泛学科中解锁新的可能性——代码只是开始。Cognition 希望帮助世界各地的人们把想法变为现实。公司资金充足,包括由 Founders Fund 领投的 2100 万美元 A 轮融资,并感谢包括 Patrick 和 John Collison、Elad Gil、Sarah Guo、Chris Re、Eric Glyman、Karim Atiyeh、Erik Bernhardsson、Tony Xu、Fred Ehrsam 等在内的行业领袖的支持。
使用方式与限制 官方称,Devin 目前处于早期访问阶段,公司正在提升容量。要用 Devin 完成工程工作,可加入等候名单,或通过 info@cognition.ai 联系。关于具体收费、价格、平台支持情况、详细使用步骤,官方介绍中暂未提供。