用途
Cogito 是一系列开源大型语言模型(LLM),旨在通过迭代蒸馏与放大(IDA)这一可扩展且高效的对齐策略,探索通往通用超级智能的路径。IDA 利用迭代自我改进,使模型能力不再受限于外部监督者的智能上限。
主要能力
- 提供 3B、8B、14B、32B、70B 五种参数规模的模型,均基于 Llama / Qwen 预训练检查点训练。
- 每个模型在大多数标准基准测试中均优于同规模最佳开源模型,包括 LLaMA、DeepSeek 和 Qwen 的对应版本。70B 模型还优于新发布的 Llama 4 109B MoE 模型。
- 每个模型支持两种模式:直接回答(标准 LLM 模式)或先自我反思再回答(类似推理模型模式)。
- 针对编码、函数调用和智能体用例进行了优化。
- 未针对极长推理链进行优化,以兼顾实际任务中用户对响应速度的需求,并便于在下一步中蒸馏回模型参数。
- 计划发布更大模型(109B、400B、671B 的 MoE)及各尺寸的改进检查点,所有模型将开源。
使用方式
- 可在 Hugging Face 或 Ollama 下载模型。
- 可通过 Fireworks AI 或 Together AI 的 API 直接使用。
- 每个模型可自行选择直接回答或先思考再回答,类似 Claude 3.7 的模式选择。
适用场景
- 编码任务
- 函数调用(工具调用)
- 智能体(Agentic)用例
- 需要标准 LLM 快速响应的场景
- 需要模型先自我反思再回答的推理场景
限制
- 当前为预览版(Cogito v1 Preview),仍处于早期阶段,仅使用了传统 LLM 后训练/持续训练通常所耗算力的一小部分。
- 暂未提供具体的收费、价格、完整使用步骤等信息。
- 基准测试分数仅与模型满足用户需求的程度松散相关,最佳评估应贴近用户实际需求。
- 未针对极长推理链优化。
- 更大模型(109B、400B、671B)及改进检查点尚未发布。