SuperAPI AI 工具集

soup

智能体与模型

查看项目

更新于 10-15 19:54

技能介绍

用途:Soup 把大模型微调流程简化为 soup init → soup train,任务选择、量化、批大小与 GPU/后端检测由工具处理。核心特性 layer streaming(stream_layers: true)将冻结的基座模型逐层流式加载,使 8B 模型可在 4 GB 笔记本 GPU 上微调。

主要能力:支持 SFT 与 DPO/GRPO/ORPO/SimPO/KTO/IPO/BCO 等训练方法,以及 QLoRA、DoRA、LoRA+、rsLoRA、层流式等省显存方案;提供 soup advise 方法建议、soup autopilot 零配置、soup cost/profile 成本与显存估算、soup migrate 迁移 Axolotl/LLaMA-Factory/Unsloth 配置,以及 serve/merge/push/infer/chat 和数据质量与评估工具。

使用方式:安装 pip install soup-cli(轻量 CLI)或 pip install "soup-cli[train]"(含 torch/transformers/peft/trl)。先用 soup advise 或 soup autopilot 决定方法,再 soup init --template chat 生成配置并编辑,用 soup profile/cost 估算,最后 soup train --config soup.yaml(可加 --gate evals/gate.yaml)与 soup ship 验证。只读环境检查可用 bash .agent-skills/soup/scripts/soup.sh doctor。

适用场景:在受限 GPU 上启动新微调、选择训练方法或省显存方案、训练前估算成本、迁移现有配置、部署或合并适配器。

限制:层流式为 BETA,仅支持 SFT 与 DPO/ORPO/SimPO/KTO,不支持 GRPO/PPO;Ray/DeepSpeed 集群级训练应直接用 deepspeed 或 openrlhf-training;纯推理服务或无训练需求时不适用。具体收费、价格与平台信息暂未提供。