SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 10-29 00:09

智能体与模型

25,129 个结果

nnsight-remote-interpretability

nnsight 是一个用于解释和操控神经网络内部结构的 Python 库,支持任意 PyTorch 模型,并可通过 NDIF 远程执行在 70B+ 大模型上运行相同的解释性代码。它提供延迟执行的 trace 上下文、代理对象和激活保存机制,支持激活分析、激活修补、跨提示激活共享和基于梯度的分析等实验。用户只需切换 remote=True 即可在本地小模型与远程大模型之间复用代码。安装方式为 pip install nnsight,远程执行需在 login.ndif.us 注册获取 API 密钥。

智能体与模型29 次安装

openrlhf-training

OpenRLHF 是一个基于 Ray 的高性能 RLHF(基于人类反馈的强化学习)训练框架,通过 vLLM 推理加速针对分布式训练进行优化,构建在 Ray、vLLM 和 ZeRO-3 之上。它支持在 7B 至 70B+ 的大模型上进行 PPO、GRPO、RLOO、DPO 等强化学习训练,适用于拥有多节点 GPU 集群的场景。框架集成了参考模型、奖励模型、评论者模型和 Actor 模型的分布式部署能力,并提供 Hybrid Engine 机制以最小化 GPU 空闲时间,据资料描述其性能可达 DeepSpeedChat 的 2 倍。安装方式为 pip install openrlhf[vllm],并提供了从 SFT、奖励模型训练到 PPO/GRPO/DPO 训练的完整工作流示例。

智能体与模型29 次安装

peft-fine-tuning

PEFT(参数高效微调)是一套用于大语言模型的微调方案,通过 LoRA、QLoRA 等 25 种以上适配器方法,只训练不到 1% 的参数即可完成微调。它适合在消费级 GPU(如 RTX 4090、A100)上微调 7B-70B 模型,生成的适配器文件仅约 6MB,而完整模型可达 14GB。当显存是主要瓶颈时,可用 QLoRA(PEFT + 量化)在单张 24GB GPU 上微调 70B 模型,代价是相比全量微调约有 5% 的质量损失。若训练小于 1B 的小模型、追求最高质量且有充足算力,或领域差异极大需要更新全部权重,则应改用全量微调。

智能体与模型29 次安装

quantizing-models-bitsandbytes

bitsandbytes 是一个面向大语言模型(LLM)的量化工具,可将模型量化为 8 位或 4 位,实现约 50%(8 位)至 75%(4 位)的显存占用降低,官方称精度损失小于 1%。它通常与 HuggingFace Transformers 配合使用,通过 BitsAndBytesConfig 配置加载,适用于 GPU 显存受限、需要加载更大模型或进行 QLoRA 微调的场景。此外还提供 8 位优化器(如 AdamW8bit)以降低优化器状态内存。需注意它主要面向 NVIDIA GPU(计算能力 7.0 以上),并依赖相应 CUDA 与 PyTorch 版本。

智能体与模型29 次安装

rwkv-architecture

RWKV(Receptance Weighted Key Value)是一种结合 Transformer 与 RNN 特点的模型架构:训练时像 GPT 一样并行,推理时像 RNN 一样按序处理,实现 O(n) 线性时间推理与 O(1) 常数显存占用,无需 KV cache,支持无限上下文。该技能提供 RWKV 的安装、基础使用(GPT 模式与 RNN 模式)、流式文本生成、长上下文处理、微调、与 Transformer 对比等实用工作流,并给出显存需求、性能对比、常见问题排查和进阶主题指引。

智能体与模型29 次安装

simpo-training

SimPO(Simple Preference Optimization)是一种用于大语言模型对齐的无参考模型偏好优化方法,是 DPO 的替代方案,无需参考模型即可获得更好性能(在 AlpacaEval 2.0 上提升约 6.4 分)。该技能基于 HuggingFace alignment-handbook 提供完整的训练流程,支持从基础模型训练、指令模型微调以及推理密集型任务等场景,包含安装步骤、配置文件示例、超参数说明、常见问题排查和硬件需求等资料。

智能体与模型29 次安装

slime-rl-training

slime 是清华大学 THUDM 团队开发的 LLM 后训练框架,用于通过强化学习(RL)扩展大模型训练,支撑了 GLM-4.5、GLM-4.6、GLM-4.7 等模型。它将 Megatron-LM 训练与 SGLang 高吞吐推理生成连接起来,支持 GRPO、GSPO、PPO、REINFORCE++ 等算法,提供灵活的数据缓冲与自定义数据生成工作流。适用于训练 GLM、Qwen3、DeepSeek V3/R1、Llama 3 等模型,支持同步与异步训练、多轮智能体训练、自定义奖励模型与多任务评测。

智能体与模型29 次安装

sparse-autoencoder-training

SAELens 是用于训练与分析稀疏自编码器(Sparse Autoencoders, SAEs)的主要 Python 库,面向机械可解释性研究。其核心思路来自 Anthropic 的 monosemanticity 研究:神经网络中单个神经元往往具有多义性(polysemantic),因为模型使用叠加(superposition)来表示比神经元数量更多的特征。SAE 通过稀疏瓶颈将稠密激活分解为稀疏、可解释的特征,从而缓解这一问题。该技能提供加载与分析预训练 SAE、训练自定义 SAE,以及特征分析与特征引导(steering)的完整工作流,包含基于 TransformerLens 与 SAELens 的代码示例、关键超参数、评估指标,以及常见问题(如死特征过多、重建质量差、显存不足)的排查建议。安装方式为 pip install sae-lens,依赖 Python 3.10+ 和 transformer-lens>=2.0.0。适用于发现模型激活中的可解释特征、理解模型学到的概念、研究叠加与特征几何、执行基于特征的引导或消融,以及分析安全相关特征。

智能体与模型29 次安装