SuperAPI AI 工具集找到适合任务的 Agent Skill，阅读介绍并复制安装命令。
更新于 11-14 00:15
26,318 个结果
Model Merging 是一个基于 mergekit 的技能，用于将多个微调后的模型合并，从而在不重新训练的情况下组合它们的能力。它适合通过融合领域专长（如数学、编程、对话）来创建专用模型，并可能提升单一模型的表现。合并过程无需 GPU，可在 CPU 上运行，能快速生成新的模型变体，并有助于在合并时保留多项技能、避免灾难性遗忘。该技能提供线性合并、SLERP、任务算术、TIES、DARE 等多种合并方法，以及层合并、MoE 构建、分词器合并等高级模式，并包含配置示例、最佳实践、评估测试与部署量化指引。
模型剪枝技能，用于在不重新训练的情况下压缩大语言模型并加速推理，支持 Wanda、SparseGPT、结构化剪枝和 N:M 稀疏等技术，目标为减少 40-60% 模型体积、保持较低精度损失并在特定硬件上获得 2-4 倍加速。
MoE Training 是一个用于训练混合专家（Mixture of Experts, MoE）模型的技能，支持通过 DeepSpeed 或 HuggingFace 实现。适用于在算力有限的情况下训练大规模模型（相比稠密模型可降低约 5 倍成本）、在不按比例增加算力的前提下扩展模型容量、为不同领域/任务/语言专门化专家，以及通过稀疏激活降低推理延迟。资料中提及的典型 MoE 模型包括 Mixtral 8x7B、DeepSeek-V3、Switch Transformers、GLaM 和 NLLB-MoE。技能内容涵盖 MoE 层结构、路由机制、负载均衡、专家并行、训练配置、最佳实践与推理优化，并提供可运行的代码示例与命令行参数。
nanoGPT 是由 Andrej Karpathy 开发的极简 GPT 实现，约 300 行代码，用于学习和实验 Transformer。它可以在 OpenWebText 上复现 GPT-2（124M），代码干净、易于修改，适合理解 GPT 工作原理。支持字符级莎士比亚训练（CPU 约 5 分钟）、多 GPU 复现 GPT-2、微调预训练 GPT-2 以及自定义数据集训练。安装依赖包括 torch、numpy、transformers、datasets、tiktoken、wandb、tqdm。
nnsight 是一个用于解释和操控 PyTorch 神经网络内部结构的开源工具，支持在本地运行小型模型，或通过 NDIF 远程执行在 70B+ 等超大模型上运行同一份代码。它提供 LanguageModel 封装、trace 追踪上下文和 Proxy 代理对象，可访问或修改任意模块的输出、注意力权重和梯度，支持激活分析、激活修补、跨提示激活共享、多 token 生成干预和梯度分析等研究流程。适用于大模型可解释性研究与机制分析，需付费或严格一致 API 的场景请考虑其他工具。
OpenRLHF 是一个基于 Ray 的高性能 RLHF 训练框架，通过 vLLM 推理加速和 ZeRO-3 等分布式技术，支持大模型（7B-70B+）的 PPO、GRPO、RLOO、DPO 等强化学习训练。它采用混合引擎在同一框架内完成参考模型、奖励模型、评论模型和演员模型的协同训练，适合拥有多卡或多节点 GPU 集群的研究与工程团队进行对齐训练。安装方式为 pip 安装 openrlhf[vllm]，训练通过 Ray 提交任务或 DeepSpeed 模块启动。
PEFT 是面向大语言模型的参数高效微调方案，基于 Hugging Face 的 PEFT 库，通过 LoRA、QLoRA 及 25 种以上适配器方法，仅训练不到 1% 的参数完成模型微调。适合在显存有限的 GPU（如 RTX 4090、A100 或单卡 24GB）上微调 7B 至 70B 模型，可用 6MB 左右的适配器替代约 14GB 的全量权重，便于针对不同任务做快速迭代和从同一基座模型部署多个微调变体。资料给出 LoRA 与 QLoRA 的安装命令、训练与加载代码示例、秩与 alpha 等超参数选择、各架构目标模块、适配器合并与多适配器服务方式，以及与 TRL、Axolotl、vLLM 的集成示例，并附内存、速度与 MMLU 质量对比及常见问题处理建议。
Phoenix 是开源的 AI 可观测性与评估平台，面向 LLM 应用提供基于 OpenTelemetry 的追踪、评估、数据集、实验与实时监控能力。它支持对 OpenAI、LangChain、LlamaIndex、Anthropic 等框架进行自动埋点，用 span 与 trace 还原完整调用链；内置幻觉、相关性、毒性等 LLM-as-judge 评估器，也可自定义评估规则；支持创建版本化数据集并运行实验，比较提示词、模型与配置。平台可自托管，后端支持 SQLite 或 PostgreSQL，并提供 Docker 镜像、客户端 API 与用户反馈记录、数据导出等功能，适合 LLM 调试、回归测试与生产监控场景。
该技能用于指导编码智能体在训练脚本中正确引入 PyTorch FSDP2（fully_shard），覆盖分布式初始化、按自下而上顺序分片、混合精度与 CPU offload 配置，以及分布式检查点保存与加载。适用于模型（参数、梯度与优化器状态）无法放入单张 GPU、希望采用基于 DTensor 的逐参数分片、并可能后续用 DeviceMesh 组合数据并行与张量并行的场景。技能同时给出启动方式（torchrun、按 LOCAL_RANK 设置 CUDA 设备）、优化器创建时机、梯度累积与裁剪、检查点方案选择，以及常见问题排查清单。
pyvene 是 Stanford NLP 开发的用于对 PyTorch 模型进行因果干预的库，提供基于字典的声明式框架，支持激活修补、因果追踪和交换干预训练，使干预实验可复现、可分享。本技能为使用 pyvene 提供指导，适用于因果追踪、激活修补、交换干预训练（IIT）、测试模型组件因果假设、通过 HuggingFace 分享/复现实验，以及处理任意 PyTorch 架构（不仅限于 transformers）。安装方式为 pip install pyvene，标准导入为 import pyvene as pv。
Qdrant 是一款用 Rust 编写的高性能向量相似度搜索引擎与向量数据库，面向生产环境的 RAG 与语义搜索场景。它支持带元数据过滤的混合检索、稠密与稀疏等多向量存储、标量/乘积/二值量化、分片与副本的分布式部署，并提供 REST 与 gRPC 两套功能对等的 API。可通过 Python 客户端或 Docker 快速安装使用，也能与 LangChain、LlamaIndex 等框架集成，适用于需低延迟检索、水平扩展或本地数据可控的实时推荐与知识库检索系统。
该技能介绍如何使用 bitsandbytes 将大语言模型量化为 8 位或 4 位，以减少 50%–75% 的显存占用，并尽量降低精度损失。内容包含安装命令、8 位与 4 位量化配置、显存估算与选型建议、加载验证流程，以及基于 QLoRA 的 4 位微调和 8 位优化器训练示例，还说明了适用场景、替代方案和常见问题排查。
Ray Train 是 Ray 生态中的分布式训练编排组件，可将 PyTorch、TensorFlow、HuggingFace 等框架的训练代码从单机扩展到多机多卡集群，并内置 Ray Tune 进行超参数调优。通过少量代码改动即可获得分布式协调、GPU 分配、容错恢复、检查点保存和指标聚合能力。支持多节点训练、弹性伸缩、故障自动重启，适用于需要在集群上大规模训练或调参的团队。安装命令为 pip install -U "ray[train]"。
RWKV（Receptance Weighted Key Value）是一种融合 Transformer 与 RNN 优势的混合架构：训练阶段可像 GPT 一样并行计算，推理阶段则像 RNN 一样顺序执行，实现 O(n) 线性时间与每 token 恒定内存开销，且无需 KV 缓存。该技能页面提供安装方法、GPT 模式与 RNN 模式的基础用法示例，以及流式文本生成、超长上下文处理、微调和与 Transformer 内存/速度对比等常见工作流，并说明硬件显存要求与常见问题处理，面向需要长上下文、流式应用或内存受限部署的场景。
Segment Anything Model（SAM）是 Meta AI 推出的零样本图像分割基础模型，可在无需针对特定任务训练的情况下分割图像中的任意对象。它支持点、边界框或已有掩码作为提示，能进行交互式分割和自动全图掩码生成。模型基于 1100 万张图像、11 亿个掩码训练，提供 ViT-B、ViT-L、ViT-H 三种规模，兼顾速度与精度，并支持导出 ONNX 在浏览器和边缘设备部署。适用于交互式标注工具、训练数据生成、目标提取以及医疗、卫星等特定领域图像处理。
sentence-transformers 是一个基于 PyTorch 与 Transformers 的 Python 框架，用于生成句子、文本和图像的向量表示（embeddings），并提供 5000 多个预训练模型、语义相似度计算、语义搜索、聚类与分类、多语言嵌入以及本地微调能力。它适合为 RAG 检索、语义检索和文本聚类等场景在本地生成嵌入，可作为调用 API 的嵌入服务的替代方案。
SGLang 是面向大语言模型与视觉语言模型的高性能服务框架，核心创新是 RadixAttention 自动前缀缓存。它适合需要结构化输出（JSON、正则、语法约束）、带重复前缀的智能体工作流、函数调用、多轮对话共享上下文以及更快 JSON 解码的场景。支持 OpenAI 兼容 API、多 GPU 张量并行、投机解码、多模态与批处理，提供 100+ HuggingFace 模型适配，可在 NVIDIA、AMD 等硬件上运行。
SimPO（Simple Preference Optimization）是一套用于大语言模型对齐训练的技能资料，提供无需参考模型的偏好优化方法，作为 DPO 的简化替代方案。资料称其在 AlpacaEval 2.0 上性能优于 DPO（+6.4 分），且不需要参考模型。内容包括环境安装、基于 alignment-handbook 的训练脚本、Mistral 7B、Llama 3 8B 及数学推理模型的配置示例、超参数说明、常见问题排查与硬件要求，并给出与 DPO、PPO、GRPO、OpenRLHF、TRL 等方案的选择建议。
slime 是清华大学 THUDM 团队推出的 LLM 后训练（强化学习）框架，支撑 GLM-4.5、GLM-4.6、GLM-4.7 等模型训练。它将用于训练的 Megatron-LM 与用于高吞吐 rollout 生成的 SGLang 结合，支持 GLM、Qwen3、DeepSeek V3/R1、Llama 3 等模型，提供灵活的数据缓冲与自定义数据生成流程，适合研究级 RL 扩展与 GLM 模型训练。
sparse-autoencoder-training 是一份面向机械可解释性研究的技能指南，围绕 SAELens 库讲解如何训练与分析稀疏自编码器（SAE），把神经网络激活分解为稀疏、可解释的特征。内容涵盖多义性与叠加现象的背景、库的安装方式、预训练 SAE 的加载与分析、自定义 SAE 的训练配置、特征分析与引导等核心流程，并给出关键超参数和评估指标。适合需要研究模型内部概念、开展特征消融或安全相关特征分析的研究者参考。
该技能聚焦于使用推测解码（Speculative Decoding）、Medusa 多头解码和前瞻解码（Lookahead Decoding）来加速大语言模型推理。资料称其目标是在不损失生成质量的前提下实现约1.5–3.6倍加速，降低实时应用延迟，提升高并发服务吞吐，并在有限硬件上更高效部署。技能内部对比了三种主要路线：基于小模型草稿的推测解码、为现有模型加装多个预测头的Medusa、以及无需草稿模型和训练的前瞻解码，并给出安装命令、示例代码、超参数建议和vLLM生产部署示例。
torchforge 是 Meta 推出的 PyTorch 原生智能体强化学习（Agentic RL）库，核心设计是把基础设施与算法分离：分布式训练、推理和权重同步由框架自动处理，研究者只需专注算法实现。该技能页面提供 torchforge 的使用指导，涵盖环境安装、SFT 与 GRPO 训练快速上手、数学推理训练流程、自定义损失函数、多 GPU 分布式训练配置，以及常见问题排查（GPU 不足、显存溢出、权重同步慢、策略坍塌）。适用于希望用 PyTorch 原生抽象、不依赖 Ray 做 RL 算法实验的研究者。需注意 torchforge 仍属实验性项目，API 可能变化；若追求生产级稳定性或 Megatron 原生训练，文档建议考虑 miles、verl 或 slime 等替代方案。
该技能介绍如何使用 NVIDIA Megatron-Core 训练 2B 至 462B 参数的大语言模型，核心是通过数据并行、张量并行、流水线并行、上下文并行、专家并行等并行策略，在 H100 GPU 集群上提升训练效率与扩展性。内容涵盖安装方式、LLaMA 风格模型训练配置、MoE 训练、性能优化要点、常见问题排查及硬件要求；适合具备多卡训练经验的团队用于生产级大模型预训练。
TransformerLens 是面向 GPT 类语言模型机制可解释性研究的标准库，由 Neel Nanda 创建、Bryce Meyer 维护。它通过 HookedTransformer 在每一层激活上提供 HookPoint，让研究者能够检查并干预 Transformer 内部状态。主要能力包括：缓存中间激活（残差流、注意力输出、MLP 输出、注意力模式、Q/K/V 向量等）；激活修补与因果追踪实验；注意力模式与信息流分析；电路分析（如归纳头、IOI 电路）；直接 logit 归因。支持 GPT-2、LLaMA、Pythia、Mistral、phi、qwen、opt、gemma 等 50 多个模型，并可与 SAELens 集成做稀疏自编码器分析。安装方式为 pip install transformer-lens。该库面向机制可解释性研究，不适用于非 Transformer 架构（可考虑 nnsight 或 pyvene）、训练稀疏自编码器（用 SAELens）或超大规模模型远程执行（用 nnsight 配合 NDIF）。