SuperAPI AI 工具集找到适合任务的 Agent Skill，阅读介绍并复制安装命令。
更新于 11-06 00:14
25,710 个结果
LangSmith 是用于调试、评估和监控语言模型与 AI 应用的可观测性开发平台。它可用于排查 LLM 应用（提示词、链、智能体）问题、基于数据集系统化评估模型输出、监控生产环境 LLM 系统、为 AI 功能构建回归测试、分析延迟与 token 用量及成本，以及协作进行提示词工程。核心功能包括：追踪（捕获所有 LLM 调用的输入、输出、延迟）、评估（内置与自定义评估器）、数据集（从生产追踪或手动创建测试集）、监控（跟踪指标、错误与成本）、集成（支持 OpenAI、Anthropic、LangChain、LlamaIndex）。安装：pip install langsmith，并设置 LANGSMITH_API_KEY 与 LANGSMITH_TRACING 环境变量。
LLaMA-Factory 是一个用于大语言模型微调的工具，本技能为其提供基于官方文档的专家指导。内容涵盖 WebUI 无代码操作、100 多种模型支持、2/3/4/5/6/8 位 QLoRA 量化微调以及多模态支持。技能在用户使用 LLaMA-Factory、询问其功能或 API、实现相关方案、调试代码或学习最佳实践时触发，并附带从官方文档提取的参考文件，包括图像、进阶、入门及其他文档，便于查阅详细说明与代码示例。
LlamaIndex 是一个用于构建 LLM 应用的数据框架，专注于 RAG（检索增强生成）。它提供文档摄取（300+ 连接器）、索引和查询能力，支持向量索引、列表索引、树索引等多种结构，并可将查询引擎封装为工具供智能体调用。项目在 GitHub 上拥有 45,100+ 星标，被 23,000+ 仓库使用，拥有 1,715+ 贡献者，当前稳定版本为 v0.14.7，采用 MIT 许可证。
Mamba 是一种选择性状态空间模型（Selective State Space Model）架构，用于序列建模，具备 O(n) 线性复杂度，相比 Transformer 的 O(n²) 更高效。据资料介绍，其推理速度约为 Transformer 的 5 倍，支持百万级 token 序列，且无需 KV 缓存。该技能提供 Mamba 与 Mamba-2 的安装、基础用法、语言模型构建、预训练模型加载、性能基准测试等示例，需 Linux、NVIDIA GPU、PyTorch 1.12+ 与 CUDA 11.6+ 环境。
miles 是一个面向企业级、生产就绪的强化学习（RL）框架，是 slime 的生产分支，专为大规模模型后训练优化，重点解决 MoE 训练稳定性、低精度训练和训练-推理一致性等难题。它适用于需要训练 1TB 以上 MoE 模型（如 DeepSeek V3、Qwen3-MoE）、进行 FP8 或 INT4 量化感知训练、追求训练与推理逐位对齐、以及希望通过投机 RL 获得最大吞吐量的场景。资料显示其核心特性包括统一 FP8 流水线、Rollout Routing Replay（R3）专家路由对齐、投机 RL（可获得 25% 以上 rollout 加速）、零拷贝权重同步、部分 rollout 回收、TIS/MIS 离策略校正以及 FlashAttention-3、DeepGEMM 等内核级优化。它提供 Docker 与源码两种安装方式，配置系统继承自 slime。资料同时指出，若需要研究级原始版本应选择 slime，需要灵活后端切换应选择 verl，需要 PyTorch 原生抽象应选择 torchforge。
Model Pruning 是一个面向大语言模型（LLM）压缩与推理加速的技能，主要介绍 Wanda、SparseGPT 等剪枝技术，以及结构化剪枝和 N:M 稀疏。适用于在不重新训练的情况下压缩模型，例如在 50% 稀疏度下实现接近无损的精度，并减少约 50% 内存占用。资料还提供了安装命令、Wanda 与 SparseGPT 的代码示例、N:M 结构化剪枝实现、剪枝策略、生产部署流程与评估方法。
MoE Training 是一个用于训练混合专家（Mixture of Experts, MoE）模型的技能，支持 DeepSpeed 或 HuggingFace 框架。适用于在算力有限的情况下训练大规模模型（相比稠密模型可降低约 5 倍成本），在不按比例增加算力的前提下扩展模型容量，提升单位算力预算下的性能，为不同领域、任务或语言专门化专家，并通过稀疏激活降低推理延迟（如 Mixtral 中仅激活 13B/47B 参数）。可用于实现 Mixtral 8x7B、DeepSeek-V3、Switch Transformers 等前沿 MoE 模型。
nanoGPT 是由 Andrej Karpathy 开发的极简 GPT 实现，约 300 行代码，用于学习和实验 Transformer。它可以在 OpenWebText 上复现 GPT-2（124M），代码干净、易修改，适合教学、快速原型和有限算力场景。安装依赖包括 torch、numpy、transformers、datasets、tiktoken、wandb、tqdm。支持字符级莎士比亚训练（CPU 约 5 分钟）、多 GPU 复现 GPT-2、微调预训练 GPT-2 以及自定义数据集训练。
OpenRLHF 是一个基于 Ray 的高性能 RLHF（基于人类反馈的强化学习）训练框架，通过 vLLM 推理加速针对分布式训练进行优化，构建在 Ray、vLLM 和 ZeRO-3 之上。它支持在 7B 至 70B+ 的大模型上进行 PPO、GRPO、RLOO、DPO 等强化学习训练，适用于拥有多节点 GPU 集群的场景。框架集成了参考模型、奖励模型、评论者模型和 Actor 模型的分布式部署能力，并提供 Hybrid Engine 机制以最小化 GPU 空闲时间，据资料描述其性能可达 DeepSpeedChat 的 2 倍。安装方式为 pip install openrlhf[vllm]，并提供了从 SFT、奖励模型训练到 PPO/GRPO/DPO 训练的完整工作流示例。
该技能介绍如何用 Flash Attention 优化 Transformer 注意力计算，通过 IO 感知分块与重计算，可在长序列场景获得 2-4 倍加速和 10-20 倍显存占用降低。包含 PyTorch 2.2+ 原生方式、flash-attn 库方式以及 H100 FP8（FlashAttention-3）三种路径的完整代码示例，并给出集成到现有模型、验证加速比、比对精度、多查询注意力、滑动窗口注意力等常见工作流，以及安装报错、无加速、CUDA 报错、精度下降等问题的排查方法。
Outlines 是一个用于结构化文本生成的 Python 库，由 dottxt.ai（原 .txt）开发，GitHub 星标 8000+。它通过有限状态机（FSM）在 token 采样层面约束生成过程，保证输出严格符合 JSON、XML、代码或正则表达式等结构，无需生成后再校验或重试。支持 Pydantic 模型实现类型安全输出，可自动将 JSON Schema 转换为语法约束。兼容多种本地模型后端，包括 Hugging Face Transformers、llama.cpp 和 vLLM，也提供有限的 OpenAI API 支持。提供 choice、json、regex、integer、float 等专用生成器，适用于数据抽取、分类、表单填写、多实体识别和代码生成等场景。
PEFT（参数高效微调）是一套用于大语言模型的微调方案，通过 LoRA、QLoRA 等 25 种以上适配器方法，只训练不到 1% 的参数即可完成微调。它适合在消费级 GPU（如 RTX 4090、A100）上微调 7B-70B 模型，生成的适配器文件仅约 6MB，而完整模型可达 14GB。当显存是主要瓶颈时，可用 QLoRA（PEFT + 量化）在单张 24GB GPU 上微调 70B 模型，代价是相比全量微调约有 5% 的质量损失。若训练小于 1B 的小模型、追求最高质量且有充足算力，或领域差异极大需要更新全部权重，则应改用全量微调。
Phoenix 是由 Arize 开源的人工智能可观测性与评估平台，主要用于 LLM 应用的追踪、评估与监控。它基于 OpenTelemetry 收集任意 LLM 框架的调用链路，帮助开发者通过详细 trace 调试 LLM 应用问题、在数据集上运行系统化评估、实时监控生产环境中的 LLM 系统，以及构建用于对比提示词与模型的实验流水线。Phoenix 支持自托管，可使用 PostgreSQL 或 SQLite 存储，避免供应商锁定。安装可通过 pip install arize-phoenix，并可选择嵌入分析、OpenTelemetry 配置、评估框架或轻量 REST 客户端等可选依赖。启动方式包括在 notebook 中以 ThreadServer 模式启动，或在生产环境中使用 phoenix serve 命令。它提供追踪与 span、项目组织、框架插桩、内置与自定义评估器、数据集与实验、客户端 API、Docker 部署、身份认证以及环境变量配置等能力。
pyvene 是斯坦福 NLP 团队开发的 PyTorch 模型因果干预库，提供基于字典的声明式干预框架，用于激活修补、因果追踪和交换干预训练，使干预实验可复现、可分享。它支持任意 PyTorch 架构（不限于 Transformer），可对指定层和组件（如 block_output、attention_output、mlp_output 等）施加多种干预类型（如 VanillaIntervention、AdditionIntervention、ZeroIntervention、RotatedSpaceIntervention 等），并支持将干预保存到本地或分享至 HuggingFace。适用于因果追踪、电路分析、模型引导等可解释性研究场景。
bitsandbytes 是一个面向大语言模型（LLM）的量化工具，可将模型量化为 8 位或 4 位，实现约 50%（8 位）至 75%（4 位）的显存占用降低，官方称精度损失小于 1%。它通常与 HuggingFace Transformers 配合使用，通过 BitsAndBytesConfig 配置加载，适用于 GPU 显存受限、需要加载更大模型或进行 QLoRA 微调的场景。此外还提供 8 位优化器（如 AdamW8bit）以降低优化器状态内存。需注意它主要面向 NVIDIA GPU（计算能力 7.0 以上），并依赖相应 CUDA 与 PyTorch 版本。
Ray Train 是用于分布式训练编排的组件，可将 PyTorch、TensorFlow、HuggingFace 等框架的机器学习训练从单机扩展到多节点集群，尽量少改代码。它负责分布式协调、GPU 分配、容错、检查点与指标聚合，并可与 Ray Tune 结合进行超参数调优。安装命令为 pip install -U "ray[train]"。
RWKV（Receptance Weighted Key Value）是一种混合 RNN 与 Transformer 的架构，训练时可像 GPT 一样并行，推理时像 RNN 一样串行，具备 O(n) 线性时间、无限上下文且无需 KV 缓存的特点，适合长上下文与流式应用。
SentencePiece 是一个与语言无关的分词器，将文本视为原始 Unicode 处理，无需针对特定语言做预处理。它支持 BPE 和 Unigram 两种分词算法，可用于构建多语言模型、处理中日韩（CJK）文本，并支持在原始文本上直接训练。其特点是速度快（约 50,000 句/秒）、内存占用低（加载模型约 6MB），且分词结果可复现。它被 T5、ALBERT、XLNet、mBART 等模型采用。可通过 pip 安装 Python 包，或从 GitHub 源码编译 C++ 版本，并提供命令行与 Python API 两种训练、编码、解码方式。
该技能介绍如何使用 vLLM 以高吞吐量服务大语言模型，依托 PagedAttention（分块 KV 缓存）与连续批处理（混合 prefill/decode 请求）实现高性能推理。内容涵盖安装方法、离线批量推理、OpenAI 兼容服务端部署、量化模型服务（AWQ/GPTQ/FP8）、生产部署检查清单（配置、压测、监控、Docker 部署与指标验证）、Prometheus 监控指标、常见问题排查（显存不足、TTFT 过高、吞吐低、模型未找到等）、硬件需求与官方资源。适合部署生产级 LLM API、需要低延迟高吞吐的多用户应用，以及在有限显存下运行大模型的场景。
SGLang 是一个面向大语言模型（LLM）和视觉语言模型（VLM）的高性能服务框架，核心创新是 RadixAttention 自动前缀缓存。它适合需要结构化输出（JSON、正则、语法约束）、带重复前缀的智能体工作流、函数调用、多轮对话共享上下文等场景。官方称在智能体负载下可提速约 5 倍，少样本提示约 10 倍，JSON 解码约 3 倍。支持 Llama、Mistral、Qwen、DeepSeek、Gemma、Phi 等文本模型及 LLaVA、Qwen2-VL 等视觉模型，提供 OpenAI 兼容 API，支持多 GPU 张量并行、推测解码和连续批处理。
SimPO（Simple Preference Optimization）是一种用于大语言模型对齐的无参考模型偏好优化方法，是 DPO 的替代方案，无需参考模型即可获得更好性能（在 AlpacaEval 2.0 上提升约 6.4 分）。该技能基于 HuggingFace alignment-handbook 提供完整的训练流程，支持从基础模型训练、指令模型微调以及推理密集型任务等场景，包含安装步骤、配置文件示例、超参数说明、常见问题排查和硬件需求等资料。
slime 是清华大学 THUDM 团队开发的 LLM 后训练框架，用于通过强化学习（RL）扩展大模型训练，支撑了 GLM-4.5、GLM-4.6、GLM-4.7 等模型。它将 Megatron-LM 训练与 SGLang 高吞吐推理生成连接起来，支持 GRPO、GSPO、PPO、REINFORCE++ 等算法，提供灵活的数据缓冲与自定义数据生成工作流。适用于训练 GLM、Qwen3、DeepSeek V3/R1、Llama 3 等模型，支持同步与异步训练、多轮智能体训练、自定义奖励模型与多任务评测。
SAELens 是用于训练与分析稀疏自编码器（Sparse Autoencoders, SAEs）的主要 Python 库，面向机械可解释性研究。其核心思路来自 Anthropic 的 monosemanticity 研究：神经网络中单个神经元往往具有多义性（polysemantic），因为模型使用叠加（superposition）来表示比神经元数量更多的特征。SAE 通过稀疏瓶颈将稠密激活分解为稀疏、可解释的特征，从而缓解这一问题。该技能提供加载与分析预训练 SAE、训练自定义 SAE，以及特征分析与特征引导（steering）的完整工作流，包含基于 TransformerLens 与 SAELens 的代码示例、关键超参数、评估指标，以及常见问题（如死特征过多、重建质量差、显存不足）的排查建议。安装方式为 pip install sae-lens，依赖 Python 3.10+ 和 transformer-lens>=2.0.0。适用于发现模型激活中的可解释特征、理解模型学到的概念、研究叠加与特征几何、执行基于特征的引导或消融，以及分析安全相关特征。
Speculative Decoding 是一个用于加速大语言模型（LLM）推理的技能，涵盖三种主要技术：草稿模型投机解码、Medusa 多头解码和 Lookahead 前瞻解码。该技能适用于需要将推理速度提升 1.5-3.6 倍且不损失质量的场景，例如降低聊天机器人、代码生成等实时应用的延迟，优化高并发服务的吞吐量，以及在受限硬件上高效部署。其核心思路是用小模型或额外预测头生成候选 token，再由大模型并行验证，从而减少串行解码步数。文档提供了 transformers、Medusa、LookaheadDecoding 及 vLLM 的安装方式，并给出各方法的快速开始代码、算法原理、超参数调优建议与生产部署示例。资料显示三种方法均无质量损失，其中 Medusa 需要少量训练（仅训练预测头），Lookahead 则无需草稿模型或训练即可开箱使用。