tool-design
面向智能体工具设计的中文技能,讲解如何设计大模型可有效使用的工具,包括何时降低工具复杂度。适用于创建、优化或精简智能体工具集。
找到适合任务的 Agent Skill,阅读介绍并复制安装命令。
更新于 10-29 00:09
25,109 个结果
面向智能体工具设计的中文技能,讲解如何设计大模型可有效使用的工具,包括何时降低工具复杂度。适用于创建、优化或精简智能体工具集。
AWQ(激活感知权重量化)是一套4位大模型压缩方案,依据激活模式保护约1%显著权重,在极小精度损失下实现约2.5-3倍推理加速和显著显存下降,可用于7B-70B模型的部署。提供pip install autoawq安装方式,支持HuggingFace、vLLM等框架。
BLIP-2 是 Salesforce 提出的视觉-语言预训练框架,通过轻量级 Q-Former 连接冻结的图像编码器与冻结的大语言模型,实现图像描述、视觉问答、图文匹配与检索等任务。其核心思路是只训练约 1.88 亿参数的 Q-Former,无需微调大型视觉或语言模型,即可获得较强的零样本能力。支持 OPT(2.7B、6.7B)与 FlanT5(XL、XXL)多种 LLM 后端,可通过 HuggingFace Transformers 或 Salesforce 官方 LAVIS 库调用。适用于图像描述生成、VQA 系统、零样本图文理解、多模态对话、图文检索等场景。
CLIP(Contrastive Language-Image Pre-Training)是 OpenAI 推出的连接视觉与语言的模型,通过自然语言理解图像。它支持零样本图像分类(无需训练数据)、图文相似度匹配、语义图像搜索、内容审核(如检测 NSFW、暴力内容)、视觉问答以及跨模态检索(图→文、文→图)。模型在 4 亿对图文数据上训练,零样本性能在 ImageNet 上可媲美 ResNet-50,采用 MIT 许可证,GitHub 星标超过 25,300。提供 RN50、RN101、ViT-B/32、ViT-B/16、ViT-L/14 等多种模型,可通过 pip 安装并配合 PyTorch 使用。
TRL(Transformer Reinforcement Learning)是用于大语言模型后训练与偏好对齐的库,提供监督微调(SFT)、偏好对齐(DPO)、奖励模型训练以及 PPO、GRPO 等强化学习方法的训练接口。它基于 Transformers、Datasets、PEFT、Accelerate 生态,可用 SFTTrainer、DPOTrainer、RewardTrainer、GRPOTrainer 等类或 CLI 命令,把基座模型调成指令遵循、符合人类偏好的模型。
GPTQ(Generative Pre-trained Transformer Quantization)是一种针对大语言模型的训练后量化方法,可将模型权重压缩至 4 位,同时尽量保持精度。它采用分组量化(group-wise quantization),借助 Hessian 信息最小化量化误差,通常能实现约 4 倍显存降低、低于 2% 的精度损失,并带来 3-4 倍于 FP16 的推理加速。适用于在消费级 GPU(如 RTX 4090、3090)上部署 70B、405B 等大模型,或需要显著降低显存占用、提升推理速度的场景。可通过 AutoGPTQ 库安装使用,支持加载 HuggingFace 上预量化模型,也可自行量化模型,并可与 transformers、PEFT(QLoRA 微调)等集成。
Guidance 是微软研究院开源的一个用于约束大语言模型(LLM)输出的 Python 库,GitHub 星标超过 18000。它允许开发者通过正则表达式、上下文无关文法(CFG)和选择约束来控制模型生成的内容,从而保证输出符合预期的 JSON、XML、代码或特定格式(如日期、邮箱、ID 等)。Guidance 采用 Pythonic 的语法,支持上下文管理器进行对话式交互,并内置 Token Healing 机制以修复提示词与生成内容之间的 token 边界问题。它兼容 OpenAI、Anthropic Claude 等 API 模型,也支持 Transformers 和 llama.cpp 等本地模型。相比传统提示方法,Guidance 能减少延迟、避免无效输出和重试循环,适合构建多步骤工作流、分类、数据提取和 ReAct 智能体等场景。
HQQ(Half-Quadratic Quantization,半二次量化)是一种面向大语言模型的权重量化方法,最大特点是无需校准数据即可完成量化。它支持 8/4/3/2/1 比特精度,可配置分组大小与量化轴,并提供 PyTorch、ATEN、TorchAO、Marlin、BitBlas、GemLite 等多种推理后端。HQQ 与 HuggingFace Transformers 和 vLLM 原生集成,可直接加载预量化模型或对现有模型量化后保存、推送至 Hub,同时兼容 PEFT/LoRA,支持对量化模型进行微调。相比需要校准的 GPTQ、AWQ,HQQ 量化速度快(分钟级),适合无数据场景和极端低比特实验。
LangChain 是用于构建 LLM 应用的框架,支持智能体(Agents)、链(Chains)和 RAG(检索增强生成),可对接 OpenAI、Anthropic、Google 等多种模型供应商,提供 500+ 集成。资料显示其 GitHub 星标 119,000+,272,000+ 仓库使用,3,800+ 贡献者,许可为 MIT,版本 0.3+。适合构建带工具调用与推理的智能体、实现 RAG 流程、快速切换模型供应商、构建带记忆的聊天机器人、快速原型开发,并可通过 LangSmith 进行可观测与生产部署。
LangSmith 是用于调试、评估和监控语言模型与 AI 应用的可观测性开发平台。它可用于排查 LLM 应用(提示词、链、智能体)问题、基于数据集系统化评估模型输出、监控生产环境 LLM 系统、为 AI 功能构建回归测试、分析延迟与 token 用量及成本,以及协作进行提示词工程。核心功能包括:追踪(捕获所有 LLM 调用的输入、输出、延迟)、评估(内置与自定义评估器)、数据集(从生产追踪或手动创建测试集)、监控(跟踪指标、错误与成本)、集成(支持 OpenAI、Anthropic、LangChain、LlamaIndex)。安装:pip install langsmith,并设置 LANGSMITH_API_KEY 与 LANGSMITH_TRACING 环境变量。
MoE Training 是一个用于训练混合专家(Mixture of Experts, MoE)模型的技能,支持 DeepSpeed 或 HuggingFace 框架。适用于在算力有限的情况下训练大规模模型(相比稠密模型可降低约 5 倍成本),在不按比例增加算力的前提下扩展模型容量,提升单位算力预算下的性能,为不同领域、任务或语言专门化专家,并通过稀疏激活降低推理延迟(如 Mixtral 中仅激活 13B/47B 参数)。可用于实现 Mixtral 8x7B、DeepSeek-V3、Switch Transformers 等前沿 MoE 模型。
该技能介绍如何用 Flash Attention 优化 Transformer 注意力计算,通过 IO 感知分块与重计算,可在长序列场景获得 2-4 倍加速和 10-20 倍显存占用降低。包含 PyTorch 2.2+ 原生方式、flash-attn 库方式以及 H100 FP8(FlashAttention-3)三种路径的完整代码示例,并给出集成到现有模型、验证加速比、比对精度、多查询注意力、滑动窗口注意力等常见工作流,以及安装报错、无加速、CUDA 报错、精度下降等问题的排查方法。
Outlines 是一个用于结构化文本生成的 Python 库,由 dottxt.ai(原 .txt)开发,GitHub 星标 8000+。它通过有限状态机(FSM)在 token 采样层面约束生成过程,保证输出严格符合 JSON、XML、代码或正则表达式等结构,无需生成后再校验或重试。支持 Pydantic 模型实现类型安全输出,可自动将 JSON Schema 转换为语法约束。兼容多种本地模型后端,包括 Hugging Face Transformers、llama.cpp 和 vLLM,也提供有限的 OpenAI API 支持。提供 choice、json、regex、integer、float 等专用生成器,适用于数据抽取、分类、表单填写、多实体识别和代码生成等场景。
Phoenix 是由 Arize 开源的人工智能可观测性与评估平台,主要用于 LLM 应用的追踪、评估与监控。它基于 OpenTelemetry 收集任意 LLM 框架的调用链路,帮助开发者通过详细 trace 调试 LLM 应用问题、在数据集上运行系统化评估、实时监控生产环境中的 LLM 系统,以及构建用于对比提示词与模型的实验流水线。Phoenix 支持自托管,可使用 PostgreSQL 或 SQLite 存储,避免供应商锁定。安装可通过 pip install arize-phoenix,并可选择嵌入分析、OpenTelemetry 配置、评估框架或轻量 REST 客户端等可选依赖。启动方式包括在 notebook 中以 ThreadServer 模式启动,或在生产环境中使用 phoenix serve 命令。它提供追踪与 span、项目组织、框架插桩、内置与自定义评估器、数据集与实验、客户端 API、Docker 部署、身份认证以及环境变量配置等能力。
pyvene 是斯坦福 NLP 团队开发的 PyTorch 模型因果干预库,提供基于字典的声明式干预框架,用于激活修补、因果追踪和交换干预训练,使干预实验可复现、可分享。它支持任意 PyTorch 架构(不限于 Transformer),可对指定层和组件(如 block_output、attention_output、mlp_output 等)施加多种干预类型(如 VanillaIntervention、AdditionIntervention、ZeroIntervention、RotatedSpaceIntervention 等),并支持将干预保存到本地或分享至 HuggingFace。适用于因果追踪、电路分析、模型引导等可解释性研究场景。
Ray Train 是用于分布式训练编排的组件,可将 PyTorch、TensorFlow、HuggingFace 等框架的机器学习训练从单机扩展到多节点集群,尽量少改代码。它负责分布式协调、GPU 分配、容错、检查点与指标聚合,并可与 Ray Tune 结合进行超参数调优。安装命令为 pip install -U "ray[train]"。
SentencePiece 是一个与语言无关的分词器,将文本视为原始 Unicode 处理,无需针对特定语言做预处理。它支持 BPE 和 Unigram 两种分词算法,可用于构建多语言模型、处理中日韩(CJK)文本,并支持在原始文本上直接训练。其特点是速度快(约 50,000 句/秒)、内存占用低(加载模型约 6MB),且分词结果可复现。它被 T5、ALBERT、XLNet、mBART 等模型采用。可通过 pip 安装 Python 包,或从 GitHub 源码编译 C++ 版本,并提供命令行与 Python API 两种训练、编码、解码方式。
oma-deepsec 是用于在代码仓库中安全、可控地运行 Vercel deepsec 漏洞扫描器的技能,覆盖初始化、扫描、分诊、复验、导出与 CI 门禁。
Autoresearch 是一个自主迭代循环技能:围绕某个指标反复执行“修改—验证—保留/丢弃”,可用于调试、修复、安全审计、场景生成、发布准备与结果分析等,所有子命令默认有迭代上限并记录结果。
用于创建高质量 MCP(Model Context Protocol)服务器的开发指南技能,帮助 LLM 通过设计良好的工具与外部服务交互,覆盖从调研规划、实现、测试到评测的完整流程。
pencil-mcp-batch-get 是一个用于调用 Pencil MCP 工具 batch_get 的技能,可批量搜索和读取设计文件中的节点信息,被称为 Agent 的“眼睛”。仅在用户明确提及 Pencil 或当前上下文明确为 Pencil 设计任务时使用。
Pencil MCP 技能:调用 find_empty_space_on_canvas 工具,为 Pencil 画布上的新 Frame 或 Artboard 智能查找空白位置,避免与已有内容重叠,帮助规划布局。仅在用户明确提到 Pencil 时使用。
Pencil 设计工具的 MCP 技能,用于调用 get_editor_state 获取当前编辑器状态,包括画布选中节点、当前页面 ID 与文档路径,帮助在开始设计任务前了解环境上下文。
用于调用 Pencil MCP 工具 get_screenshot 的技能,对指定节点截图以做视觉验证。仅在用户明确提到 Pencil 或当前上下文确为 Pencil 设计任务时使用,可用于设计操作后检查对齐、间距、文字截断与颜色等问题。