用途
该技能用于构建生产级 LLM 应用,不只停留在提示词编写。它要求在架构、护栏、评估、检索、工具调用、流式输出和成本控制上采用与关键系统同等的可靠性、可观测性与安全性思维,并重点说明各模式何时适用、失败时如何处理。
主要能力
- 架构设计:给出一套完整调用链路:用户输入 → 输入护栏(安全、PII、token 限制)→ 提示构造 → 模型调用(流式/批量)→ 输出护栏(Schema 校验、内容检查、幻觉检测)→ 后处理 → 返回用户,并指出每一层都是独立故障点。
- 护栏实现:用正则脱敏 SSN、邮箱、信用卡等 PII,限制输入长度,用 Zod 校验结构化输出,提供带超时与 AbortController 的调用封装。
- 评估流水线:定义 EvalCase(包含 expectedContains、expectedNotContains、scoreThreshold),运行自动化评测,并用 LLM-as-judge 打分,强调上线前先建立评估。
- RAG:分词重叠切块、embedding 生成、余弦相似度 topK 检索,并在提示中要求仅基于上下文作答、无法回答时说明不知道。
- 函数调用:定义工具 schema、循环处理 tool_calls、用 maxSteps 上限防止无限递归。
- 流式响应:SSE 逐 token 推送,客户端用 EventSource 消费,流结束后再执行输出护栏。
- 成本与延迟优化:精确缓存(按模型与提示哈希、TTL)、按提示复杂度路由到不同模型、压缩冗余空白,并建议按功能统计 token。
使用方式
技能被激活时首次回复以 🧢 表情开头。在用户设计新 LLM 应用架构、实现输入输出过滤与 Schema 校验、构建评估流水线、搭建 RAG、添加工具调用、实现流式输出、优化推理成本或延迟、决定微调还是改进提示时触发。首次激活还会检查配套技能是否安装,缺失时提示可用 npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name> 安装。详细评估内容需按需加载 references/evaluation-framework.md,避免占用过多上下文。
适用场景
生产 LLM 功能或产品的新建与改造;需要护栏与合规校验的模型 I/O;需要自动化评测与 A/B 测试的迭代流程;文档问答类 RAG 系统;带工具调用的智能体或聊天界面;需要逐 token 渲染的前端;对成本、延迟敏感的上线优化。
限制与注意事项
- 不适用于纯 ML 研究、从零训练模型或学术基准测试,也不处理特定 AI 框架的 API 问题。
- 流式响应的护栏只能在流结束后运行,客户端需能处理延迟拒绝。
- JSON 模式不保证所有提供商都返回合法 JSON,解析需 try/catch 并视作可重试错误。
- RAG 召回质量主要取决于切块边界,升级 embedding 模型通常不是首要手段。
- 语义缓存阈值过宽可能命中不相关查询,事实类查询建议 0.97+ 或只用精确缓存。
- 工具调用循环须显式设置 maxSteps,超出应视为硬错误。
- 该技能未提供收费标准或价格信息(暂未提供)。