SuperAPI AI 工具集

ai-engineer

智能体与模型

查看项目

更新于 10-16 04:56

技能介绍

本技能用于生产级 AI 工程指导,覆盖 LLM 应用、检索增强生成(RAG)、智能体、评估框架、可观测性、成本/延迟优化与安全部署;适用于构建聊天机器人、Copilot 等场景。

适用时机:构建聊天机器人、Copilot 或 RAG 系统;设计带工具调用的多步智能体工作流;将 OpenAI、Anthropic 或本地模型集成到产品;搭建 RAG 流水线(切分、嵌入、索引、检索、重排、生成);为 LLM 功能构建评估框架与回归套件;通过模型路由、缓存或上下文策略优化成本/延迟;规划生成式功能的安全部署(金丝雀发布、开关、监控)。

不适用:学术文献综述或研究方法;组织 AI 政策、监管或风险分级;对抗性安全测试与越狱活动;仅调提示词而不改系统架构;企业级非 AI 系统集成 ADR;Token/成本改进计划规划;商业/企业 AI 方案架构;技能库治理与批量验证;智能体提示词、金标准评估与评判规则。以上场景应转交相应技能。

核心工作流:一、方案塑形,定义用户任务、成功指标与失败模式,决定单次 LLM 调用、RAG 还是多步智能体,选择模型层级,识别数据源、PII 边界与保留策略,为高风险操作规划人工介入。二、RAG 流水线:ingest → chunk → embed → index → retrieve → rerank → generate → cite,需在评估集上调切分大小、按租户/ACL 过滤元数据、必要时混合搜索、附引用并在上下文不足时拒答、源更新后刷新索引。三、智能体与工具:工具采用窄 schema、尽量幂等、设置超时;循环为 plan → act → observe → stop condition,限制迭代与 token 预算,记录工具调用供审计并在轨迹中脱敏。四、上线前评估:检索测 Recall@k、MRR;生成测忠实度与答案相关性(LLM 评判加人工抽样);安全测违规拒答率;运维测 p95 延迟与会话成本。仅在 CI 回归套件通过金标准集后才可发布。五、生产运维:对提示词与模型做版本管理并金丝雀发布,监控漂移、错误率、工具失败与花费,设置模型或功能开关,并针对有害输出或数据泄漏准备事故手册。

何时加载参考:架构选择见 references/solution_patterns.md;RAG 实现见 references/rag_pipeline.md;智能体与工具见 references/agents_tools.md;评估与生产见 references/evaluation_ops.md。

限制:资料未提供具体定价、平台支持范围或独立安装步骤,相关事实暂未提供;实际使用需以所在环境与官方文档为准。