用途
该技能面向已有智能体的系统性改进,核心方法是通过性能分析、提示词工程和持续迭代来提升智能体的表现与可靠性。它强调数据驱动的优化方式,结合性能指标、用户反馈分析和高级提示词工程技巧,并依赖系统化评估、针对性改进以及带回滚能力的严格测试来保障生产安全。
主要能力
该技能覆盖四个阶段的工作流。
第一阶段为性能分析与基线指标。收集任务完成率、响应准确性与事实正确性、工具使用效率、平均响应时间与 token 消耗、用户满意度指标、幻觉事件与错误模式等数据;分析用户反馈中的重复模式,如纠正模式、澄清请求、任务放弃点、后续追问和正面反馈;将失败按根因分类,包括指令误解、输出格式错误、上下文丢失、工具误用、约束违反和边缘情况处理;最终生成量化基线报告,包含任务成功率、平均纠正次数、工具调用效率、用户满意度评分、平均响应延迟和 token 效率比。
第二阶段为提示词工程改进。包括思维链增强(加入显式推理步骤、自验证检查点、递归分解,并收集简洁的决策解释和可观察的工具轨迹而非隐藏思维链);少样本示例优化(从成功交互中挑选多样示例,覆盖常见用例和曾失败的边缘情况,展示正反例并附解释,按由简到繁排序,标注关键决策点);角色定义细化(明确核心目的、专业领域、行为特征、工具熟练度、约束条件和成功标准);宪法式 AI 集成(加入事实准确性验证、偏见与有害内容自检、输出格式校验、响应完整性检查、与先前响应一致性维护,并实现批评-修订循环);输出格式调优(结构化模板、按复杂度动态格式化、渐进式信息披露、Markdown 可读性优化、代码块语法高亮、表格与列表生成)。
第三阶段为测试与验证。开发代表性测试场景,涵盖黄金路径、曾失败任务回归、边缘情况、压力测试、对抗性输入和跨域任务;建立 A/B 测试框架对比原始版与改进版,包含统计显著性检验、效应量计算和功效分析;定义任务级、质量和性能三类评估指标;实施结构化人工评估协议,包括盲评、标准化评分表、多评估者、定性反馈和偏好排序。
第四阶段为版本控制与部署。采用语义化版本格式(如 agent-name-v[MAJOR].[MINOR].[PATCH]),维护基于 Git 的提示词存储、变更日志和回滚流程;实施分阶段发布(内部验证 5% 流量、选定用户 20%、金丝雀发布逐步提升至 100%、7 天观察窗口);设定回滚触发条件(成功率下降超过 10%、关键错误增加超过 5%、用户投诉激增、每任务成本增加超过 20%、检测到安全违规);进行持续监控,包括关键指标仪表盘、异常检测告警、用户反馈收集、自动化回归测试和每周性能报告。
使用方式
该技能以工作流指令形式提供,按阶段执行:先建立基线指标并收集代表性样本,识别失败模式并优先处理高影响修复,应用提示词与工作流改进并设定可衡量目标,最后通过测试验证并在受控阶段逐步发布。执行时需遵循用户已有的授权和实际宿主工作流,保持轨迹私密或脱敏,限制成本与步骤,隔离候选变更,并要求受支持的精确版本检查。文中提到的 parallel-test-runner 和具名智能体角色并非随技能捆绑,需使用真实测试框架或报告缺口。
适用场景
适用于改进现有智能体的性能或可靠性、分析失败模式与提示词质量或工具使用、运行结构化 A/B 测试或评估套件、设计智能体的迭代优化工作流。
限制
不适用于从零构建全新智能体、没有可用指标或反馈或测试用例、任务与智能体性能或提示词质量无关的情况。技能明确要求:不要在未做回归测试的情况下部署提示词变更;若质量或安全指标回退应快速回滚。文中给出的成功率提升 ≥15%、用户纠正减少 ≥25% 等为示例性目标而非通用成功条件,需在测试前选定实际标准,区分相对变化与百分点并报告不确定性。此外,该技能不应替代针对具体环境的验证、测试或专家审查;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。