Performance Monitor 是一个面向 AI 智能体性能监控与优化的技能，提供在监控、基准测试和优化 AI 智能体性能方面的专业能力，专注于 token 用量跟踪、延迟分析、成本优化，以及为 AI 系统实施质量评估指标（evals）。
用途 该技能用于跟踪 AI 智能体的 token 用量与成本、测量并优化智能体延迟、实施评估指标（evals）、对智能体质量与准确性进行基准测试、优化智能体成本效率、为 AI 流水线构建可观测性、分析智能体对话模式，以及为智能体设置 A/B 测试。
适用时机 在以下情况调用该技能：优化 AI 智能体成本与 token 用量、测量智能体延迟与性能、实施评估框架、为 AI 系统构建可观测性、对智能体质量进行基准测试。 在以下情况不要调用：通用应用性能问题（改用 /performance-engineer）、基础设施监控（改用 /sre-engineer）、机器学习模型训练优化（改用 /ml-engineer）、提示词设计（改用 /prompt-engineer）。
决策框架 按优化目标划分：
- 成本降低：token 用量方面进行提示词优化；API 调用方面采用缓存与批处理。
- 延迟：首 token 时间方面采用流式输出；总响应时间方面进行模型选择。
- 质量：准确性方面使用带真实标注的评估；一致性方面进行多次运行分析。
- 可靠性：关注错误率与重试模式。
核心工作流
- Token 用量跟踪：对 API 调用进行埋点以捕获用量；分别跟踪输入与输出 token；按智能体、任务、用户聚合；计算每次操作的成本；构建仪表盘以提升可见性；为异常用量设置告警。
- 评估框架搭建：定义评估标准；创建带预期输出的测试数据集；实现评分函数；运行自动化评估流水线；随时间跟踪分数；用于回归测试。
- 延迟优化：测量基线延迟；识别瓶颈（模型、网络、解析）；在适用处实施流式输出；优化提示词长度；权衡模型规模；为重复查询添加缓存。
最佳实践 将 token 跟踪与 API 调用次数分开统计；在优化之前先实施评估；延迟使用百分位数（p50、p95、p99）而非平均值；记录提示词与响应以便调试；设置成本预算与告警；对提示词进行版本管理并按版本跟踪性能。
反模式
- 不跟踪 token：导致成本意外；正确做法是对所有调用进行埋点。
- 未评估就优化：导致质量回退；正确做法是先测量再优化。
- 仅使用平均延迟：掩盖尾部延迟；正确做法是使用百分位数。
- 不做提示词版本管理：无法关联变更；正确做法是版本化并跟踪。
- 忽略缓存：造成重复成本；正确做法是缓存稳定响应。