用途:用于为技能建立使用日志、定义输出质量指标、分析技能随时间的表现、发现需要改进的技能、构建反馈闭环,以及进行技能变体的 A/B 测试。官方明确其不用于创建新技能(应使用 agent-creator)、技能文档(skill-coach)、运行时调试或通用日志监控(devops-automator)。
主要能力:围绕“捕获—分析—评分—聚合—告警—改进”六个阶段,记录调用 ID、时间戳、技能名与版本、用户查询、上下文 token、耗时、工具调用次数、输入输出 token、错误、输出类型与产物等;收集完成度、token 效率、工具成功率、重试次数,以及用户编辑比例、是否接受、是否需要追问、显式评分等质量信号,并支持延迟结果信号如代码是否成功运行、测试是否通过、是否被回滚。
评分与存储:提供 0–100 的多维评分框架,按完成度 25%、效率 20%、输出质量 30%、用户满意度 25% 计算,并给出分数区间对应的质量等级与建议动作;提供 SQLite 表结构(skill_invocations、skill_aggregates)与可移植 JSON 日志格式。
使用方式:资料给出基础记录钩子的 Python 实现思路、质量信号收集函数、分析查询示例(技能排名、质量趋势、问题检测)以及改进机会识别逻辑;还定义质量下降、错误激增、使用不足、高表现等告警条件,并给出周报结构。
适用场景:适合需要对技能生态做持续质量度量的团队或个人,用数据替代直觉,定位高编辑率、重复错误、常见追问等问题。
限制:资料未说明安装命令、具体平台支持范围、收费或价格,也未提供可直接运行的完整部署步骤;反模式提示不应记录全部输入输出(隐私与存储问题)、不应只评分一次、不应只看平均值、应先建立基线。