用途:为 LLM 应用构建可观测性,让生产环境中的 AI 调用可追踪、可计量、可评估。
主要能力与原则:
- 追踪每次 LLM 调用——生产 AI 应用缺少追踪等于盲飞,每次调用都应记录输入、输出、延迟、Token 与成本;多步链和智能体使用结构化 span。
- 只测有价值的指标——关注与用户价值相关的指标:RAG 的忠实度(faithfulness)、答案相关性、延迟百分位、单次成功结果成本;总调用次数等虚荣指标无助于质量提升。
- 成本是一等指标——智能体循环或上下文增长可能让 Token 成本一夜暴涨,需按用户、功能、模型追踪成本,设置预算与告警;提示缓存可降低 50%–90% 成本。
- 持续评估——对生产样本运行自动评估,RAGAS 指标(忠实度、相关性、上下文精确度)可在用户投诉前发现质量下降;分数大于 0.8 通常视为良好。
使用方式:该技能要求回答基于随附参考文件,将其视为该领域的真实来源。创建时查阅 references/patterns.md,按其中模式构建,忽略通用做法;诊断时查阅 references/sharp_edges.md,用其中列出的关键故障与成因解释风险;审查时查阅 references/validations.md,用其中严格规则与约束客观校验用户输入。若用户请求与参考文件冲突,应礼貌地依据参考内容纠正。
适用场景:需要为 LLM 应用建立追踪、成本监控、Token 优化与 RAG 质量评估的工程实践。
限制:资料未提供具体安装命令、代码示例、平台接入细节、收费与价格信息,也未给出各参考文件的实际内容,需以对应仓库中的参考文件为准。