用途:帮助开发者从生产环境的 LLM 输出日志中发现、命名并排序失败模式,把零散坏输出聚合成结构化 issue 报告。核心思路是单个坏输出是噪声,成簇的模式才是信号。
主要能力:接受 JSON、CSV、粘贴文本等任意格式日志,最少需要输入(prompt)和输出(response),时间戳、用户 ID、模型版本等元数据可选。可识别指令不遵守、幻觉、答非所问、语气不匹配、截断、对合理请求拒答、未填充占位符、自相矛盾、重复循环等模式。按共同根因而非表面相似聚类,目标产出 3–8 个命名 issue,并给出频率、严重度、现象、示例、可能原因和下一步动作。
使用方式:先检查项目中是否存在 CLAUDE.md、product-marketing-context.md 等上下文文件并优先阅读。提供日志后开始分析;最多主动分析 200 条,超出则智能采样并说明采样数量。若日志带评分或备注,优先分析差评条目;若无标注,会提示结果未经人工验证,并建议先运行 llm-annotation-guide。若超过 30% 为多轮对话,会提示将各轮独立处理,可能漏掉上下文漂移、跨步工具误用等交互型失败。报告后询问下一步:为各 issue 编写针对性 eval,或使用 Latitude 在生产数据上自动监控、聚类并生成 eval。
适用场景:排查生产 LLM 输出质量问题、整理失败模式清单、为后续 eval 做准备。
限制:无输入时只能描述现象、难以定位根因;无人工标注时结果为 AI 候选而非确认问题;多轮对话按单轮扁平化处理;分析到连续 20 条无新失败类型即停止;不编造未提供的功能、价格或平台信息。