用途：面向 LLM 应用（聊天机器人、RAG、智能体、抽取器）的失败分析。方法源自 Hamel Husain、Shreya Shankar：把定性研究用于轨迹——人工对真实失败做开放式编码，再由 Claude 做轴心编码形成命名分类，只有命名且复现的模式才进入自动评估。错误分析决定该测什么，不为无名称、无计数的模式写评估。
主要能力与流程：多阶段工作流（Phase 1 拉取轨迹，默认约 100 条、偏向失败样本；Phase 2 人工开放式编码；Phase 3 轴心编码聚类为 5–8 个人工确认模式；Phase 4 产出 failure-taxonomy.md；Phase 5 推荐二元评估并做评判者对齐）。按投入规模区分轨迹量：low 30、medium 50、high 100。对工具/检索类失败可重放判定责任面：prompt、code:retriever 或 inconclusive。评估只输出二元通过/失败，一个模式一个评判者，并在留出测试集报告 TPR/TNR。
使用方式：Langfuse 来源需在环境变量中提供 LANGFUSE_PUBLIC_KEY、LANGFUSE_SECRET_KEY、LANGFUSE_HOST；使用 curl 从 v2 Observations API 分页拉取，按 traceId 分组归一化为 JSONL。也支持用户提供的 JSONL 导出。产物包括 traces.jsonl、open-coding-notes.md、failure-taxonomy.md、eval-recommendations.md；评估执行可委托 ork:eval-runner。
适用场景：团队不确定该写哪些评估、评估分数不可信、需要统计 Top 失败模式时。
限制：不用于 Claude Code 会话错误、CI 失败调试，或模式命名后编写评估器本身。未提供具体定价、平台支持与效果数据。