用途：把 AI 产品评估从主观"感觉检查"转为可衡量的系统流程，定位 LLM 具体失败点并建立持续改进的反馈闭环。
主要分四个阶段： 一、开放编码：先人工读数据。从可观测性工具（如 Braintrust、LangSmith、Phoenix）抽取 50–100 条完整交互 trace，逐条记录最早上游出错处的非正式"开放编码"，用具体语言（如"虚构了虚拟看房"），直到不再发现新失败方式（理论饱和）。此阶段需指定一名"仁慈独裁者"（通常是产品经理或领域专家）定义"好"的标准。 二、轴向编码：把开放编码导出为 CSV，用 LLM 归并为 5–7 个失败类别（轴向编码），再把每条 trace 映射到某个类别，用透视表统计频次并按高频或高风险优先处理。 三、构建 LLM 评判器：针对复杂主观失败（如人工转接质量）写独立评判提示词，强制输出 True/False 二值，不使用 1–5 或 1–10 的评分量表。 四、对齐与验证：把评判器标签与人工标签做一致性矩阵对比，重点审查假阳性与假阴性，迭代提示词直到与"仁慈独裁者"一致率达 80–90% 再上线。
适用场景：房地产 AI 助手（能力误述）、客服人工转接（转接协议违规）等需要把主观质量判别自动化的 AI 产品。
限制与常见陷阱：避免使用 Likert 量表、避免过早自动化开放编码、避免委员会式评判、避免追逐"幻觉分数"等泛化指标。收费、平台支持范围等资料未提供。