用途：在 PostHog AI 可观测性中创建持续运行的在线评估（online evaluation），对匹配的 $ai_generation 或整个 trace 自动打分，直到被禁用。评估应来自生产流量中已发现的真实失败模式，而非猜测或“幻觉”“有用性”这类通用指标。若用户未指明评估对象，需先询问；若仍模糊，先运行 exploring-ai-failures 定位用例、找出失败 trace 并产出排序后的失败模式列表。评估器写法与调试参考 exploring-llm-evaluations。
主要能力：一个失败模式对应一个评估，数量由数据决定，通常三到四个，不要合并成一个评估器。创建前先以通俗语言列出候选评估让用户挑选，不要创建用户未选择的评估。类型选择：hog 用于结构化/规则判断（JSON 解析、长度、正则、工具调用形状），便宜、确定、无需 provider key；llm_judge 用于主观/模糊判断（语气、事实性、是否跑题），每次运行消耗一次 LLM 调用，需要 provider 和 model；sentiment 给用户消息打情感标签，仅支持 generation 目标。目标选择：generation 为默认，每个匹配的 $ai_generation 摄入后立即运行；trace 在首个匹配 generation 后按 settle 配置运行；session 按 $ai_session_id 会话运行，仅对携带该字段的事件触发，且可能返回 skipped（$ai_evaluation_skipped: true），分析通过率时需排除。
使用方式：先创建为 enabled: false 的草稿，用 posthog:llma-evaluation-test-hog 干跑、posthog:llma-evaluation-run 单条试跑，确认 conditions 范围与每日匹配量（可用 posthog:execute-sql 验证），全部验证后再统一启用。llm_judge 创建草稿只需有效 provider 和 model，启用才需要 ok 状态的 provider key；provider_key_id 设为某 key 的 UUID 可固定，设为 null 使用团队当前活跃 key。无可用 key 不阻止创建草稿，但不要试跑或启用。回填需先估算并获用户确认。
限制：session 评估每个评估最多运行一次，超出 Temporal 保留窗口后可能重跑；会话事件超过 2500 条、窗口内无内容或转录过长会被跳过。sentiment 只对匹配的 $ai_generation 打分，项目无 generation 时任何评估都不会触发，应先接入 AI 可观测性。目录不可嵌套。完整字段见 references/evaluation-payload.md。