用途：探索与管理 PostHog AI 可观测性评测，对 $ai_generation 事件进行打分。评测分三类：hog（确定性代码检查，适合格式校验、长度限制、正则、结构断言、延迟与成本阈值）；llm_judge（用提示词让 LLM 打分，适合语气、有用性、幻觉、跑题、指令遵循等主观判断，需组织级 AI 数据处理审批）；sentiment（从用户消息中分类情感，返回标签与分数）。所有结果以 $ai_evaluation 事件落到 ClickHouse，布尔评测写入 $ai_evaluation_result，情感评测写入 $ai_sentiment_*。
主要能力：列出/查看/创建/更新/删除评测配置；对指定生成运行评测；用 test-hog 在不保存的情况下试跑 Hog 源码；生成通过/失败/N/A 模式的 AI 摘要；用 execute-sql 做临时 HogQL 查询；用 query-llm-trace 下钻到被评分的底层生成。常用工具包括 posthog:llma-evaluation-list、get、create、update、delete、run、test-hog、summary-create、execute-sql、query-llm-trace。
使用方式：查评测用 llma-evaluation-list（可按 search、enabled 过滤）；排查失败先 summary-create 取 fail_patterns 和示例 ID，再用 query-llm-trace 下钻，最后用 execute-sql 验证（N/A 过滤用 applicable IS NULL OR != false）。试点生成用 llma-evaluation-run，需提供 evaluationId、target_event_id、timestamp。新建 hog 评测先用 test-hog 试跑再 create；llm_judge 无对应试跑工具，通常先以 enabled: false 创建，用 run 抽验再改提示词，满意后启用。
适用场景与限制：hog 默认优先，因为便宜、快、可复现； критерий无法用代码表达时才用 llm_judge。llm_judge 与 summary-create 需组织级 AI 数据处理审批，hog 不需要。摘要分析最近约 250 条运行并缓存一小时，可 force_refresh。摘要由 LLM 生成，应结合原始统计与 SQL 核实。llm_judge 重跑存在 1–5% 噪声。其余如具体定价、平台覆盖等资料未提供。