用途:在 PostHog 中对 $ai_generation 事件做评估打分,覆盖评估器配置的增删改查、针对特定生成运行评估、查询单条结果,以及配置定时评估报告。
主要能力:三类评估器。hog 为确定性 Hog 代码,返回布尔、数值或分类,适合格式校验、长度限制、关键词、正则、结构断言、延迟与成本阈值,便宜快速可复现。llm_judge 由 LLM 按提示词打分,适合语气、有用性、幻觉、跑题、指令遵循等主观判断,每次运行消耗一次 LLM 调用,且需组织级 AI 数据处理审批。sentiment 从用户消息分类情感,返回标签与分数,而非通过/失败。结果以 $ai_evaluation 事件写入 ClickHouse;布尔评估写 $ai_evaluation_result,情感写 $ai_sentiment_*。数值与分类结果分别存于 $ai_evaluation_numeric_result 与 $ai_evaluation_categorical_result,需用 output_config.passing_rule 解释。
使用方式:通过 posthog:llma-evaluation-list/get/create/update/delete 管理配置,llma-evaluation-run 对指定生成运行,llma-evaluation-test-hog 干跑 Hog 源码,llma-evaluation-report-* 配置邮件或 Slack 报告,posthog:execute-sql 用 HogQL 查询,posthog:query-llm-trace 下钻底层生成。运行需提供 evaluationId、target_event_id、timestamp,有 distinct_id 时一并传入可加速查询。
适用场景:排查评估失败原因、对特定生成试跑评估、构建并测试新评估器、管理评估生命周期。
限制:llm_judge 需组织级 AI 数据处理审批,hog 不需要;llm_judge 无干跑工具,通常先 enabled: false 手动试跑再启用;检查结果时应先看 $ai_evaluation_skipped,跳过与 N/A 不同;不支持 N/A 的评估该属性可能为 null,按适用处理。其余细节资料未提供。