用途:在生产环境中监控 LLM 的质量退化与输入/输出分布偏移,包括输入数据漂移、输出质量概念漂移,以及固定测试输入下的行为漂移。
主要能力:实现 PSI、KS、KL 散度等统计方法;用 EWMA 与移动平均设置动态阈值;将 Langfuse 评分与漂移分析结合;支持嵌入漂移与语义漂移、聚类质心监控(Arize Phoenix);提供金丝雀提示与回归测试以检测行为变化。
使用方式:以基线窗口(建议 7–30 天滚动)对比当前数据。PSI 阈值参考:<0.1 无显著漂移,0.1–0.25 中度漂移需排查,>=0.25 显著漂移需告警并行动。动态阈值可用历史 PSI 的 95 分位替代静态阈值。EWMA 检测器通过 update(value, baseline_mean, baseline_std) 返回 ewma、ucl、lcl 与 drift_detected。Langfuse 侧可拉取 quality_overall 评分,比较当前均值与基线均值,按下降比例触发告警。
适用场景:LLM 生产监控、RAG 检索质量跟踪、模型更新后的回归测试、质量指标早期预警。
限制与注意:避免无上下文的静态阈值(易告警疲劳),避免仅按时间表重训;应结合性能指标与质量评分共同判断。工具栈建议 Langfuse(追踪)配合 Evidently/Phoenix(漂移分析)。具体安装命令、收费与平台支持暂未提供。