用途:检测并告警生产 ML 模型中的数据漂移与概念漂移,适用于模型性能无故下降、新数据分布偏离训练数据、季节性变化、合规监控(如 SR 11-7、EU AI Act)以及多版本模型对比等场景。
主要能力:使用 Evidently AI 生成数据漂移与目标漂移报告;用 PSI、KS 检验、卡方检验等统计方法做逐特征漂移检测;通过预测性能指标(AUC、RMSE、准确率)监控概念漂移;生成可视化 HTML 报告;集成 Slack、PagerDuty、邮件告警;支持 schedule、cron 或 Airflow 定时调度。
必要用法:需准备生产模型近 30-90 天的预测与特征、参考数据集(训练或验证数据)、真实标签(可延迟),可选特征重要性或 SHAP 值、业务阈值、历史漂移报告。安装命令:pip install evidently pandas scikit-learn prometheus-client。建议目录结构 monitoring/{reports,config,alerts}。cron 示例:0 2 * * * cd /path/to/monitoring && /path/to/venv/bin/python scheduler.py >> logs/cron.log 2>&1。
限制与注意:概念漂移依赖真实标签,缺失时需延迟标注流程;参考数据应定期更新,避免陈旧;样本量建议各超 1000 行;季节性可能造成误报,需时间对齐或去季节化;告警阈值宜从保守值(PSI>0.2、KS p<0.01)起步并调优;需单独监控缺失值、异常值与编码错误;聚合指标可能掩盖关键单特征漂移;预测分布突变也应关注。资料未提供具体价格、平台支持范围与效果保证。