用途:在生产环境中监控 AI 的质量、安全与成本,及时发现模型退化、输入漂移、成本上涨等问题。适用于任何已上线的 AI 功能、模型或提示词变更后,以及合规需要持续证据的场景。
主要能力:定义监控指标(质量、安全、性能、成本);构建评估指标,包括有标注的质量指标与无标注的 LM-as-judge 质量/安全评判;用 Evaluate 批量评估并写入 monitoring_log.jsonl;通过 check_for_degradation 对比基线检测下降;用 MonitoredProgram 包装生产程序记录输入、输出与延迟;对生产流量采样评估;按阈值触发告警。
使用方式:复用 /ai-improving-accuracy 的指标模式,定义 quality_judge、safety_metric 等函数,运行 run_evaluation 记录分数,再用 monitoring_check 完成评估、对比与告警。可按流量与风险设定频率(如每小时、每天、每周),以 cron、计划任务或 CI 运行。也可接入可观测平台:Langtrace(pip install langtrace-python-sdk,langtrace.init(api_key="..."),自动追踪 DSPy 调用)、Arize Phoenix(pip install arize-phoenix openinference-instrumentation-dspy,px.launch_app() 与 DSPyInstrumentor().instrument())、W&B Weave(pip install weave,weave.init("my-ai-project") 与 @weave.op())。
限制与注意:资料未提供具体价格、平台收费与效果数据。安全告警阈值建议低于质量告警(如安全下降超 1%、质量下降超 5%);每次优化后需更新基线;参考评估集应保持新鲜。安装入口:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill ai-do。