SuperAPI AI 工具集

production-monitoring

智能体与模型

查看项目

更新于 10-16 06:52

技能介绍

用途:为 GenAI 智能体搭建生产级持续监控,覆盖注册评分器、按需评估、MLflow 追踪归档与历史指标回填。

两种方式:注册评分器适合持续监控,采样率可配置(1-100%),成本较高;按需 assess() 适合周期性或临时评估,运行时为 100%,成本较低。

注册评分器:用 @scorer 定义评分函数,返回 Score(value, rationale),再通过 mlflow.models.register_scorer(scorer=..., name=..., sampling_rate=...) 注册,并以 scorer_instance = scorer.start() 启动持续监控。采样率参考:安全 100%,相关性 10-20%,规范 5-10%,自定义 1-5%。

按需评估:调用 mlflow.genai.assess(traces=traces_df, evaluators=[...]) 对指定时间范围内的追踪进行评估,结果可记录到实验。

追踪归档:使用 mlflow.enable_databricks_trace_archival(catalog=..., schema=..., table=...) 将追踪写入 Unity Catalog 的 Delta 表,之后可查询分析。

关键限制:评分器必须使用不可变模式,scorer = scorer.start() 返回新实例,禁止直接 scorer.start() 修改原对象。外部辅助函数需在评分器函数内部导入,避免模块级导入在生产环境失败。

部署前检查:确认不可变模式、采样率、生命周期管理、外部导入位置、assess 实现、追踪查询与归档、指标回填等。参考文件包括 registered-scorers.md、trace-archival.md、metric-backfill.md、monitoring-dashboard-queries.md 及 register_production_scorers.py。具体价格、平台支持范围等资料未提供。