SuperAPI AI 工具集

drift-monitor-designer

设计与创作

查看项目

更新于 10-15 21:38

技能介绍

用途:为生产模型和数据产品设计漂移监控,覆盖数据漂移、概念漂移、性能漂移和运营信号,把模糊请求转化为带负责人、证据、假设和行动阈值的明确决策。

主要能力:先检查本地工件(数据抽取、schema、notebook、SQL、管道配置、模型报告、工单、既往决策);区分机械检查与专家判断;按“停止、先修复、监控、接受风险、负责人决策”对发现分类;分类漂移风险(schema、分布、关系、概念、性能、运营);依据数据类型、标签延迟和可行动性选择监控项;设置阈值、基线、告警路由与抑制规则;定义重训、回滚、调查或不行动的剧本;保留原始证据,不静默修改数据或配置。

使用方式:需提供模型用途、特征、预测日志、标签可用性、风险容忍度、负责人和重训流程;缺失时先查本地文件,只询问无法从工作区恢复且会改变建议的信息。按输出契约返回:Problem、Inputs、Checks performed、Findings、Decision、Risks、Next actions、Artifacts。可参考 references/playbook.md、acceptance-tests.md、agent-portability.md、quality-rubric.md,发布前运行 scripts/quick_validate_skill.py . --strict。

适用场景:生产模型和数据产品的漂移监控设计与事件响应路径制定,交接给数据科学家、ML 工程师、治理评审或利益相关方。

限制:不提供具体收费、价格、平台或效果数据;危险信号包括无负责人的告警、默认阈值、忽略标签延迟、无基线窗口、未评估即触发重训。资料未提供具体阈值示例或平台集成细节。