SuperAPI AI 工具集

ab-test-framework-ml

数据与分析

查看项目

更新于 10-15 21:08

技能介绍

用途:该技能定位为机器学习场景下的 A/B 测试专家,支持实验设计、实现与分析,并考虑概念漂移、模型偏差、统计功效计算,以及同时衡量业务指标与模型性能指标的难点。

主要能力:强调统计严谨性,要求实验前定义主次指标、预先计算最小可检测效应(MDE)与样本量、评估多指标时做多重检验校正、选择正确的随机化单位(用户、会话或请求)。ML 特有考虑包括监控模型性能指标(准确率、AUC、precision/recall)与业务指标(转化、营收、参与度),纳入推理延迟与计算成本,分析时间效应与季节性,处理模型版本控制与可复现性。

使用方式:资料给出样本量计算(基于 ttest_power)、一致性哈希流量分组(ABTestSplitter)、模型服务与预测日志记录(ABTestModelServer)、贝叶斯 A/B 分析(PyMC3)、序贯检验与提前停止(O'Brien-Fleming 消耗函数)、漂移检测(KS 检验与 Jensen-Shannon 散度)等代码示例。这些示例展示实验设计、分组、部署监控、统计分析与模型性能监控的流程,必要命令与代码保持原样。

适用场景:生产环境中测试 ML 模型的在线实验,需要兼顾统计功效与业务、性能指标的场景。

限制:为俄语资料,缺少中文与官方文档;未提供具体平台支持、收费方式、安装步骤与效果数据,暂未提供相关信息。