SuperAPI AI 工具集

data-anomaly-detection

数据与分析

查看项目

更新于 10-16 06:15

技能介绍

用途:在研究数据集中识别异常、离群点和可疑模式,帮助维护数据完整性并发现真实的科学发现。数据点异常可能来自测量错误、仪器故障、录入错误或真实罕见现象,本技能提供结构化框架进行检测、分类与处理。

主要能力:提供三阶段流程——检测(标记候选异常)、诊断(判断可能原因)、决策(删除、变换或保留并说明理由),所有决定均记录以保证可复现与透明报告。统计检测方法包括单变量检测(IQR 1.5倍规则、Z 分数 |z|>3、中位数绝对偏差、Grubbs 检验)和多变量检测(马氏距离 EllipticEnvelope、IsolationForest),并提供基于滚动均值和标准差的时序异常检测。诊断框架按测量误差、录入错误、抽样伪影、真实极端值、污染等类别给出指标与处理建议,并包含跨变量一致性、时间上下文、仪器日志、领域知识等诊断检查。

使用方式:以 Python 代码调用,示例使用 numpy、scipy、sklearn、pandas,如 detect_univariate_outliers(data, method='iqr')、detect_multivariate_outliers(X, method='mahalanobis')、detect_timeseries_anomalies(series, window=20)。论文报告时应说明检测方法与参数、被标记观测的数量与百分比、处置方式(删除/修正/保留),并提供敏感性分析,在补充材料中列出全部被标记观测及其处置。

适用场景:单变量、多变量、时间序列研究数据的异常检测与数据清洗。

限制:资料未说明具体平台支持、收费、价格或性能保证;方法参数如污染率 0.05、窗口 20 等仅为示例默认值,需据实际数据调整。