SuperAPI AI 工具集

review-data-analysis

数据与分析

查看项目

更新于 10-16 08:06

技能介绍

用途:对数据分析管道进行正确性、稳健性和可复现性评估,适用于发布前审阅同事的分析笔记本或脚本、机器学习管道上线前验证、分析报告审计、判断分析是否支撑其结论,以及受监管环境下的二次分析复核。

必要输入:分析代码(脚本、笔记本或管道定义)与分析输出(结果、表格、图表、模型指标)。可选输入:原始数据或数据字典、分析计划或协议、目标受众与决策背景。

主要能力(六个步骤):

  1. 数据质量评估:检查完整性(缺失量化与机制)、一致性(类型、取值范围、类别水平、单位)、唯一性(重复记录、主键、连接后行数)、时效性(数据年份、时间覆盖、前视偏差)、来源(数据源、提取版本、转换记录)。
  2. 假设检查:针对线性回归、逻辑回归、t 检验、ANOVA、卡方、随机森林、神经网络等方法,列出关键假设及检查方式,如残差图、Q-Q 图、Durbin-Watson、Breusch-Pagan、VIF、Box-Tidwell、Shapiro-Wilk、Levene、期望频数表、OOB 误差、学习曲线、验证曲线。
  3. 数据泄漏检测:检查目标泄漏、时间泄漏、训练测试污染(预处理在划分前拟合全量数据)、分组泄漏、特征工程泄漏(聚合在训练折外计算),并给出 clear/concern 状态。
  4. 模型性能验证:预测模型看合适指标、交叉验证或留出策略、训练与测试对比、基线比较、指标置信区间、子组表现;推断模型看拟合统计量、系数解释、多重共线性、影响点、模型比较。
  5. 可复现性评估:代码可运行、随机种子设置、依赖记录、数据加载可复现、结果数值匹配、环境记录,并给出 Gold/Silver/Bronze/Opaque 分级。
  6. 撰写审阅意见:总体评估、数据质量、方法问题、优点、可复现性、具体可操作建议,需引用代码位置或报告章节。

验证清单:数据质量五方面评估、各方法假设检查、系统排查数据泄漏、模型性能与基线验证、可复现性评估、反馈具体、语气建设性。

常见陷阱:只审代码忽略分析计划与结论;忽视数据质量;因复杂而假定正确;不实际运行代码;纠结代码风格而漏掉根本性分析错误。

相关技能:review-research、validate-statistical-output、generate-statistical-tables、review-software-architecture。

限制:资料未提供具体安装命令、运行环境要求、收费或价格信息;若数据不可访问,只能从代码侧评估质量。