SuperAPI AI 工具集

data-scientist-analyst

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:将采集到的原始数据转化为可信的科学洞察,覆盖数据预处理、统计检验、预测建模与可视化。

主要能力:编写 Python 脚本进行缺失值、异常值检查与特征标准化;执行线性/逻辑回归、偏最小二乘(PLS)、ANOVA 等推断统计,并报告 p 值、R²、t 统计量、F 统计量;进行机器学习建模,要求严格划分训练/测试集、使用交叉验证(如 K-Fold),并至少比较两种算法;用 Matplotlib/Seaborn 生成带轴标签、图例、标题的图表,保存为高质量 .png 或 .pdf。

依赖:Pandas、NumPy、SciPy、Statsmodels、Scikit-Learn、Matplotlib、Seaborn、XGBoost、LightGBM 等,可通过终端安装。

使用方式:先加载 .csv、.json、.xlsx 等数据;在自定义分析前,必须运行统计辅助脚本生成无幻觉的事实性数字摘要: python "<PATH_KE_SKILL>/scripts/run_stat_analysis.py" --input dataset.csv --output stat_report.json 随后基于 stat_report.json 做探索性数据分析,再按三层执行体系编写分析脚本:优先 Python 原生栈(可读 SPSS .sav、Stata .dta、Excel .xlsx);若用户指定 SPSS/EViews/Stata/Excel,则通过 computer-use 以无头批处理模式运行 .sps、.prg、.do;必要时用 GUI 视觉回退。训练大型模型前建议用 hardware-workload-estimator 检查 CPU、内存与 GPU 显存,若预计超过 20 分钟或有 OOM 风险,可提议迁移到 Google Colab。

适用场景:学术研究、数据分析报告、特征重要性分析、模型性能对比等。

限制与常见错误:避免数据泄漏(不可在划分训练/测试集前对全量数据缩放)、避免过拟合(不可只报告训练精度)、参数检验前须验证正态性等假设。具体安装路径与更多细节以官方资料为准,暂未提供。