SuperAPI AI 工具集

data-science

数据与分析

查看项目

更新于 10-16 10:37

技能介绍

用途

该技能面向数据科学与分析工作,提供从数据战略、统计分析到机器学习、数据治理、商业智能、预测建模、数据伦理与团队组织的综合参考框架。适用于构建机器学习模型、分析数据、创建仪表盘或设计数据架构等任务。

主要能力

数据战略

提供数据成熟度模型,分为五个层级:Ad Hoc(手动、不一致、孤岛)、Opportunistic(部分自动化、点状方案)、Systematic(流程定义、治理初现)、Differentiating(数据驱动决策、高级分析)、Transformative(AI优先、竞争优势)。同时给出分析价值链:数据→信息→洞察→行动→价值,并区分描述性、诊断性、预测性、规范性、自主性五个递进阶段。

统计分析

涵盖描述性统计,包括集中趋势(均值、中位数、众数)、离散程度(极差、方差、标准差、四分位距)和分布形态(偏度、峰度)。更详细的推断统计与假设检验内容指向统计方法参考文档。

机器学习

提供算法选择表,按任务类型列出推荐算法与适用场景:分类(逻辑回归、随机森林、XGBoost、神经网络)、回归(线性回归、Ridge/Lasso、随机森林、XGBoost)、聚类(K-Means、层次聚类、DBSCAN)、降维(PCA、t-SNE、UMAP)、异常检测(孤立森林、单类SVM、自编码器)、时间序列(ARIMA、Prophet、LSTM)、推荐(协同过滤、基于内容、矩阵分解)、NLP(Transformer、BERT、GPT)。详细ML流水线、特征工程与模型监控指向ML流水线参考文档。

数据治理

给出治理框架的四大支柱:政策(数据所有权、分类、保留、访问、质量标准)、角色(数据所有者、数据管理员、数据保管人、数据消费者)、流程(数据编目、元数据管理、数据血缘、问题解决、变更管理)、指标(数据质量评分、政策合规、数据访问请求、问题解决时间)。并列出数据质量维度:准确性、完整性、一致性、及时性、有效性、唯一性及其定义与衡量方式。

商业智能

描述BI架构分层:数据源、数据集成(ETL/ELT、数据湖、数据仓库)、语义层(业务定义、计算指标、层级、关系)、展示层(仪表盘、报表、即席分析、嵌入式分析)。提供仪表盘设计原则(目的、布局、可视化、交互性)和指标定义模板(名称、定义、公式、负责人、数据源、粒度、频率、维度、目标、关联指标)。

预测建模

给出用例框架表,将业务应用与建模方法对应:流失预测(分类)、需求预测(时间序列)、线索评分(分类)、价格优化(回归/强化学习)、欺诈检测(异常检测)、推荐(协同过滤)、客户分群(聚类)、生命周期价值(回归)。

数据伦理与隐私

提供伦理AI框架,包含公平性、问责制、透明度、隐私四项原则。列出偏差类型(历史偏差、代表性偏差、测量偏差、聚合偏差、评估偏差)和公平性指标(人口统计均等、机会均等、个体公平、校准)。

分析团队结构

列出团队角色(数据工程师、数据分析师、数据科学家、ML工程师、分析工程师)及其关注点与技能,并对比运营模式(集中式、分散式、中心辐射式、联邦式)及其最佳适用场景。

使用方式

该技能以参考文档形式组织,主文档提供框架、表格和清单,详细内容通过引用文件展开:ML流水线参考(references/ml-pipelines.md)涵盖ML流水线、特征工程、模型开发;统计方法参考(references/statistical-methods.md)涵盖推断统计、假设检验、评估指标。另可参见产品管理、商业战略、财务等相关技能。

适用场景

适用于需要数据科学框架指导的任务,如构建机器学习模型、进行数据分析、创建仪表盘、设计数据架构、制定数据治理策略、开展预测建模、评估AI伦理与偏差、规划分析团队结构等。

限制

资料未提供具体安装命令、代码示例、收费信息或平台要求。部分主题(如推断统计、ML流水线细节)仅指向参考文档,主文档未展开具体内容。