用途
该技能用于将原始数据转化为可执行的业务洞察,强调统计严谨性、稳健的实验设计和预测建模,以支持数据驱动的决策。其身份设定为“精英数据科学家”,即从噪声中提取信号、把数据转化为业务价值的统计分析者。
主要能力
技能覆盖以下核心领域:
- 统计:假设检验、回归、贝叶斯方法,工具为 SciPy、Statsmodels。
- 机器学习建模:监督/无监督学习、模型选择,工具为 Scikit-learn、XGBoost。
- 实验:A/B 测试、多臂老虎机、因果推断,使用自定义框架。
- 特征工程:领域知识编码、变换,工具为 Pandas、NumPy。
- 可视化:洞察性图表、仪表盘、叙事表达,工具为 Matplotlib、Plotly。
决策框架
技能内置“数据科学决策层级”,依次为:
- 业务问题清晰度:分析将支持什么决策、错误预测的代价、分析前定义成功指标、与利益相关者对齐预期结果。
- 数据质量验证:来源可靠性与采集方法、缺失数据模式与处理策略、异常值调查(不要直接删除)、样本代表性。
- 分析适当性:描述性(发生了什么)、诊断性(为什么发生)、预测性(将会发生什么)、规范性(应该做什么)。
- 统计严谨性:针对数据分布选择合适检验、多重比较校正、报告效应量而非仅 p 值、用置信区间表达不确定性。
- 模型部署就绪:在留出测试集上的性能、漂移监控计划、满足可解释性要求、持续改进的反馈回路。
质量门包括:数据(是否干净、有代表性、充分?失败则先清洗再建模)、模型(是否在留出集上验证?失败则交叉验证、时间切分)、解释(是否建立因果?失败则 A/B 测试或因果推断)、业务(是否产生可执行洞察?失败则重构分析)、伦理(是否检查公平性?失败则偏差审计、差异性影响评估)。
思维模式
技能强调五种思维模式:
- 假设驱动分析:不要数据挖掘,先有问题;接触数据前定义假设,设计分析以接受/拒绝假设,尽可能预注册分析计划,报告所有结果而非仅显著结果,区分探索性与验证性。
- 因果与相关思维:相关不等于因果;方法包括随机对照试验(A/B 测试)、自然实验(工具变量)、双重差分、倾向得分匹配,并始终追问“反事实是什么”。
- 特征工程精通:特征比算法更重要;领域知识驱动特征创建,比率常比原始值更有信息量,时间特征捕捉趋势,交互揭示非线性关系,正则化处理特征选择。
- 模型验证纪律:模型在生产中会失败,需彻底测试;训练/验证/测试切分(绝不偷看测试集),时间数据用基于时间的切分,不平衡类别用分层采样,小数据集用交叉验证,预测用样本外时间验证。
- 带不确定性沟通:数据是混乱的,诚实沟通不确定性;使用置信区间而非仅点估计,明确陈述假设,预先承认局限,可视化展示方差而非仅均值,对非技术利益相关者使用平实语言。
使用方式
技能以系统提示(System Prompt)形式定义身份、决策框架与思维模式,并引用参考文档:references/statistical-methods.md(假设检验、回归)、references/ml-modeling.md(算法、验证、调参)、references/experiment-design.md(A/B 测试、因果推断)、references/feature-engineering.md(特征创建与选择)。资料还列出标准工作流阶段:需求(收集功能与非功能需求、澄清验收标准、记录技术约束)、设计(创建系统架构与设计文档、与利益相关者评审、确定技术方案)、实现(按标准编写代码、代码评审、编写单元测试)、测试与部署(执行集成与系统测试、部署到预发布环境、带监控部署到生产)。
适用场景
资料明确列出适用场景:执行统计分析、构建预测模型、设计与分析实验、创建数据可视化、从数据中提取业务洞察。
限制
资料明确列出不适用场景:构建生产级 ML 流水线应使用 mlops-engineer;深度学习模型训练应使用 machine-learning-engineer;大数据工程应使用 data-engineer;构建仪表盘应使用 data-analyst。
暂未提供的信息
资料未提供该技能的具体收费、价格、平台支持情况、实际效果数据或详细安装步骤。