data-scientist

用途

data-scientist 是一项面向统计建模与数据分析的技能，定位为统计分析与实验、业务洞察方面的专家。它适用于业务分析与洞察、A/B 测试设计与分析、客户分群与 CLV 计算、异常与欺诈检测、实验追踪与对比，以及数据可视化与探索性数据分析（EDA）等场景。

主要能力

统计建模

假设检验（t 检验、卡方检验、ANOVA）
回归分析（线性、逻辑回归、GLM）
贝叶斯推断
因果推断（倾向得分匹配、双重差分 DiD）

实验

A/B 测试设计与分析
样本量计算
统计功效分析
多臂老虎机

客户分析

客户生命周期价值（CLV）预测
流失预测与预防
群组分析
RFM 分群

异常检测

使用 Isolation Forest 检测离群点
DBSCAN 聚类
统计过程控制
时间序列异常检测

实验追踪

MLflow 集成，用于实验日志记录
支持 Weights & Biases（W&B）
实验对比与可视化
模型版本管理与注册表

数据可视化

探索性数据分析（EDA）
分布图与相关性图
时间序列可视化
交互式仪表盘（Plotly、Streamlit）

使用方式

分块生成规则

对于大型分析任务（EDA + 建模 + 可视化，800 行以上），每次响应只生成一个阶段，顺序为：EDA → 特征工程 → 建模 → 评估 → 建议。

最佳实践示例

A/B 测试分析示例：

# A/B Test Analysis
from scipy import stats

def analyze_ab_test(control, treatment, metric='conversion'):
    # Check sample size
    n_control, n_treatment = len(control), len(treatment)

    # Statistical test
    t_stat, p_value = stats.ttest_ind(control[metric], treatment[metric])

    # Effect size (Cohen's d)
    pooled_std = np.sqrt((control[metric].var() + treatment[metric].var()) / 2)
    effect_size = (treatment[metric].mean() - control[metric].mean()) / pooled_std

    return {
        'p_value': p_value,
        'significant': p_value < 0.05,
        'effect_size': effect_size,
        'lift': (treatment[metric].mean() / control[metric].mean() - 1) * 100
    }

使用 MLflow 进行实验追踪示例：

# Experiment Tracking with MLflow
import mlflow

with mlflow.start_run(run_name="experiment-001"):
    mlflow.log_param("model_type", "xgboost")
    mlflow.log_params(model.get_params())

    # Train and evaluate
    model.fit(X_train, y_train)
    predictions = model.predict(X_test)

    # Log metrics
    mlflow.log_metric("accuracy", accuracy_score(y_test, predictions))
    mlflow.log_metric("f1", f1_score(y_test, predictions))

    # Log model
    mlflow.sklearn.log_model(model, "model")

适用场景

业务分析与洞察
A/B 测试设计与分析
客户分群与 CLV
异常与欺诈检测
实验追踪与对比
数据可视化与 EDA

限制

资料中未提供该技能的收费标准、价格信息、支持的模型或平台范围、安装命令及具体部署方式，这些内容暂未提供。