SHAP 技能总览
SHAP（SHapley Additive exPlanations）是一套基于合作博弈论中 Shapley 值来统一解释机器学习模型输出的方法。该技能为以下任务提供全面指导：为任意模型类型计算 SHAP 值；创建可视化图表以理解特征重要性；调试与验证模型行为；分析公平性与偏差；在生产环境中实现可解释 AI。SHAP 适用于所有模型类型，包括树模型（XGBoost、LightGBM、CatBoost、Random Forest）、深度学习模型（TensorFlow、PyTorch、Keras）、线性模型以及黑盒模型。
适用触发场景
当用户询问以下内容时可触发本技能：解释模型中哪些特征最重要；生成 SHAP 图表（waterfall、beeswarm、bar、scatter、force、heatmap 等）；为什么模型做出某个预测；为模型计算 SHAP 值；用 SHAP 可视化特征重要性；调试模型行为或验证模型；检查模型偏差或分析公平性；比较不同模型的特征重要性；实现可解释 AI 或为模型添加解释；理解特征交互；创建模型解释仪表板。
快速开始
第一步：选择合适的解释器。树模型使用 shap.TreeExplainer（快速、精确）；深度神经网络使用 shap.DeepExplainer 或 shap.GradientExplainer；线性模型使用 shap.LinearExplainer（极快）；其他模型（SVM、自定义函数、黑盒模型）使用 shap.KernelExplainer（模型无关但较慢）；不确定时使用 shap.Explainer（自动选择最佳算法）。详见 references/explainers.md。
第二步：计算 SHAP 值。以树模型为例，训练模型后创建解释器 explainer = shap.TreeExplainer(model)，再计算 shap_values = explainer(X_test)。返回对象包含 values（特征归因）、base_values（预期模型输出基线）、data（原始特征值）。
第三步：可视化结果。全局理解使用 beeswarm 图（展示特征重要性与取值分布）与 bar 图（简洁的特征重要性摘要）；单条预测使用 waterfall 图（单个预测的详细分解）与 force 图（加性力图）；特征关系使用 scatter 图（特征与预测的关系），并可用另一特征着色以展示交互。详见 references/plots.md。
核心工作流
工作流一：基础模型解释——理解驱动模型预测的因素。步骤为训练模型并创建合适解释器、为测试集计算 SHAP 值、生成全局重要性图（beeswarm 或 bar）、检查顶部特征关系（scatter）、解释特定预测（waterfall）。
工作流二：模型调试——识别并修复模型问题。步骤为计算 SHAP 值、识别预测错误、解释误分类样本、检查意外的特征重要性（数据泄漏）、验证特征关系是否合理、检查特征交互。详见 references/workflows.md。
工作流三：特征工程——利用 SHAP 洞见改进特征。步骤为为基线模型计算 SHAP 值、识别非线性关系（可考虑变换）、识别特征交互（可考虑交互项）、构造新特征、重新训练并比较 SHAP 值、验证改进效果。
工作流四：模型比较——比较多个模型以选择最佳可解释方案。步骤为训练多个模型、为每个计算 SHAP 值、比较全局特征重要性、检查特征排名一致性、分析不同模型对特定预测的表现、基于准确度与可解释性及一致性做出选择。
工作流五：公平性与偏差分析——检测并分析模型在不同人群间的偏差。步骤为识别受保护属性（性别、种族、年龄等）、计算 SHAP 值、比较不同群体的特征重要性、检查受保护属性的 SHAP 重要性、识别代理特征、发现偏差时实施缓解策略。
工作流六：生产部署——将 SHAP 解释集成到生产系统。步骤为训练并保存模型、创建并保存解释器、构建解释服务、创建带解释的预测 API 端点、实现缓存与优化、监控解释质量。
关键概念
SHAP 值：量化每个特征对某条预测的贡献，以相对预期模型输出（基线）的偏离来度量。其性质包括加性（SHAP 值之和等于预测与基线的差值）、公平性（基于博弈论 Shapley 值）、一致性（某特征变得更重要时其 SHAP 值增加）。解释方式：正 SHAP 值表示该特征推动预测升高，负值表示推动预测降低；数值大小表示影响强度；SHAP 值之和表示相对基线的总预测变化。例如基线为 0.30，特征贡献分别为 Age +0.15、Income +0.10、Education -0.05，则最终预测为 0.30 + 0.15 + 0.10 - 0.05 = 0.50。
背景数据/基线：代表“典型”输入以建立基线预期。选取方式为从训练数据随机抽样（50-1000 个样本），或使用 kmeans 选取代表性样本；对 DeepExplainer/KernelExplainer 而言，100-1000 个样本可在准确度与速度间取得平衡。基线会影响 SHAP 值的量级但不影响相对重要性。
模型输出类型：需了解模型输出的是原始输出（回归或树模型 margin）、概率（分类概率）还是对数几率（logistic 回归在 sigmoid 之前）。例如 XGBoost 分类器默认解释 margin 输出（对数几率）；若要解释概率，可在 TreeExplainer 中使用 model_output="probability"。
常见模式
模式一：完整模型分析——先创建解释器并计算 SHAP 值，再生成 beeswarm 与 bar 全局重要性图，然后对顶部特征逐一生成 scatter 图，最后对若干条样本生成 waterfall 图。
模式二：群组比较——按群组掩码切分数据，用 bar 图对比不同群组的特征重要性。
模式三：调试错误——找出预测错误的样本索引，对错误样本生成 waterfall 图并查看可疑特征的 scatter 图。
性能优化
解释器速度由快到慢依次为：LinearExplainer（几乎瞬时）、TreeExplainer（非常快）、DeepExplainer（对神经网络快）、GradientExplainer（对神经网络快）、KernelExplainer（慢，仅在必要时使用）、PermutationExplainer（非常慢但精确）。优化策略：对大数据集可只对子集计算 SHAP 值或分批计算；可视化时可对图表使用子集抽样、调整散点透明度；生产环境可缓存解释器（使用 joblib.dump/load）、为批量预测预计算、仅在 API 响应中计算前 N 个特征。
故障排查
解释器选择错误：对树模型误用 KernelExplainer（慢且不必要），应始终对树模型使用 TreeExplainer。背景数据不足：DeepExplainer/KernelExplainer 背景样本过少，应使用 100-1000 个代表性样本。单位混淆：把对数几率当作概率解释，应检查模型输出类型。图表不显示：Matplotlib 后端问题，应确保后端设置正确，必要时使用 plt.show()。特征过多导致图表杂乱：默认 max_display=10 可能不合适，应调整该参数或使用特征聚类。计算缓慢：对超大数据集计算 SHAP 慢，应抽样、分批或确保使用专用解释器而非 KernelExplainer。
与其他工具的集成
Jupyter Notebooks：交互式 force 图可无缝工作，默认 show=True 内联显示图表，可与 markdown 结合做叙述性解释。MLflow/实验追踪：可在运行中记录图表与特征重要性指标。生产 API：可构建 ExplanationService 类，加载模型与解释器，返回预测、base_value 与各特征贡献。
参考文档
本技能包含按主题组织的参考文档。references/explainers.md 涵盖所有解释器类（TreeExplainer、DeepExplainer、KernelExplainer、LinearExplainer、GradientExplainer、PermutationExplainer）的构造参数、方法、支持模型、使用场景、示例与性能考量。references/plots.md 涵盖 waterfall、beeswarm、bar、scatter、force、heatmap、violin、decision 等图表的参数、用例、示例、最佳实践与选图指南。references/workflows.md 涵盖基础解释、调试验证、特征工程、模型比较、公平性偏差分析、深度学习解释、生产部署、时间序列解释、常见陷阱与高级技术与 MLOps 集成。references/theory.md 涵盖博弈论 Shapley 值、数学公式与性质、与其他解释方法（LIME、DeepLIFT 等）的关系、SHAP 计算算法（Tree SHAP、Kernel SHAP 等）、条件期望与基线选择、SHAP 值解释、交互值以及理论局限。加载参考文件时可使用 Read 工具，路径如 /path/to/shap/references/explainers.md 等。
最佳实践摘要
选择合适解释器：尽可能使用专用解释器（TreeExplainer、DeepExplainer、LinearExplainer），避免不必要的 KernelExplainer。先全局后局部：先用 beeswarm/bar 图获得整体理解，再用 waterfall/scatter 图深入细节。使用多种可视化：不同图表揭示不同洞见，结合全局、局部与关系视图。选择合适的背景数据：使用 50-1000 个训练数据代表性样本。理解模型输出单位：明确解释的是概率、对数几率还是原始输出。用领域知识验证：SHAP 展示模型行为，需用领域专业知识解释与验证。为性能优化：可视化抽样、大数据集分批、生产环境缓存解释器。检查数据泄漏：异常高的特征重要性可能预示数据质量问题。考虑特征相关性：对冗余特征可使用 TreeExplainer 的相关性感知选项或特征聚类。牢记 SHAP 展示的是关联而非因果，需结合领域知识判断。