SuperAPI AI 工具集

scienceclaw-benchmark-for44

数据与分析

查看项目

更新于 11-02 04:42

技能介绍

用途

scienceclaw-benchmark-for44 用于在 ACIC-2016 风格的模拟观测数据上估计处理效应。任务输入包括:一张协变量表(数值与类别混合,所有数据集使用相同单位),以及每个数据集 j 的一个 0/1 处理向量 z_j 和一个结果向量 y_j(数组形状为 (n_datasets, n_units))。交付物是一个有限的一维数组,每个数据集一个估计值,单位为结果变量单位。估计目标是 SATT,即该数据集处理组单位上 mu1 - mu0 的均值;反事实从不提供。

主要能力

质量指标为 sqrt(mean_j(((tau_hat_j - SATT_j) / sd(y_j))^2)),其中 sd(y_j) 是观测结果的样本标准差(ddof 1),越低越好。基线是 y ~ 1 + z + X 中 z 的 OLS 系数;原始均值差存在混杂。

工具从 scilib 导入 causal,无需预训练权重。

  • estimate_effects(cov, treatment, outcome, methods=("impute_lgbm", "xlearner_lgbm"), estimand="att", cap=4.0, combine="mean"):每个数据集返回一个估计值;非有限值回退到 OLS,估计值被裁剪到 ±cap*sd(y);combine 可选 mean 或 median。
  • causal.METHODS:包含 diff_means、regression_adjustment、<impute|tlearner|xlearner|aipw>_<ridge|hgb|hgb3|lgbm|rf|extra|ridge_hgb>、ipw_logit、ipw_hgb,以及安装 stochtree 后的 bart/bcf(较慢:约 4,800 单位 × 80 列的数据集每个需数十秒,因此应跨节点拆分;保持默认链,burn-in 300 / draws 1000,因为更短的链可能未收敛)。
  • 算子 causal_effect_estimate、causal_effect_bayesian_forest。
  • design_matrix(cov)、overlap_report(X, z)、get_method(name, estimand)(X, z, y) 返回 Effect(tau, se)。

可见数据验证:validate_methods(cov, treatment, outcome, methods) / semi_synthetic_check:使用已知效应加上置换处理安慰剂的插件式模拟。它偏好接近其表面学习器的方法;用它来排序,而不是认证。

使用方式

路线方面,结果模型估计器(使用提升树的插补或 X-learner;BART/BCF)通常是 ACIC 风格数据上的强选择;两者的均值或中位数较为稳健。仅倾向得分加权通常较弱。

规则:

  • 仅使用协变量、z 和 y;绝不读取 oracle、mu0/mu1 或真值文件。
  • 匹配估计目标(att)。在信任权重之前检查重叠;估计值达到数个 sd(y) 表明失败。
  • 数据集共享单位和协变量,因此它们不是独立样本。
  • 输出:一维,长度等于数据集数量,有限。

适用场景

适用于需要在一组共享协变量的模拟观测数据集上批量估计处理效应(SATT)的场景,尤其是 ACIC-2016 风格的基准测试。

限制

反事实从不提供;仅可使用协变量、z 和 y,不得读取 oracle、mu0/mu1 或真值文件。数据集共享单位和协变量,不是独立样本。BART/BCF 方法较慢,需要跨节点拆分,且需保持默认链设置以避免未收敛。仅倾向得分加权通常较弱。验证工具偏好接近其表面学习器的方法,只能用于排序而非认证。