SuperAPI AI 工具集

light-result-analysis

数据与分析

查看项目

更新于 10-16 06:23

技能介绍

用途:这是 Light 科研流水线的第7节点(结果分析),任务不是描述结果好坏,而是解释「为什么」,把每条可写进论文的论断(claim)绑死到统计证据与证据强度档,并守住 p-hacking 红线(多重比较不校正、选择性报告、HARKing、garden of forking paths)。触发信号:实验跑完要解读结果、问「这些结果说明什么」、要做显著性检验+效应量+置信区间+多重比较校正、要给 claim 定证据强度,或怀疑结果异常。\n\n主要能力:一是统计严谨 critical 门(scripts/stat_rigor_gate.py),编排 BH-FDR 真重算并消费 evidence_contract,产 light.findings.v1 与 evidence_strength.json:多重比较未校正、选择性报告、假设被证否、多种子不稳判 critical;过度解读、效应量缺失判 warn。二是自动统计分析(scripts/analyze_results.py),按正态性与组数自动选检验,给 Cohen's d(Hedges 校正)+ BH-FDR,支持 --paired-by、--slice-by、--emit-claim-table、--emit-evidence。三是结果卡与决策账本门(scripts/result_card_gate.py),把 target、analysis set、missingness、provenance、guardrail、comparison family、阈值、effect、language 绑到一张卡。四是计划审计、方法兼容性、R 交叉核验、泄漏体检(leakage_overfit_check.py)与 SHAP 可解释性(非因果)。\n\n使用方式:脚本在 scripts/ 目录直接调用,先跑 result_card_gate.py,再跑 stat_rigor_gate.py,交由 run_checkpoint.py --stage 7 聚合,critical fail 会 exit 1。若判不支撑假设或不可复现,停下问用户,经 reroute.py 与 passport.py add-back-edge 发起 7→5 或 7→6 回边。Windows 跑前设 PYTHONUTF8=1。\n\n适用场景与限制:适合需要统计严谨与证据强度分档的实验结果解读。限制方面,机检只给「统计上站不站得住」的必要条件,不证明结论正确或因果成立;方法兼容门依赖诚实声明;隐性多重比较测不全;证据分档只吃统计强度,未做完整 GRADE。未提供的信息暂未提供。