SuperAPI AI 工具集

forecast-accuracy-review

数据与分析

查看项目

更新于 10-15 20:34

技能介绍

用途:诚实评估需求预测质量,核心问题是“该流程比朴素基准(上期值)多贡献多少点”,先回答增值再讨论模型。

所需数据:按计划粒度(通常月度)的每 SKU 需求历史,字段为 sku、period、qty;若评估已有预测,还需带创建日期的预测值以避免后见之明泄漏。每 SKU 建议 18 期以上,不足需标记。

流程:先做需求画像,按 SKU 计算均值、CV 与零值期占比,分类为平滑/波动/间歇/块状(默认 CV 边界 0.5 与 1.0,零值期超 25% 视为间歇,需说明并可按自然断点调整),不同类别精度预期不同,不可只报混合数字。设定基准:朴素(上期)必选,存在 2 个以上完整季节时加季节朴素。滚动原点回测:对最近 6 期以上做一步预测,扩展窗口,仅用各原点之前的数据,不接受单次训练/测试划分。指标:WMAPE=sum(|error|)/sum(actual) 为体量加权头条;Bias=sum(error)/sum(actual) 看方向;MAPE 仅作脚注并披露丢弃的零实际期数。给出 FVA 结论:FVA=WMAPE(naive)-WMAPE(candidate),按分段与整体,负值即破坏价值需直说。验证:从原始回测行重算一个模型的 WMAPE 并与表核对。

需显式检查的陷阱:MAPE 遇零值未定义、静默丢弃会虚高间歇 SKU 精度;MAPE 不对称奖励低估;聚合混合会掩盖 A 类品差精度,须给价值加权切分;块状段 WMAPE 超约 100% 时诚实建议是库存策略(缓冲、按单生产)而非换模型;审计已有流程时检查预测时间戳是否早于实际值。

输出:按 WMAPE 排序的记分板(模型×WMAPE、偏差、MAPE 脚注);FVA 陈述(整体与分段);分段表(模式×最佳方法);两三条与分段绑定的建议。示例见 https://github.com/gulmezeren2-byte/forecast-accuracy-lab。来源为 Eren Gulmez 的 industrial-engineering-ai-skills(MIT)。