用途:抓取并解析美国农业部(USDA)每月发布的 WASDE 报告,提取主要商品的供需平衡数据,输出标准化、可版本化的数据集,作为即时预测的锚定基准。涵盖谷物(小麦、玉米、稻米、大麦、高粱、燕麦)、油籽(大豆、豆油、豆粕)、棉花(陆地棉、比马棉)、畜产品(牛肉、猪肉、禽肉、蛋、乳品)与糖,区分美国与全球口径。
主要能力:提供 Ingest(抓取解析单份或多份报告)、Backfill(批量回补历史数据)、Validate(校验现有数据与最新报告一致性)、Configure(配置商品范围与输出路径)四类操作。所有供需表遵循统一平衡公式 Ending Stocks = Beginning Stocks + Production + Imports - Total Use - Exports。解析优先采用 PDF 结构化解析,HTML 表格为 fallback,TXT 固定宽度为 legacy。使用 content_hash 追踪数据变化,revision_flag 标记修正值。通过平衡公式与合理性检查验证,失败模式有对应缓解策略。
使用方式:CLI 如 macro-skills wasde ingest --commodities=all --out=./data、macro-skills wasde backfill --commodity=soybeans --months=24 --out=./data、macro-skills wasde validate --data-dir=./data;库方式通过 from macro_skills.wasde import WASDEIngestor 构造实例并调用 ingest_latest()。输出目录分 raw、intermediate、curated 三层,最终产出标准化 Parquet 数据集并生成 ingest_status 报告。
限制:仅处理 USDA WASDE 报告,单位与商品范围以报告为准;畜产品仅美国、糖仅美国与墨西哥;需依赖报告 PDF/HTML 可及性;具体收费、价格与授权信息暂未提供。