用途:把 HubSpot CRM 数据(联系人、公司、交易及关联)抽取并加载到 BigQuery、Snowflake 或 Postgres,供分析与报表使用。技能重点不是连接器演示,而是生产环境下的抽取与加载代码。
主要能力:针对六类生产故障提供处理思路——用令牌桶限流控制每日调用预算,避免回填耗尽配额;用游标分页与检查点实现可恢复的全量回填;用两遍增量轮询分别处理属性变更与关联变更(hs_lastmodifieddate 不覆盖关联变化);通过属性 API 与仓库列对比检测模式漂移并生成 ALTER TABLE;以 id 为 upsert 键、经暂存表合并避免重试产生重复行;关联数据单独批量拉取,避免内联导致大响应超时。
使用方式:需 Python 3.10+、HubSpot 私有应用令牌(含联系人/公司/交易/关联/模式读取权限)、目标仓库凭据,以及 requests、pandas、pyarrow 和对应仓库驱动。按限流、回填、增量、模式校验、upsert、关联拉取顺序构建。
限制:资料未提供完整代码与各仓库实现细节,仅指向 references/warehouse-upsert-patterns.md;未说明收费、价格或平台支持范围。