用途:面向规划 ETL 管道的数据工程师,在抽取前刻画数据源特征,帮助确定抽取方式、增量键与过滤条件。
主要能力: 数据量分析,包括当前行数、历史增长率(需多个快照)、增长预测、峰值与平均量、季节性模式;更新模式分析,包括全量刷新或增量、更新频率(小时/日/周)、批次到达时间、迟到数据窗口;Schema 特征分析,包括列数与类型、可空模式、主键候选、外键关系、Schema 变更历史;数据质量基线,包括各列典型空值率、期望取值范围、基数预期与已知数据问题。
工作流程:盘点源(文件位置或数据库连接、访问方式如 API、文件落地、数据库查询,以及认证要求);对多个时间段采样,识别时间模式;剖析 Schema,记录全部列,区分稳定与易变列,标注计算/派生列;评估质量,建立质量基线并记录已知怪癖与所需转换;记录抽取要求,确定最优抽取方式、增量键列与过滤条件。
输出为源规范文档,示例结构包含 source 基本信息(名称、类型、连接)、extraction(方法、键列、批大小、频率)、schema(各列名称、类型、是否可空、主键/外键、取值枚举、增量键)、volume(当前行数、日增长、高峰时段)、quality(已知问题、各列空值率)、recommendations(抽取与建模建议)。
还支持多源对比分析,比较行数、日增长、键列、连接键与更新延迟,说明关系基数、连接策略与加载顺序;以及 API 源分析,记录 base_url、认证方式、端点路径、方法、分页方式、速率限制、参数、抽取策略、分页大小、同步频率、数据特征与错误处理(重试码、最大重试次数、退避策略)。
限制:资料未提供具体定价、平台支持范围、安装方式与性能指标。实际分析结果依赖可获得的快照数量与源可访问性,历史增长率与季节性模式需多个快照才能得出。