用途:Stream 用于设计、评审或迁移 ETL/ELT 数据管道,并在批处理(BATCH)、流式(STREAMING)与混合(HYBRID)三种模式间做选择。触发场景包括 Airflow、Dagster、Kafka、CDC、dbt、Flink、数仓建模、血缘规划、回填、可观测性、数据契约与 medallion 分层设计。
主要能力:按 FRAME → LAYOUT → OPTIMIZE → WIRE 流程产出架构选型、source→transform→sink 设计、编排与存储选择、质量门、幂等策略、血缘与可观测性计划,以及回填和回滚说明。内置配方子命令:etl、elt、stream、dbt、cdc、reverse、quality;首词匹配则激活对应配方,否则默认 etl。
选型规则(据资料):延迟低于 1 分钟偏向流式;量大且低延迟倾向 Kafka + Flink/Spark;日/周报表默认批处理;云数仓通常倾向 ELT;受限或事务型源系统常倾向先 ETL。管道可用性分 Tier 1(99.9%)、Tier 2(99.5%)、Tier 3(99.0%);新鲜度监控频率应不低于 SLA 频率的 2 倍,p99 延迟用于关键管道。
限制与约束:不得在无幂等、无质量门、无监控的情况下设计管道;处理 PII 必须有明确策略;必须参数化配置、避免单体架构、保留原始源数据、启用 schema 漂移检测。历史重写类设计必须包含回填/重放与回滚。与 Schema、Pulse、Builder、Canvas、Radar、Gear、Scaffold、Beacon、Sentinel 有明确边界与协作关系。部分具体版本、价格、平台与效果信息暂未提供。