该技能是一套面向分析型数据系统的专家规则集,用于构建和审计数据管道、流处理、数仓、湖仓存储、数据质量与运维。OLTP 模式与查询索引由 sota-databases 负责,事件驱动的 outbox 模式见 sota-architecture,背压机制见 sota-async-concurrency,PII 处理见 sota-privacy-compliance。
使用分两种模式,按意图选择,并只加载任务需要的 rules/ 文件。
BUILD 模式:用于设计或实现管道、模型、流处理任务或存储布局。先评估问题规模,读 rules/01-architecture-and-modeling.md 再选工具,默认用单机 DuckDB/Polars 而非分布式引擎,ELT 进入数仓/湖仓。幂等性是首要原则,任何任务在任意区间重跑结果一致,禁止盲目追加,先定写入策略再做转换逻辑(rules/02-pipelines-and-orchestration.md)。除消费方需亚分钟数据外一律批处理,流处理需书面论证(rules/03-streaming-and-cdc.md)。质量检查随管道上线,新模型需新鲜度、量级、唯一性、非空检查并分级(rules/04-data-quality-and-contracts.md)。建表时决定物理布局(rules/05-storage-and-performance.md),交付时具备可运维性(rules/06-operations-and-governance.md)。
AUDIT 模式:用于审查现有仓库、dbt 项目、流拓扑或数仓。步骤为:盘点编排与调度配置、转换工具、存储格式、流组件、质量工具与环境;读取真实 DAG/模型而非 README;加载对应规则文件;对照真实代码/配置/SQL 核实;按严重程度报告。严重度分 CRITICAL(数据损坏或静默错误)、HIGH(可能事故或无界成本)、MEDIUM(侵蚀信任与效率)、LOW(卫生问题),报告含 Where、Evidence、Impact、Fix 字段。
该技能列出十条不可妥协项,包括幂等、无静默失败、合理选型、按水位增量、向后兼容的 schema 变更、分级质量检查、流处理书面论证、端到端精确一次、禁止跨层 SELECT *、表从第一天起维护。具体价格、平台支持及限制暂未提供。