SuperAPI AI 工具集

discover-data

数据与分析

查看项目

更新于 10-16 01:25

技能介绍

用途:discover-data 是数据类技能的自动发现网关,当工作内容涉及 ETL、数据管道、流处理、批处理、数据校验、编排、Airflow、timely dataflow、differential dataflow、流式聚合、窗口化或实时分析时自动激活,帮助按需加载对应技能。

主要能力:数据类别共含 9 项技能——batch-processing(带依赖的复杂数据管道编排)、data-validation(处理前校验数据模式)、dataflow-coordination(分布式数据流系统协调模式)、differential-dataflow(增量更新与高效连接的差分计算)、etl-patterns(多源数据抽取设计)、pipeline-orchestration(多步骤数据工作流协调)、stream-processing(Kafka、Flink 实时事件流处理)、streaming-aggregations(窗口化、会话化、时间序列聚合)、timely-dataflow(带进度跟踪的低延迟流式计算)。

使用方式:采用渐进式加载。第一层网关自动加载;第二层执行 Read ../data/INDEX.md 获取完整类别索引,含详细描述、触发条件、常见工作流组合与交叉引用;第三层按需加载单个技能,例如传统 ETL/批处理执行 Read ../data/batch-processing.md、Read ../data/data-validation.md、Read ../data/etl-patterns.md、Read ../data/pipeline-orchestration.md;流处理执行 Read ../data/stream-processing.md、Read ../data/streaming-aggregations.md;高级数据流系统执行 Read ../data/timely-dataflow.md、Read ../data/differential-dataflow.md、Read ../data/dataflow-coordination.md。

常见组合:实时分析管道组合 stream-processing、streaming-aggregations、dataflow-coordination;增量计算系统组合 timely-dataflow、differential-dataflow、dataflow-coordination;批流混合组合 batch-processing、stream-processing、pipeline-orchestration。

限制:资料未提供具体实现细节、依赖版本、收费或平台支持信息,需加载对应技能文件后确认。