SuperAPI AI 工具集

data-pipeline-manager

数据与分析

查看项目

更新于 10-15 20:31

技能介绍

用途:为设计、实现和排错数据处理管道提供结构化指导,重点是各阶段质量校验、错误处理与可靠性。面向生物信息学和数据科学场景,例如 RNA-seq、ChIP-seq 以及 ETL 工作流;公开资料称其与 bioinformatician、systems-architect 技能协同,填补管道编排、验证与可靠性的中间层。

主要能力:覆盖六阶段流程。设计阶段定义输入输出、转换、依赖与资源,并选择顺序、并行、条件或混合模式并内建可观测性;输入验证覆盖存在性、格式、完整性、schema、编码等预检以及数值范围、必填字段、引用完整性和样本元数据的内容校验,主张快速失败;转换阶段强调阶段隔离、错误处理、进度与资源监控、中间校验和检查点;输出验证检查格式、schema、维度、完整性、数值范围、缺失值和分布,并做回归对比与质量指标统计;错误处理对错误分类,针对瞬态故障使用指数退避重试、限制重试次数、熔断、超时,并记录结构化日志与检查点以支持恢复;监控与告警跟踪阶段进度、处理速率、队列深度、错误率和资源使用,区分失败、退化、数据质量、资源和 SLA 告警。另介绍顺序、并行、条件和混合四种管道模式及其优缺点与实现要点。

使用方式:公开资料未提供安装命令或具体调用步骤。

适用场景:新建基因组或 ETL 管道、调试失败任务、定位数据质量问题、实现重试与断点续跑、优化并行与资源使用。

限制:资料未提供收费、价格、支持平台和实际效果信息;示例代码仅展示片段,未给出完整可用脚本。