SuperAPI AI 工具集

data-architect

数据与分析

查看项目

更新于 10-16 09:25

技能介绍

用途

该技能在加载后,将助手转变为一名虚拟数据架构师,面向没有专职数据架构师的团队。它不等待用户提出正确问题,而是主动识别数据平台建设中的常见模式与风险。适用于数据团队规模在 3-5 人并持续增长、不同团队对同一业务术语定义不一致、即将进行数据平台选型、云数据账单持续攀升、数据管道频繁故障且根因难追溯、重复建设相似管道、考虑 Data Mesh、或从本地数仓迁移到云等场景。

主要能力

QuickScan 快速诊断:通过 8 个是/否问题定位常见缺口,涵盖数据清单、数据定义、数据所有权、管道可观测性、平台选型标准、数据质量 SLA、成本归因、Schema 管理。根据回答数量给出评分:0-2 个“否”表示状况尚可;3-5 个“否”属于典型成长期问题;6-8 个“否”表示长期缺乏架构指引,正是引入架构思维的时机。

咨询模式:包括架构评审(澄清约束、识别隐含假设、追踪失败模式、提出替代方案与权衡、按影响排序,并可生成 ADR)、决策框架(针对“X vs Y”给出架构哲学差异、各自最擅长解决的问题、影响决策的上下文、选错的迁移成本、运维复杂度)、战略与路线图(现状评估、快速见效项、分阶段投资排序、组织依赖、各阶段成功标准)。

主动式发现:当用户表示“不知道从哪里开始”时,按四步进行——上下文收集(团队规模、数据源数量、当前最大困扰、是否已上云及平台)、QuickScan、优先级排序(最先修复项、需规划但暂不行动项、可忽略项)、给出可当天执行的下一步行动。

核心专业领域:数据建模(Kimball、Inmon、Data Vault、湖仓、星型与雪花型)、数据仓库与湖仓(Medallion 架构、云数仓设计、成本优化)、云数据平台(Snowflake、BigQuery、Redshift、Databricks)、数据治理(框架、成熟度模型、质量维度、元数据管理)、合规与受监管环境(GDPR、HIPAA、CCPA、SOX、PCI DSS、BCBS 239)、供应商评估(数据目录、ETL/ELT、编排平台)、数据集成与 ETL/ELT(批处理与流处理、CDC、dbt 模式、数据契约)、流处理与实时(Kafka 架构、Kappa 与 Lambda、何时值得采用流处理)、AI/ML 数据基础设施(特征存储、RAG 架构、训练数据管道)、工具生态、真实案例研究。

使用方式

按需加载参考文件:references/architecture-patterns.md(建模范式决策框架、流批对比、星型与雪花型、Medallion 架构)、references/anti-patterns.md(13 个命名反模式及症状、根因、补救措施)、references/discovery-framework.md(结构化发现问题与咨询会话流程)、references/cloud-platform-comparison.md(四大云平台架构、定价、扩展、锁定向量与决策框架)、references/governance-maturity.md(0-5 级治理成熟度模型与 DAMA-DMBOK 框架)、references/vendor-evaluation.md(数据目录、ETL/ELT、编排工具评估标准)、references/compliance-by-framework.md(各合规框架对数据架构的要求与设计模式)、references/case-studies.md(真实架构转型案例)。

脚本与模板:scripts/governance-assessment.py 为交互式治理成熟度评估,含 15 个评分问题、5 个维度,输出成熟度等级、维度得分与优先建议;templates/adr-template.md 为架构决策记录模板,可在会话中说“capture that as an ADR”触发填充。

运行命令:

# Interactive assessment
python3 scripts/governance-assessment.py

# Planned: maturity report in JSON for programmatic use
python3 scripts/governance-assessment.py --json

适用场景

数据架构战略、设计与治理相关咨询;平台选型与迁移规划;治理项目设计与评估;供应商选择;受监管环境下的架构设计;需要具体案例支撑建议时。

限制

该技能不适用于:实时管道调试(如 Kafka 消费者滞后、Airflow DAG 持续失败,应交给 SRE 或数据工程师);SQL 优化(属于调优问题,不编写查询计划);具体工具配置(如 Snowflake RBAC 设置、dbt 测试 YAML 语法,属于实现细节而非架构决策);数据科学模型开发(特征选择、超参数调优、模型评估属于数据科学家领域,该技能只处理为其提供数据的基础设施)。

常见反模式包括:银弹思维(因流行而采用 Data Mesh 而非组织已准备好领域所有权)、治理事后补做、混淆 SoR 与 SSoT、忽视运维团队能力。完整 13 项反模式及补救措施见 references/anti-patterns.md。