用途
该技能用于华为云侧数据同步管道的规划与产品选型。它面向已有数据同步链路的用户，通过收集源端、目标端、同步模式、数据量、频率、延迟要求等信息，识别现有管道，区分实时集成与批量离线集成，匹配华为云数据同步产品（DataArts Studio、DRS、DLI-Flink、DIS、DMS Kafka、OMS 等），并输出完整的数据同步链路方案与产品选型报告。
主要能力
- 管道识别：收集每条数据同步管道的源数据源类型、精确版本号、部署模式、目标数据源、同步模式、日同步数据量、同步频率、延迟要求、现有工具等信息。
- 实时/离线分类：依据延迟要求、触发方式、数据特征等核心准则，判断管道属于实时还是离线集成，并给出分类理由。
- 产品能力匹配：根据源端/目标端数据源类型与集成模式匹配华为云产品，并在匹配后验证源端读取能力与目标端写入能力（含版本可行性检查）。
- 方案设计：为每条管道设计华为云侧同步方案，包括推荐产品与备选、链路拓扑、集成模式、配置建议（含实例规格结论）、前提条件与约束。
- 报告输出：生成结构化 Markdown 报告（5 个部分），并可进一步生成多 Sheet Excel 报告（源端数据链路、华为云侧同步链路、无法直接对标方案）。
使用方式
技能工作流分为六个阶段：
- 管道识别：收集现有数据同步管道完整信息，需确认源端版本号、日同步数据量、延迟要求等必填参数。
- 实时/离线分类：根据延迟要求（秒级→实时，小时级→离线）、触发模式（事件驱动→实时，定时→离线）等 5 步分类算法进行判断。
- 产品能力匹配：匹配 DataArts Studio 离线作业/CDM 作业/实时作业（迁移）、DRS、DLI-Flink、DIS、DMS Kafka、OMS 等产品，并执行读写矩阵验证。
- 方案设计：按 7 步方案设计算法输出每条管道的华为云侧同步方案，含实例规格推导（CDM 规格/迁移 CU 档位）。
- 报告输出：生成 Markdown 格式报告。
- Excel 报告生成：将调查结果写入 report.json，运行脚本生成多 Sheet Excel 报告。
前置条件：Python3 + openpyxl（pip install openpyxl），用于生成多 Sheet Excel 报告；可访问华为云 DataArts Studio 与 DRS 文档以确认数据源支持状态与实时复制能力。
核心命令：
# 根据调查结果生成报告（推荐）
python scripts/generate_datasync_report.py --input report.json
# 使用内置示例数据生成演示报告（无 --input）
python scripts/generate_datasync_report.py
输出文件命名：DataSync_Pipeline_Report_<YYYYMMDD>.xlsx
适用场景
- 已有数据同步链路的用户需要规划迁移至华为云的数据同步方案。
- 需要区分实时与离线集成场景，并进行产品选型。
- 需要生成结构化的数据同步链路规划报告与 Excel 报告。
- 多条管道统一规划，识别可共享的产品资源。
限制与注意事项
- DRS 目标库限制：DRS 自 2025-08-31 起停止销售以 GaussDB(DWS)/CSS(ES) 为目标数据库的新链路；同步至 DWS 统一走 DataArts Studio（离线用 CDM/离线作业，实时用迁移）。
- Kerberos 限制：MRS 集群 Kerberos 加密类型 "aes256-sha2,aes128-sha2" 不被 CDM 支持。
- 存算分离限制：CDM 仅支持 MRS Hive 和 MRS Hudi 的存算分离场景。
- Ranger 限制：CDM 仅支持 MRS Hive 的 Ranger 场景。
- OBS 到 OBS 迁移：对象存储之间迁移建议使用 OMS 而非 CDM。
- 自建 MPP 数据库：自建 Doris/StarRocks 等 MPP 分析型数据库不属于关系型数据库源，不能套用 MySQL→DWS 链路。
- 实例规格不可变更：CDM 与迁移规格创建后不可修改，选型时需充分评估并发与表数量需求。
- 读写矩阵未覆盖格式：遇到读写矩阵未列出的数据格式时，声明不在已知矩阵内并推荐最接近的替代方案。
- 功能边界：仅覆盖数据同步全流程规划（管道识别→分类→产品匹配→方案设计→报告），不包含同步实施与运维。
- 必填参数：源数据源类型+版本+部署、目标数据源、同步模式、日同步数据量、同步频率、延迟要求、现有工具均为必填；延迟要求未指定时必须主动询问。
暂未提供
该技能的具体收费模式、价格、平台限制等信息暂未提供。