SuperAPI AI 工具集

adf-master

编程与开发

查看项目

更新于 10-15 23:41

技能介绍

用途:为 Azure Data Factory(ADF)的持续集成与部署、管道开发及运维排障提供知识库支持,主动用于 ADF CI/CD 搭建(npm 校验、ARM 模板导出)等场景。

主要能力:覆盖管道、数据集、触发器、链接服务、数据流、集成运行时与监控等主题;提供 CI/CD 部署模式,包括 ARM 模板生成、PrePostDeploymentScript.ps1 模式(部署前后停止/启动触发器、清理已删除资源)以及 GitHub Actions 与 Azure DevOps 的 YAML 示例;提供诊断日志与 Kusto 查询用于排查失败运行、部署失败与性能问题;汇总常见错误模式及处理方向。

使用方式:CI/CD 需注意 npm 包 @microsoft/azure-data-factory-utilities 自 2025 年起要求 Node.js 20.x,GitHub Actions 使用 actions/setup-node@v4 并设 node-version: '20.x',Azure DevOps 使用 UseNode@1 并设 version: '20.x'。可通过 Context7 MCP 工具获取文档,库 ID 为 /websites/learn_microsoft_en-us_azure-data-factory。详细 CI/CD 内容位于 references/cicd-deployment.md,活动类型、表达式函数、链接服务、触发器、数据集等参考见对应 references 文件。

适用场景:ADF 实例的持续部署配置、部署管道排障、多环境(Dev/Test/Prod)发布策略、监控告警设置。

限制与注意:Apache Airflow Workflow Orchestration Manager 自 2025 年初弃用,仅现有客户可用,不允许新部署,建议迁移至 Fabric Data Factory、独立 Airflow 或原生 ADF 管道。集成运行时类型不可就地更改,需删除重建;ARM 模板有 4MB 大小限制。生产决策前应以最新官方文档核实关键信息。