SuperAPI AI 工具集

azure-data-factory

数据与分析

查看项目

更新于 10-15 09:33

技能介绍

Azure Data Factory Skill 是微软文档代理技能集合中的一个技能,专门为 Azure Data Factory 的开发工作提供专家级指导。该技能覆盖范围包括故障排查、最佳实践、决策参考、架构与设计模式、限制与配额、安全性、配置、集成与编码模式以及部署等主题。它采用本地快速参考内容与远程文档抓取能力相结合的方式,帮助使用者快速定位并解决实际问题。

用途方面,该技能面向需要在 Azure Data Factory 中进行数据集成、管道编排、数据流开发、连接器配置以及运行时管理的开发人员或代理场景。它既能用于日常开发中的配置参考,也能用于故障诊断与迁移规划等任务。

主要能力方面,技能内容按类别组织,并提供分类索引。故障排查类覆盖连接器与格式错误、变更数据捕获(CDC)、管道、触发器、数据流、自承载集成运行时(SHIR)与 SSIS 集成运行时(SSIS IR)、性能、安全性以及已知问题,并给出具体错误模式与应对措施。最佳实践类包括性能调优、架构漂移与错误处理、可复用模式以及针对映射数据流、复制活动、运行时和 Data Lake 写入的迁移实践。决策参考类涉及成本、架构与迁移决策,例如选择集成运行时与计算资源、管理连接器升级、规划 ADF/Synapse 向 Fabric 或 SSIS 向 ADF 的迁移,以及优化定价与容量。架构与设计模式类提供高效映射数据流、元数据驱动复制、配合 SQL MI/故障转移/VNet 的 SSIS IR、Cosmos DB 迁移以及 SAP CDC 设计等架构。限制与配额类涉及 Until/Wait 活动限制与超时配置、数据流预留折扣以及服务配额与容量约束。安全性类覆盖身份验证、角色、加密、Key Vault、托管标识、VNet 与专用终结点、防火墙与策略配置,以及访问 SQL、Purview 和 SSIS IR 的安全方式。配置类涵盖集成运行时、SSIS/SHIR、触发器、监控与日志、复制与数据流、格式与连接器、参数与表达式,以及管道与控制活动。集成与编码模式类提供连接多种数据源(SAP、SaaS 应用、数据库、文件)的模式与操作指南,使用映射数据流函数、运行 SSIS、执行 Databricks/ML/Synapse 作业以及管道模板。部署类涉及 ADF 的 CI/CD 与部署,包括 ARM 与链接模板、Azure DevOps 管道、热修复流程、前后置脚本、SSIS 作业迁移以及集成运行时安装与迁移。

使用方式方面,技能说明中强调代理应使用分类索引定位相关章节:对于标注行范围(如 L35-L120)的类别,使用 read_file 读取指定行;对于以文件链接形式给出的类别(如 security.md),对链接的引用文件使用 read_file。若 metadata.generated_at 的时间超过三个月,建议用户从仓库拉取最新版本。若 mcp_microsoftdocs 工具不可用,建议用户安装(说明中指向 Installation Guide)。该技能需要网络访问以获取文档内容,首选方式是使用 mcp_microsoftdocs:microsoft_docs_fetch 并携带查询字符串 from=learn-agent-skill,返回 Markdown;回退方式是使用 fetch_webpage 并携带查询字符串 from=learn-agent-skill&accept=text/markdown,同样返回 Markdown。

适用场景包括 Azure Data Factory 的开发配置、连接器与数据流故障排查、性能优化、安全与访问控制配置、迁移评估与规划、CI/CD 部署等。限制方面,技能本身依赖网络访问远程文档;本地内容的时效性受元数据生成时间影响,超过三个月需拉取最新版本;文档抓取依赖指定的工具或回退抓取方式,若工具不可用则需用户安装后使用。