SuperAPI AI 工具集

adf-ml-analytics

数据与分析

查看项目

更新于 10-15 23:41

技能介绍

用途:为 Azure Data Factory(ADF)编排机器学习与分析工作流提供模式参考,涵盖从临时数据源(如 Azure SQL Database)抽取数据、归档到 Azure Storage,以及调用 ML 服务进行评分与洞察。

主要能力:按集成模式给出活动类型建议,包括 Azure ML 旧版 SDK v1 的 AzureMLExecutePipeline、SDK v2 批处理终结点(WebActivity)、在线终结点、T-SQL PREDICT、sp_execute_external_script、SQL 到存储归档(Copy/ForEach)、Azure AI Services、Azure OpenAI Batch API、Databricks ML(DatabricksJob)、Data Flow 特征工程,以及端到端 ML 流水线(ExecutePipeline + Switch)。

使用方式:通过 WebActivity 调用批处理终结点并轮询完成;用 Key Vault 管理 API 密钥,用托管标识连接 Azure 服务;归档优先使用 Parquet 与日期分区;复杂训练用 Databricks Job,托管推理用 Azure ML 批处理终结点,LLM 评分用 Azure OpenAI Batch API。详细 JSON 示例见 references/ 目录下四个参考文件。

适用场景:ADF 中 ML 批处理评分、LLM 文本分类与富化、数据库内 ONNX 评分、SQL 数据归档与特征工程。

限制与迁移提示:Azure ML SDK v1 支持于 2026 年 6 月 30 日结束,需迁移到 SDK v2 批处理终结点;azure-ai-inference SDK 于 2026 年 5 月 30 日退役,改用 OpenAI SDK;Azure SQL Edge 已于 2025 年 9 月 30 日退役;Power BI 数据流 AI Insights 已退役;ADF 内 Apache Airflow 已弃用;Azure AI Foundry 更名为 Microsoft Foundry。T-SQL PREDICT 不适用于 Azure SQL Database。具体价格、平台细节与完整步骤暂未提供。