SuperAPI AI 工具集

spark-cli

数据与分析

查看项目

更新于 10-16 00:31

技能介绍

spark-cli 是 Microsoft Fabric Spark 的 CLI 技能,采用模式分发(mode dispatcher),本身不含具体操作步骤,需先选择模式,再完整读取对应的 references/<mode>.md 文件后执行命令。

用途与模式:authoring 用于编写笔记本单元格代码(PySpark、Scala、SparkR、%%sql、%%configure)、按名称运行笔记本、编写或审查 Materialized Lake View 定义;consumption 用于在 Lakehouse 的 Livy 会话中运行交互式即席 PySpark;operations 用于诊断失败、不健康、被限流或缓慢的 Spark 笔记本/管道/Livy 运行;mlv 用于发现或操作已有 MLV,包括调度、按需刷新、运行历史、取消与失败分类。模式由产物和结果决定,而非语言:笔记本单元格始终是 authoring(即使为 %%sql),Livy 会话始终是 consumption,失败或异常运行属于 operations。

使用方式:先解析工作区与条目 ID(通过列出并使用 JMESPath 过滤,不可猜测 GUID);所有对 api.fabric.microsoft.com 的调用必须携带遥测头 x-ms-fabric-skill: spark-cli,az rest 用法为 --headers "x-ms-fabric-skill=spark-cli",每次 LRO 轮询、fabric_lro 和重试均需包含。变更类模式以一次状态变更调用收尾,例如现有笔记本保存单元格用 POST .../notebooks/{id}/updateDefinition,新笔记本先 POST /v1/workspaces/{ws}/items,运行请求通过 Jobs API 触发;MLV 按需刷新用 POST /v1/workspaces/{ws}/lakehouses/{lakehouse}/jobs/refreshMaterializedLakeViews/instances。consumption 与 operations 为只读模式。

限制:不要从分派器直接操作;Eventhouse/KQL materialized view 请求必须路由至 eventhouse-cli,若该技能不可用则声明无法在当前技能上下文中完成并停止,不得调用 Fabric API 或创建产物;只读的 T-SQL 查询属于 sqldw-cli。模糊请求需先澄清产物、来源、目标与结果。具体端点、载荷结构与模板暂未提供,需读取对应参考文件。