spark-authoring-cli

用途：面向 Microsoft Fabric 的 Spark 与数据工程开发，覆盖两块内容：一是通过 REST API 管理 Fabric Spark 工件（工作区、湖仓、笔记本、作业、管道）；二是在 Fabric 笔记本单元格中编写代码（PySpark、Scala、SparkR、SQL，含湖仓访问、notebookutils 与 Spark 配置）。编写笔记本代码前须先阅读 SPARK-NOTEBOOK-AUTHORING-CORE.md。\n\n主要能力：按工作区名或项名、项类型查找工作区与项（先列出再用 JMESPath 过滤）；认证与令牌获取、分页、长时运行操作（LRO）、限流与节流、OneLake 数据访问、定义封装与按项类型的定义、作业执行与调度、容量管理、故障排查与最佳实践；笔记本 API 读写（getDefinition 与 updateDefinition、Base64 编解码、单元格插入替换）、notebookutils.notebook.runMultiple(DAG) 并行编排、默认湖仓绑定、公共 URL 数据接入；湖仓管理、笔记本执行与作业管理、CI/CD、IaC、性能优化、运行时 2.0 特性（NEE、Efficient Scaledown、Liquid Clustering、Spark 4.1）；数据工程模式、Delta Lake 最佳实践、质量控制、开发工作流、基础设施编排、物化湖视图（MLV）设计等。\n\n必要用法与强制要求：每次调用 api.fabric.microsoft.com 必须携带 x-ms-fabric-skill: spark-authoring-cli（az rest 使用 --headers "x-ms-fabric-skill=spark-authoring-cli"），包括每次 LRO 轮询、fabric_lro 和重试；代码片段虽省略也需自行添加。每个会话首次使用本技能时须先运行 check-updates 技能（GitHub Copilot CLI / VS Code 调用该技能；Claude Code / Cowork / Cursor / Windsurf / Codex 则比较本地与远程 package.json 版本），同一会话已检查过则跳过。az rest 必须传 --resource https://api.fabric.microsoft.com，否则失败；OneLake 数据访问须用 storage.azure.com 令牌而非 Fabric 令牌；笔记本单元格每行须以 \n 结尾；作业调度 URL 为 /jobs/{jobType}/schedules，endDateTime 必填。\n\n限制与注意：作业前检查近 5 分钟是否有运行实例，避免重复提交；POST 后立即记录作业实例 ID，禁止对同一参数重试 POST；提交前验证工作区已分配并激活容量；不要硬编码工作区/湖仓 ID；运行笔记本用 Jobs API（RunNotebook），不要用 Lakehouse Livy 会话；%%sql 等笔记本单元格由本技能负责，普通 T-SQL 查询走 sqldw-consumption-cli；MLV 刷新调度走 mlv-operations-cli，笔记本内 REFRESH 仅限一次性手动刷新。其他未在资料中说明的细节暂未提供。