SuperAPI AI 工具集

spark-operations-cli

通用与其它

查看项目

更新于 10-16 00:31

技能介绍

用途:对 Microsoft Fabric 中已存在且失败或不健康的 Spark 作业、Livy 会话进行只读分诊与诊断,定位作业失败、会话健康和性能瓶颈的根因。不用于创建笔记本或运行新作业(应使用 spark-authoring-cli),也不用于交互式 PySpark 分析(应使用 spark-consumption-cli);MLV 刷新调度与运行历史应使用 mlv-operations-cli。

主要能力:通过 Fabric 监控 API 查看工作区/项目级会话列表、Spark Advisor、开源 Spark History Server 接口、驱动与执行器日志、Livy 日志、资源使用(vCore 时间线、核心效率);按状态路由执行失败分析、性能诊断、资源利用评估与会话健康检查(空闲/僵尸会话识别与清理,清理需用户确认);支持管线运行诊断与失败分类(OOM、shuffle、超时、依赖、配置等)。

用法要点:所有 api.fabric.microsoft.com 调用必须带请求头 x-ms-fabric-skill: spark-operations-cli(az rest:--headers "x-ms-fabric-skill=spark-operations-cli"),LRO 轮询、fabric_lro 和重试也需携带。每会话首次使用需先运行 check-updates。az rest 必须指定 --resource https://api.fabric.microsoft.com。建议先查 Spark Advisor 再读原始日志;优先复用空闲会话;用 JMESPath 过滤;作业/会话状态轮询间隔 10–30 秒,诊断超时 30 分钟;输出应包含 Notebook Snapshot URL。

限制:诊断操作只读,会话清理需显式确认;监控数据(日志、stage、advisor)通常在会话结束后数分钟至数小时过期,API 返回 404 时应走过期数据回退路径;数据截断或 HTTP 408/504 时可升级到本地 Spark History Server。环境变量、认证与具体命令见相关参考文档。