SuperAPI AI 工具集

alibabacloud-pai-dlc-job-diagnostics

通用与其它

查看项目

更新于 10-15 19:54

技能介绍

用途:面向阿里云 PAI-DLC 分布式训练作业提供只读诊断,覆盖三类场景——排队卡住根因分析(配额检查、节点调度诊断、超节点可用性)、失败作业定位(失败分类、日志与事件证据链、根因识别)、集群健康巡检(训练吞吐、挂起检测、SanityCheck、重启稳定性)。架构为 PAI-DLC 作业只读查询加 PAI Studio 资源诊断 API(仅排队场景)。

主要能力:先执行 get-job 获取状态再按状态路由——Queuing/Creating 走排队分析,Failed 走失败定位,Running 走健康巡检,Stopped 提示主动停止不诊断,Succeeded 走历史回顾。可读取作业事件、Pod 事件、Pod 日志、SanityCheck 结果,并在排队场景调用 PAI Studio 资源诊断接口。

使用方式:需 Aliyun CLI >= 3.3.1,先运行 aliyun version 校验,再执行 aliyun configure set --auto-plugin-install true;调用 API 的命令须带 --user-agent AlibabaCloud-Agent-Skills/alibabacloud-pai-dlc-job-diagnostics。凭据通过 aliyun configure list 检查,禁止读取或回显 AK/SK。所需 RAM 权限包括 pai:GetJob、pai:GetPodLogs、pai:GetJobEvents、pai:GetPodEvents、pai:ListJobSanityCheckResults 及 paistudio:GetQuotaWorkloadDiagnosis。执行前须与用户确认 region、job_id 等参数。

限制:本技能仅只读,创建/更新/停止作业等写操作属于配套技能 alibabacloud-pai-dlc-job。资源诊断 API 属 paistudio 而非 pai-dlc,且 quota_id 必须取自 get-job 的 ResourceId,为空(公共按量付费)时不可用;作业已非排队状态时该 API 可能返回 HTTP 400/404,需改用配置数据做定性分析。GPU/内存实时利用率无法通过 CLI 获取,须使用控制台监控面板链接。失败原因属资源不足、抢占驱逐或 Spot 回收时,报告禁止给出修复建议,仅输出根因与客观事实。