SuperAPI AI 工具集

coreweave-gpu-node-forensics

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:在 CoreWeave 节点上快速分诊故障或降级的 GPU,从 Xid 代码或粘贴的 dmesg / nvidia-smi 内容给出一个明确处置动作:reschedule、reset-gpu、reboot-node、rma、watch 或 app-bug-not-hardware。分类是确定性的,由内置脚本完成映射,避免人工猜测显卡是损坏、降级还是正常。

主要能力:基于 NVIDIA Xid 错误目录与 CoreWeave 节点生命周期/封锁行为做判定;重点区分 Xid 94(已隔离,重新调度)与 Xid 95(未隔离,重置 GPU);对 Xid 63/64/48 等 ECC/行重映射情况,依据 nvidia-smi -q -d ROW_REMAPPER 的 Pending 与 Remapping Failure Occurred 字段覆盖基础结论;一个 blob 含多个 Xid 时以最严重者为准,其余列为 co_occurring_xids;对未映射的 Xid 返回保守的 reset-gpu 默认并标记 [unverified]。

使用方式:先采集证据,如 dmesg -T | grep -i xid、nvidia-smi -q -d ROW_REMAPPER,ECC,PERFORMANCE,必要时用 kubectl get node NODE -o json 查看封锁归属。再运行确定性分类器,例如 python3 "${CLAUDE_SKILL_DIR}/scripts/triage.py" --xid 95,或 --xid 63 --pending yes、--xid 48 --remap-failure yes,也可用 --blob /path/to/dmesg.txt 或从 stdin 传入。脚本输出 VERDICT 块及 JSON(classification、severity、action、why、next_command、cordon_rule、unverified),加 --json 仅输出机器可读结果。最后按动作与 next_command 执行。

适用场景:多卡长时间训练中单卡故障导致整体停滞时的快速分诊;判断是否应 RMA 还是应用自身缺陷;判断节点封锁归属。

限制:该技能仅诊断,不具破坏性,工具为只读(nvidia-smi -q、kubectl get、dmesg),不会自行执行重置、重启或解除封锁。需要 python3(仅标准库)。无需实时集群访问,仅凭粘贴内容即可分诊。CoreWeave 的自动 RMA 阈值与健康封锁 taint 字符串未公开,技能会如实标注 [unverified]。遇到硬件动作时附带封锁规则:不要手动解除 CoreWeave 健康封锁,节点生命周期控制器负责封锁/解封。