用途:系统化诊断并预防 TPU v6e 节点上 vbar_control_agent 的段错误(segfault)与内存不足(OOM)错误,适用于 TPU 连接失败与 VBAR OOM 类故障排查。
前提条件:项目需启用 Cloud Logging;需通过 gcloud 或等效工具访问项目与集群。
诊断流程:先获取上下文,包括 Project ID、Cluster Name、Node Name 或 Instance ID、Workload Name(JobSet 名)、Workload Namespace、Issue Time。时间处理上拒绝相对时间(如“X 分钟前”),要求精确时间戳;若给出时间 T,查询窗口取 [T-30m, T+30m]。随后用 query_logs 依次检查:串口控制台日志中 vbar_control_agent 的 OOM 消息(含 libtpu::tpunetd::VBARControlHelper::MetricsReadFromVBAR 堆栈为强指示);tpu-device-plugin 的指标获取失败(checksum didn't match 等错误,提示 vBAR 内存损坏);并向用户确认是否部署了自定义 TPU 指标采集(如 libtpu.sdk.tpumonitoring 频繁调用 GetHostMetrics)。
解决方式:若确认存在自定义指标采集,建议临时禁用它(高风险,需用户明确批准),以避免设备重置期间读取 vBAR;永久修复需等待未来 GKE 版本中 vbar_control_agent 的韧性更新,届时升级 GKE 即可。
限制:资料未提供具体命令、价格、平台支持范围或效果保证;部分步骤需人工确认与授权。