gke-tpu-metrics-monitoring

用途：该技能让智能体使用 GKE 系统指标监控 GKE TPU 工作负载、节点和节点池，帮助判断工作负载中断或性能问题是否由底层基础设施导致。

必要上下文：需要 GCP 项目 ID、GKE 集群名称、集群位置（区域或可用区）；节点名称和节点池名称为可选。

主要能力与步骤：

1. 验证 TPU 运行时指标配置：检查 Pod 是否包含 containerPort: 8431、JAX 版本 0.4.14 或更高、GKE 版本 1.27.4-gke.900 或更高，且集群已启用 GKE 系统指标。
2. 监控 TPU 运行时指标：在 Cloud Monitoring 的 k8s_node 和 k8s_container 资源中查看容器与节点的 accelerator/duty_cycle、memory_used、memory_total。
3. 检查节点状态条件（GKE 1.32.1-gke.1357001 或更高）：使用 kubernetes_io:node_status_condition 查询节点是否 Ready。
4. 检查节点池状态：使用 kubernetes_io:node_pool_status 查询多主机 TPU 节点池，状态包括 Provisioning、Running、Error、Reconciling、Stopping。
5. 检查节点池可用性：使用 kubernetes_io:node_pool_multi_host_available，值为 1 表示全部节点可用，0 表示部分不可用。
6. 分析节点中断：使用 kubernetes_io:node_interruption_count，按 interruption_type（TerminationEvent、MaintenanceEvent、PreemptionEvent）和 interruption_reason（HostError、Eviction、AutoRepair）分类。
7. 计算恢复与中断指标：用 PromQL 计算最近 7 天的 MTTR 和 MTBI。
8. 监控 TPU 主机指标（GKE 1.28.1-gke.1066000 或更高）：查看 tensorcore_utilization 和 memory_bandwidth_utilization。

限制：各步骤依赖特定 GKE 版本与指标配置；未提供具体命令安装方式、收费信息或平台支持范围。