SuperAPI AI 工具集

monitoring-dashboard

数据与分析

查看项目

更新于 10-16 05:38

技能介绍

Monitoring Dashboard 是一套用于机器学习训练监控的模板与脚本集合,核心目标是为 TensorBoard 和 Weights & Biases(WandB)提供完整的监控面板搭建方案。

用途 该技能用于搭建训练监控面板、实时追踪实验与指标、对比多次训练运行、可视化超参数与结果、将监控集成到已有训练流程,以及记录自定义指标、图像和模型产物。

主要能力

  • 提供安装与配置脚本:scripts/setup-tensorboard.sh、scripts/setup-wandb.sh、scripts/launch-monitoring.sh。
  • 提供配置模板:templates/tensorboard-config.yaml、templates/wandb-config.py、templates/logging-config.json。
  • 提供集成示例:examples/tensorboard-integration.md、examples/wandb-integration.md。
  • TensorBoard 支持标量指标、直方图、图像、文本、模型图、嵌入(t-SNE、PCA)等记录。
  • WandB 支持指标记录、媒体记录(图像、表格、音频、视频)、模型产物追踪、超参数扫描(sweeps)、自定义图表与告警。
  • 提供统一日志记录类 UnifiedLogger,可同时向 TensorBoard 与 WandB 写入指标、图像与模型信息。

使用方式

  1. 选择监控方案:TensorBoard 适合本地/开源、单用户开发与离线工作;WandB 适合团队协作、实验对比与生产环境;生产环境推荐两者结合。
  2. 安装配置 TensorBoard:运行 ./scripts/setup-tensorboard.sh,然后通过 ./scripts/launch-monitoring.sh tensorboard --logdir ./runs 启动,浏览器访问 http://localhost:6006。
  3. 安装配置 WandB:运行 ./scripts/setup-wandb.sh,使用 wandb login 登录,再通过 ./scripts/launch-monitoring.sh wandb 启动,面板位于 https://wandb.ai/your-username/your-project。
  4. 在训练代码中集成:使用 SummaryWriter 记录 TensorBoard 指标,或使用 wandb.init / wandb.log 记录 WandB 指标;也可使用 UnifiedLogger 同时记录到两个平台。
  5. 启动监控脚本支持 tensorboard、wandb、both 三种模式。

适用场景

  • 单用户本地开发与离线训练监控。
  • 团队协作、实验对比与生产环境训练追踪。
  • 超参数扫描与结果可视化。
  • 需要同时使用本地与云端监控的混合场景。

限制与注意事项

  • 资料未提供具体收费价格信息,仅提及 WandB 有免费层、TensorBoard 免费本地运行。
  • 支持框架为 PyTorch、TensorFlow、JAX、Hugging Face Transformers,Python 版本要求 3.8+。
  • 资料未提供除上述脚本、模板、示例之外的其他功能或平台支持信息。
  • 使用 WandB 涉及云端数据同步,敏感数据可设置 mode="offline" 仅本地记录;TensorBoard 可通过 --host 127.0.0.1 或 SSH 隧道限制访问。