SuperAPI AI 工具集

weights-and-biases

数据与分析

查看项目

更新于 10-30 06:45

技能介绍

用途

Weights & Biases(W&B)用于机器学习实验追踪与 MLOps。资料给出的典型使用场景包括:自动记录训练指标、在实时仪表盘可视化训练、跨超参数与配置比较多次运行、用自动扫描优化超参数、用版本与血缘管理模型注册表、在团队工作区协作,以及追踪数据集、模型、代码等产物及其血缘。

安装与登录

安装:

pip install wandb

登录并创建 API key:

wandb login

也可通过环境变量设置:

export WANDB_API_KEY=your_api_key_here

主要能力

  1. 项目与运行:用 wandb.init(project=..., name=..., tags=..., notes=...) 创建运行,每个运行有唯一 ID 与 URL。
  2. 配置追踪:在 config 中记录模型结构、学习率、批大小、轮数、优化器、数据集等超参数,训练中通过 wandb.config 读取。
  3. 指标记录:wandb.log 可记录标量、多个指标、自定义 x 轴、图像/音频/视频等媒体、直方图与表格。
  4. 检查点与产物:可用 wandb.save 上传文件,或用 wandb.Artifact 记录模型检查点、数据集等,并支持 add_file、add_dir、log_artifact、use_artifact 下载使用。
  5. 超参数扫描:用 wandb.sweep 定义 grid、random、bayes 方法及优化目标,再用 wandb.agent 运行指定次数的试验。
  6. 模型注册表:将模型作为 artifact 记录并加别名,再通过 run.link_artifact 链接到模型注册表。
  7. 可视化与分析:可记录 matplotlib 图与混淆矩阵,并在 W&B 界面中创建包含运行、图表与文本的可分享报告。

框架集成

资料给出 HuggingFace Transformers(report_to="wandb")、PyTorch Lightning(WandbLogger)、Keras/TensorFlow(WandbCallback)以及原生 PyTorch 训练循环中的记录示例。

使用建议

资料建议用标签与分组组织运行,记录 GPU/CPU 利用率、代码版本、数据划分等,使用描述性运行名,保存重要产物;网络不稳定时可设置 WANDB_MODE=offline 离线运行,之后用 wandb sync 同步。

收费与规模

资料列出:免费版含无限公开项目与 100GB 存储;学术用户对学生/研究者免费;团队版 $50/座/月,含私有项目与无限存储;企业版为定制价格并可选本地部署。资料还提及用户 200,000+、GitHub 星标 10.5k+、集成 100+。以上信息均来自资料,实际以官方为准。

限制

资料未说明具体性能上限、数据合规或可用区域等限制,暂未提供。