用途:Weights & Biases(W&B)是面向机器学习的 MLOps 基础设施,用于跟踪实验、对数据集与模型做版本管理、评估 LLM 应用并编排分布式训练。该技能适合需要记录超参数与训练指标、进行自动化调参、管理数据血缘以及做生产模型评估的团队。
主要能力:一是实验跟踪,通过 wandb.init 与 wandb.log 记录超参数、损失曲线、GPU 利用率等指标,并在面板实时查看;二是 Artifacts 版本管理,用 wandb.Artifact 记录数据集与模型检查点的版本、元数据和数据血缘,支持 use_artifact 消费指定版本;三是超参数扫描,通过 wandb.sweep 定义 bayes、grid、random 方法,配合 wandb.agent 在分布式算力上运行;四是生产评估与 LLM 追踪,用 Weave / W&B Prompts 评估提示词与工具调用。
使用方式:安装 Python 包 wandb 后,在代码中 import wandb,调用 wandb.init(project=..., config={...}) 初始化运行,训练循环内用 wandb.log 记录指标,结束调用 wandb.finish()。扫描时先构造 sweep_config(含 method、metric、parameters),再 sweep_id = wandb.sweep(...) 并用 wandb.agent(sweep_id, function=train, count=5) 执行。API 密钥通过环境变量 WANDB_API_KEY 配置或运行 wandb login,不要硬编码。
适用场景:企业级 ML 实验跟踪、分布式超参数调优、数据集与模型检查点版本化、生产模型评估与 LLM/智能体调用追踪。
限制与注意:不要在微秒级内层循环中频繁调用 wandb.log,应按步或按 epoch 聚合记录;连续循环迭代间需调用 wandb.finish(),否则多个 run 会写入同一面板曲线;不要记录敏感凭证或未脱敏 PII。常见问题包括 API key 无效(需 wandb login 或设置 WANDB_API_KEY)、上传超大检查点网络超时、缺少 finish 导致曲线混叠。具体收费、价格与平台支持信息暂未提供。