SuperAPI AI 工具集

pytorch-perf-tuning

编程与开发

查看项目

更新于 10-29 09:37

技能介绍

用途

该技能面向 PyTorch 算法研究中的等待时间问题:当训练、评测或批量实验因低吞吐、显存浪费、设备利用率不足而拖慢研究节奏时,用一套有边界的流程定位并消除明显浪费。它强调 goal-first:性能优化服务于算法结论,够用即收口,不把“仍有优化空间”当成任务未完成。

成功标准与边界

成功标准是:已知明显浪费得到处理,正确性/复现通过,实际等待能支持当前研究节奏;不设统一的利用率、功率或加速倍数门槛。默认只改执行路径,模型结构、dtype、样本、评分协议保持;浮点差异按预定容差判断。batch/padding/定标/算法变化需单独对照,伪量化换真量化或整数 kernel 属于数值与部署语义变化,不能冒充同口径加速。

主要流程

  1. 拆时间:先用小固定输入区分加载、准备、warmup、在线循环和评分耗时,找可行动热点;局部算子复用项目已验证的设备计时器,必要时才用 profiler,并在代表性窗口旁路采样利用率、功率和内存。
  2. 先删:纯评测关闭梯度与反向图、关闭 KV cache、只保留必要位置 logits、不请求隐藏态与 attention 输出、截断超长 padding、离线准备落盘缓存、训练用 activation checkpointing 换显存。
  3. 去重:纯评测释放不再需要的权重副本,打包/转置/分组权重与原 Parameter 共享 storage,按 (device, storage.data_ptr()) 去重并统计 nbytes;区分必要驻留、冗余活张量、allocated 与 reserved。
  4. Batch:从现有 batch 附近试少量候选找吞吐拐点,按长度排序/分桶减少 padding,检查 batch 是否改变语义并单独记录协议变更。
  5. 串行改批量/分组/融合:针对逐 expert/head/segment 的小矩阵乘,用 grouped GEMM、合并共享输入投影(QKV、gate_up),实测确认接口虽叫 grouped 或 fused 内部未逐项展开。
  6. 减少热路径同步:把 .item()、.cpu()、.tolist()、.numpy() 移出循环,避免张量布尔控制流和动态形状操作,显式同步只在阶段边界,搬运用预取、pin memory、non_blocking。
  7. 算子、后端、编译:把 SDPA/flash attention、fused optimizer、厂商库、torch.compile 作为候选,在目标设备实测,检查 fallback,注意 dtype/layout,CUDA graphs 只在静态 shape 且收益明确时使用。
  8. 多卡:区分放置与调度,device_map 主要分担存储;模型须跨卡时让不同完整 batch 在前后阶段重叠;DataLoader 用 workers、pin_memory、non_blocking、prefetch。
  9. 验证与报告:同输入、同 warmup、少量交错复测(如 A/B/B/A);数值按约定逐位或容差核对;记录版本、设备、batch、dtype、峰值、命令;整模验收用 host 时钟,冷启动与稳态分列。
  10. 收口:正确、收益可信、等待够用即固定版本与配置,回到算法研究;剩余可优化点不视为未完成项。

适用场景

小数据集评测 sweep 前的加速、PyTorch 训练或推理实验的等待缩短、显存占用过高导致 batch 受限、多卡或变长输入场景的吞吐改善。技能还给出反模式清单,如没测量就改、一次改五处、把清单全做一遍或把监控刷满当交付。

限制

该技能是流程与判断框架,不提供通用加速倍数承诺;具体收益需在目标设备实测。专业计量与实现依赖可选的 kernel-knowledge 库,缺失时沿用项目可信计时器并声明口径,不自动安装。外部推理引擎仅在预算与后端就绪时调用。