SuperAPI AI 工具集

profile-model-performance

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:在改动运行时行为前,先对 FlashDreams 风格模型集成和交互式演示做性能剖析,产出一份可辩护的瓶颈图谱和一份候选优化清单。

主要能力:按工作流走。先界定实际执行路径:找到面向用户的入口(runner、CLI、交互服务器、批处理脚本、notebook 或下游适配器),追踪一次生成步骤经过输入准备、编码/上下文设置、模型或去噪循环、缓存更新/收尾、解码、传输、编码和呈现。改变框架边界或配置约定前先读 flashdreams-integrations。优先无 GPU 检查,如配置解析、--help、--no-instantiate、静态 runner 接线和小型 CPU 测试。建立可复现基线:固定输入、种子、提示/控制调度、分辨率、块/窗口设置、检查点来源和设备,运行足够长以区分缓存填充、编译/自动调优和稳态块,记录确切命令、commit、GPU、驱动、CUDA、PyTorch、cuDNN、dtype、编译缓存状态和检查点标识,启动/预热墙钟时间与稳态计时分开,不把冷编译或缓存填充块平均进稳态指标。添加尊重 CUDA 异步性的计时边界,用 CUDA events 或显式同步归因 GPU 时间,报告预热后总块时间和各阶段的中位数与 p90;常用阶段名包括 输入/编码、上下文设置、去噪/模型、缓存更新提交、缓存更新等待、解码、GPU 到 CPU 传输、帧/物化、图像/视频编码、队列等待、呈现节奏、端到端块时间;在摘要中打印当前运行时设置。按模型/去噪、缓存、解码、传输与呈现、多 GPU/服务分类瓶颈。构建最小有用探针,一次只扫一个轴(窗口大小、缓存模式、编译模式、图模式、解码器选择、解码器布局、呈现队列或注意力后端),编译/缓存研究用新进程,解码器变化用仅解码器同潜变量探针。最后写简短诊断说明,列当前瓶颈、基线数字、所用命令和下一步优化候选,区分已证事实与假设;若未跑 GPU 验证就说证据缺失并给出之后要跑的确切命令。

限制与常见陷阱:不要从 Python 控制流推断注意力或解码器后端,要用 profiler kernel 或显式运行时日志确认;不要把移动自回归 rollout 当严格质量指标,只作冒烟测试;不要把快速轻量解码器未经同潜变量对比就当作质量替代;除非预热、持久缓存、重置和场景切换行为对目标工作流可接受,否则不要强推启动开销大的编译路径;不要为了优化呈现而在质量演示中丢帧,应单独诊断积压再调有序节奏与背压。

交付物:可复现基线命令、排除预热后的可信阶段计时、行为可能改变时的质量/参考产物、排序后的瓶颈列表,以及每项候选优化所需的验证。资料未提供具体命令、参数和代码示例。