用途:在 apply-inference-optimizations 改动运行路径后,为性能变更补齐可复现基准、质量参考和文档,使性能改动可验收。
基准契约:每条基准或摘要应可还原确切命令与提交;模型、检查点、精度、输入、提示/控制调度、种子、分辨率、分块/窗口大小及全部性能标志;GPU 型号、数量、驱动、CUDA、PyTorch、cuDNN 及相关编译器缓存状态;预热策略、测量分块数、首次可见/启动计时与稳态计时;总块时间中位数与 p90、阶段耗时、吞吐/FPS、可用时的内存及警告或回退内核。测量编译/自动调优、持久编译器缓存、注意力后端选择或启动行为时应使用全新进程;运行时长应足以区分缓存填充与稳态。
质量契约:按改动类型选择参考:解码器改动用同 latent 张量对比参考与候选解码器;缓存改动对比原缓存路径在滚动窗口边界前后的行为及重置行为;模型编译、CUDA 图或注意力后端改动先用短静态或受控调度,再用运动密集冒烟测试;集成移植与上游或既有 FlashDreams 基线在输入、权重、调度器、种子和解码路径匹配下比较;展示改动验证有序帧连续性与队列延迟,不以丢帧平滑等同于质量等价。可留档材料:候选视频、并排视频、放大差异视频、联系表、指标 JSON、Markdown 摘要、日志、profiler 轨迹、最差帧样本;指标可用 PSNR、MAE、RMSE、锐度、高频能量、时间 MAE、LPIPS 或已有领域分数。长时运动自回归推演适合冒烟测试,但因速度或数值漂移会改变比较内容,属弱严格指标;验收优先用短静态片段和同 latent 比较。
测试框架设计:提供 CLI,按稳定顺序运行基线与一个或多个候选,标签由设置派生;原始逐步记录存为 JSON,另存紧凑 Markdown 摘要;机器可读输出含阶段计时字段、设置、产物路径和质量指标;支持排除预热和可选生成比较视频;捕获失败的可选候选而不丢失成功行;为标签生成、参数校验、矩阵构建和摘要解析添加 CPU 测试;真实生成、profiler 和质量回归运行按仓库约定标记为手动或仅 GPU;基准输出、检查点、轨迹和生成视频不入 git,除非仓库明确跟踪小型参考产物。
验收表:以 Recommended(质量通过、速度或延迟实质提升、启动与重置可接受且回退有文档)、Useful opt-in(适合特定目标但有启动成本、延迟、内存、质量、硬件依赖或手动预热等明确权衡)、Rejected(提速太小、质量回退、输出偏离不可接受、状态/重置不安全或复杂度超过收益)、Deferred(有前景但需更大架构、服务、硬件、训练或验证工作)四种状态总结。
文档更新:更新后续智能体与用户会读的文档,包括 README 或演示文档(当前推荐命令、所需硬件、注意事项、预期启动行为和已知回退)、性能摘要(有效项、可选启用项、失败项、关键数字、质量证据和剩余瓶颈)、模型卡或基准页(方法、同栈比较、产物链接和硬件/软件环境)、计划或经验记录(已测试假设、解释和延后工作)。不要把单一硬件结果过度泛化,应写为所测栈的证据而非通用保证。
无法运行验证时:若当前主机缺 GPU 访问、检查点、凭据或时间,可添加命令构造与元数据的 CPU 可验证测试;写出确切的 GPU/手动命令及预期产物路径;在最终答案和文档中明确标注“not run here”;在缺失验证实际完成前不要将改动提升为默认。