用途:对 qwen3-tts-rs(Rust TTS 引擎)进行性能剖析与基准测试,输出 Chrome Trace,用于分析生成各阶段耗时。
前提条件:支持 --gpus all 的 Docker;qwen3-tts:latest 镜像(含 Rust 工具链与 CUDA);模型权重放在 test_data/models/(默认 1.7B-CustomVoice);模型目录需含 tokenizer.json。CUDA 工具链在容器内,所有 cargo 命令须在容器中运行,工作区挂载到 /workspace。
运行模式:1) Chrome Trace(默认,适合看 span 层级),产物 trace.json 可用 chrome://tracing 或 Perfetto 查看,含 generate_frames、code_predictor、talker_step、sampling/top_k/top_p 及 gpu_sync 事件;2) 分阶段计时,不加 profiling feature 也会输出 prefill/generation/decode 分解;3) 流式 TTFA,加 --streaming;4) JSON 输出,加 --json-output results.json。另有 bash scripts/audit-gpu-syncs.sh 审计 to_vec1() 的 GPU→CPU 同步点。
结果解读:RTF 小于 1.0 为快于实时;prefill 在 GPU 上应低于 50ms;生成阶段占主导,每帧约 18 次 GPU→CPU 同步(16 次 code_predictor + 2 次采样);decode 为 ConvNeXt 解码器,随帧数增长。优化目标是合并这些 to_vec1() 调用。参考基线(2025 年 1 月 DGX A100,1.7B-CustomVoice):短文本 13 词 RTF 1.42、8.8 tok/s;中等 53 词 RTF 0.70、17.9 tok/s;长文本 115 词 RTF 0.72、17.4 tok/s。模型变体还包括 1.7B-Base(声音克隆,需参考音频)与 1.7B-VoiceDesign(文本描述音色)。flamegraph 与 Nsight Systems 的具体用法资料未提供。