用途:降低推理延迟、提升吞吐、压缩内存、降低成本并安全部署优化后的模型。优化必须以基准测试为驱动,在改动模型前先明确工作负载、输入形状、并发、SLO、硬件、运行时、数值容差与质量指标。
主要能力:提供优化工作流(建立真实基线、剖析瓶颈、按风险从低到高应用批处理/编译/精度/运行时调优/压缩、每次改动后复验精度与公平性切片、测量 p50/p95/p99 延迟与每千次预测成本);导出与编译(PyTorch 转 ONNX 蓝图、torch.compile 的 default/reduce-overhead/max-autotune 模式);批处理与并发(动态批处理、LLM 的 prefill/decode 区分、连续批处理);Triton 配置模板;精度与量化对照表(fp16/bf16、INT8 PTQ、QAT、INT4/GPTQ/AWQ/bitsandbytes、仅权重量化);剪枝、稀疏化与蒸馏;TensorRT 的 trtexec 编译命令;服务运行时选型;内存优化;边缘部署;基准测试陷阱。
使用方式:按资料给出的代码与命令执行,例如 torch.onnx.export、torch.compile、trtexec --onnx=model.onnx --saveEngine=model.engine --fp16 等;Triton 使用 config.pbtxt 配置动态批处理与实例组。
适用场景:GPU/CPU 模型服务、LLM 服务、边缘设备部署、多框架推理服务。
限制:量化会改变模型行为,需重跑任务指标、校准、切片指标与安全检查;RAG/嵌入模型需验证检索召回与相似度分布;非结构化稀疏可能不加速;边缘受二进制大小、内存、散热等约束;须在真实设备测试。具体收费、价格与效果数据暂未提供。