用途：优化 ML 推理延迟、减小模型体积、实施模型压缩、设计推理缓存策略、边缘部署，以及权衡精度与延迟。
主要能力： 模型层面：知识蒸馏（响应、特征、关系、自蒸馏）、剪枝（非结构化与结构化；基于幅度、梯度、二阶、彩票假设）、量化（动态、静态、QAT）、低秩分解与权重共享、架构搜索。 编译器层面：图优化、算子融合、常量折叠、死代码消除、布局优化与内存规划；相关框架包括 TensorRT、ONNX Runtime、OpenVINO、Core ML、TFLite、Apache TVM。 运行时层面：批处理（batch_size、max_wait_time、min_batch_size 等参数）、缓存（输入、嵌入、KV、结果与语义缓存）、异步与流水线执行、多线程。 硬件层面：GPU、TPU、NPU、CPU SIMD、FPGA；GPU 优化含 Tensor Cores、CUDA graphs、多流与内存池。 边缘部署：资源与运维约束下的模型选择、激进的量化、端上蒸馏、拆分推理、本地模型缓存；框架包括 TFLite、Core ML、ONNX Runtime Mobile、PyTorch Mobile、TensorRT。 性能分析：延迟分解、PyTorch Profiler、TensorBoard、Nsight、Chrome Tracing、perf；关注 P50/P99 延迟、吞吐、GPU 利用率和内存带宽。
推荐流程：先测基线（延迟、吞吐、精度），再剖析瓶颈，按硬件、编译器、运行时、模型、架构的顺序优化，最后验证精度与延迟并部署监控。
限制：资料未提供具体安装命令、代码示例、收费或价格信息；所有优化效果受具体硬件、模型与数据影响，需实际验证。