用途：指导在 Rust 中构建机器学习与 AI 推理系统，重点在推理部署、模型加载、张量运算、GPU 与 CUDA 加速以及批处理吞吐优化。
主要能力与设计约束：大数据场景强调高效内存，采用零拷贝与流式处理；GPU 加速依赖 CUDA/Metal，可选 candle、tch-rs；模型可移植性依赖标准格式如 ONNX；批处理以吞吐优先于延迟；数值精度需谨慎处理 f32/f64，可用 ndarray；可复现性要求确定性、带种子的随机数与版本管理。
关键规则：避免拷贝大张量，内存带宽是瓶颈，应使用引用、视图和原地运算；GPU 每次核启动有开销，需批量化摊薄；标准模型格式便于 Python 训练、Rust 经 ONNX 部署。
选型建议：仅推理用 tract（ONNX，轻量可移植）；训练加推理用 candle、burn（纯 Rust、支持 GPU）；PyTorch 模型用 tch-rs（直接绑定）；数据管道用 polars（快速、惰性求值）。常用 crate 包括 ndarray（张量）、tract（ONNX 推理）、candle/burn（ML 框架）、tch-rs（PyTorch 绑定）、polars（数据处理）、fastembed（嵌入）。
使用方式：推理服务常用 OnceLock 单例加载 ONNX 模型，避免每请求重复加载；批处理按 batch_size 分块堆叠输入、批量运行后拆分输出；数据加载宜异步，防止 GPU 空转。
限制：具体安装命令、版本要求、平台支持与性能数据暂未提供；实际效果取决于模型、硬件与实现，需自行验证。