用途:这是 LlamaFarm 本地 ML 推理服务器 Universal Runtime 的最佳实践与代码审查清单,面向 PyTorch 推理、Transformers 模型和 FastAPI 服务,帮助开发者按统一规范编写与审查运行时代码。
主要能力:Universal Runtime 提供兼容 OpenAI 的端点,支持文本生成(GPT、Llama、Mistral、Qwen 等因果语言模型)、文本嵌入(BERT、sentence-transformers、ModernBERT)、分类、NER、重排序、OCR 与文档理解、异常检测。技能本身包含 PyTorch、Transformers、FastAPI、性能四类运行时清单,并链接共享 Python 实践(模式、异步、类型、测试、错误处理、安全)。
使用方式:目录为 runtimes/universal/,要求 Python 3.11+,关键依赖 PyTorch、Transformers、FastAPI、llama-cpp-python。审查时按优先级执行:安全为关键项(文件端点防路径遍历、模型 ID 输入净化);内存与设备为高优先级(卸载时清理 CUDA/MPS 缓存、推理用 torch.no_grad()、按设备选 dtype);性能为中优先级(模型缓存、批处理、流式实现);代码风格为低优先级。关键模式包括双重检查锁加载模型、设备感知张量操作、基于 TTL 的模型缓存、线程池异步生成。
适用场景:开发或审查 Universal Runtime 的模型加载、推理服务、API 端点与性能优化代码。
限制:资料未提供安装命令、具体版本号、收费信息或完整代码示例;部分目录与文件仅列出名称,未展开细节。