SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 11-02 00:09

部署与运维

12,901 个结果

tei-triton-serving

tei-triton-serving 是一份面向生产环境的嵌入(embedding)与重排序(reranker)模型高性能服务方案,核心内容是 HuggingFace Text Embeddings Inference(TEI)、NVIDIA Triton 推理服务器与 NVIDIA NIM 三条技术路线。它指出,如果用 sentence-transformers 进程内调用,或仅用 Flask/FastAPI 简单包裹,会损失 3 到 10 倍吞吐。TEI 为 Rust 内核、动态批处理、支持 ONNX、FP16 与 CUDA 内核,是最容易落地的方案;Triton 适合在同一个 GPU 池上同时服务嵌入、重排序、小 LLM 或多框架模型,支持模型集成与动态批处理;NIM 提供 NVIDIA 管理容器与 OpenAI 兼容接口,换取零运维但接受厂商定价与更新节奏。资料给出了三条路径的 Docker 启动命令、调用示例、模型仓库布局、config.pbtxt 配置、Python 客户端、Python 与 K8s 健康检查、扩缩容指标、预热、Token 预算对齐、基准数据、反模式清单与生产检查表。

部署与运维1 次安装