用途:这是一个库参考型技能,专门针对开源 Ray 上的 LLM 工作负载,锁定 Ray 2.57.0(ray[llm] extra,内含匹配的 vLLM)。它的目标是纠正模型学到的、因 Ray LLM 接口快速变动而失效的示例,每条规则都会点明它要纠正的错误默认写法。
主要能力:共 13 条规则、5 个分类。Serving Setup(serve-)覆盖 LLMConfig + build_openai_app、model_id 与 model_source 的区分、ray[llm] 与 vLLM 版本绑定、LLMServer/OpenAiIngress 迁移导入。Batch Inference(batch-)覆盖 build_processor(旧名已移除)、用 stage config 取代布尔开关、CPU 默认 accelerator_type 与并发设置、HTTP/Serve 处理器替代方案。Placement & Accelerators(place-)覆盖引擎自建 TP×PP 放置组及 accelerator_type 合法值。Autoscaling & Routing(scale-)覆盖 deployment_config.autoscaling_config 与 PrefixCacheAffinityRouter 前缀缓存亲和路由。LoRA & API Surface(api-)覆盖动态 LoRA 多路复用与完整 OpenAI 端点面。
使用方式:当相关决策出现时查阅对应参考文件,每个规则先给错误默认,再给规范写法。辅助文件包括 references/_sections.md、assets/templates/_template.md、metadata.json 和 AGENTS.md。
适用场景:搭建或审查 Ray 上 OpenAI 兼容的 LLM 服务;对数据集做批量 LLM 推理;多 GPU 模型的并行与加速器选型;LLM 部署的副本自动扩缩与请求路由;共享基础模型的 LoRA 微调族服务;迁移使用已归档 ray-llm 仓库或旧版 ray.data.llm 命名的代码。
限制:仅覆盖 LLM 专用层,通用 Serve/Data/集群决策属于配套的 ray 技能。API 结论经 2.57.0 wheel 与源码验证,配置示例仅在 CPU 环境通过 pydantic 校验;引擎/GPU 运行时行为仅经源码验证,未实际服务任何模型。其他版本兼容性、收费与具体平台支持暂未提供。