用途:把 HuggingFace router 中新增的模型补充到 chat-ui 的 chart/env/prod.yaml 与 chart/env/dev.yaml 配置里,并为其添加描述、推理能力标记和 artifacts 标记。
主要能力与流程:
- 通过 WebFetch 访问 https://router.huggingface.co/v1/models 获取全部模型 ID。
- 读取 chart/env/prod.yaml,从 envVars 的 MODELS JSON 数组提取已有模型 ID,找出 router 有而 prod.yaml 没有的缺失模型。只处理缺失模型,不修改、不重新标记已有条目。
- 对每个缺失模型联网调研架构(dense/MoE/参数量)、关键能力、目标场景及是否为推理模型。
- 判断是否推理能力:需模型经 HF router 接受 OpenAI 风格 reasoning_effort: low|medium|high 且实际改变思维链深度。不能仅凭名称判断,需查该模型在 /v1/models 中的实际提供方文档(如 fireworks-ai、groq、cerebras、together、novita、sambanova、deepinfra 等)是否记录 reasoning_effort、reasoning_content、enable_thinking 等参数;文档不明确则不标记。
- 参数量 32B 及以上(按总参数而非激活参数,如 35B-A3B 合格)追加 "supportsArtifacts": true。
- 描述风格:8-12 词、句子片段、尽量不用冠词,聚焦架构、专长与关键能力。
- 将新模型加到两个文件 MODELS 数组顶部,基础格式为 { "id": "org/model-name", "description": "..." },推理模型加 "supportsReasoning": true,32B+ 加 "supportsArtifacts": true,可同时具备。
- 提交:git add chart/env/prod.yaml chart/env/dev.yaml 后执行 git commit -m "feat: add descriptions for N new models from router (M reasoning-capable, K with artifacts)"。
适用场景:维护 chat-ui 模型列表、新增模型上线配置。限制:仅处理缺失模型;推理标记须有提供方文档依据;32B 以下不加 artifacts 标记(用户仍可在设置中按模型覆盖);FP8 变体沿用基座模型的推理与 artifacts 判断。