用途
本技能用于在华为云昇腾 DevServer（910B 系列）上部署和测试大语言模型，面向 LLM、VL（视觉语言）、Embedding、Rerank 以及 OpenSource 类模型，支持单机部署与双机部署两种形态，并附带模型推理测试和部署日志、状态监控能力。
主要能力
- 模型部署：支持单节点与双节点（dual-node）部署。
- 推理测试：覆盖 LLM 对话、VL 多模态、Embedding、Rerank 四类测试。
- 监控：查看部署日志与部署状态，并配合 NPU 命令技能监控部署过程中的 NPU 状态。
- 模型目录与脚本自动匹配：内置模型目录，按模型类别自动匹配部署脚本。
支持的机型
仅限昇腾 910B 系列（910B1、910B2、910B3、910B4）。不支持 910A、310、310P 等型号。部署前须检查 NPU 型号，非 910B 系列会被拒绝。可使用 npu-smi info 检查。
模型目录（节选）
LLM（端点 /v1/chat/completions）：Qwen3-14B（最少 1 卡）、Qwen3-30B-A3B-Instruct-2507（2 卡）、Qwen3-32B（2 卡）、Qwen3-235B-A22B-Thinking-2507（16 卡）、Qwen3-235B-A22B-Instruct-2507（16 卡）、DeepSeek-R1-Distill-Llama-70B（4 卡）。
VL（端点 /v1/chat/completions）：Qwen3-VL-30B-A3B-Instruct（2 卡）、Qwen3-VL-32B-Instruct（2 卡）、Qwen3-VL-235B-A22B-Instruct（16 卡）、Qwen3-VL-235B-A22B-Instruct-W8A8（8 卡）。
Embedding（端点 /v1/embeddings，仅 V0 后端、仅单卡）：Qwen3-Embedding-8B、bge-large-zh-v1.5、bge-m3，均为 1 卡，不支持多卡。
Rerank（端点 /v1/rerank，仅单卡）：Qwen3-Reranker-8B、bge-reranker-v2-m3，均为 1 卡。
OpenSource：Qwen3.6-35B-A3B（2 卡，文本+图像，MoE）、Qwen3.6-27B（2 卡，文本+图像，MoE）、Qwen3-Next-80B-A3B-Instruct（4 卡，大语言模型）、DeepSeek-V4-Flash-w8a8-mtp（8 卡，大语言模型）。
使用方式
本技能为 Agent 编排式、无状态执行，技能之间不直接调用，全部由 Agent 依据用户意图编排。典型编排流程：
- Agent 调用 huawei-cloud-ascend-remote-connect 建立到 DevServer 的 SSH 连接。
- Agent 调用 huawei-cloud-ascend-command 检查 NPU 列表、健康状态与 HBM 可用量。
- Agent 调用本技能执行模型部署（匹配模型、生成部署脚本、执行部署）。
- Agent 再调用 huawei-cloud-ascend-command 监控 HBM 占用、温度与进程。
核心命令
- deploy <model> <port>：单机部署模型
- deploy <model> <port> <cards>：指定卡数部署
- dual-machine deploy <model> head:<IP> worker:<IP> port:<PORT>：双机集群部署
- test <model> <port>：测试模型推理
- deployment log：查看部署日志
- deployment status：检查部署状态
- model list：显示支持的模型
脚本自动匹配（必须使用，禁止猜测脚本 URL）
脚本路径为 scripts/deploy_helper.py，匹配规则为硬编码：LLM / Embedding / Rerank 使用 deploy-large-models.sh；VL 使用 deploy-qwen3-vl-model.sh；OpenSource 使用 deploy-ai-models.sh。
调用方式：
python3 scripts/deploy_helper.py match <model_name> python3 scripts/deploy_helper.py command <model_name> <cards> <port> python3 scripts/deploy_helper.py list [LLM|VL|Embedding|Rerank|OpenSource]
AI 必须先调用 deploy_helper.py match 确认模型类别与脚本，再用返回的 deploy_url 组装命令，不得凭记忆猜测。
部署流程要点
预部署检查（每次必做，任一步失败即停止）：检查 NPU 型号并排除非 910B；检查可用卡数是否满足需求；用户指定卡数需不少于最小值且取值在 1、2、4、8、16 范围内；Embedding/Rerank 仅单卡，多卡会被拒绝；检查端口占用（ss -tlnp | grep :port）；双机部署还需校验 head 与 worker 两节点 SSH 可达。
单机部署前须先 SSH 执行 mkdir -p /home/modelarts-agent。LLM/Embedding/Rerank、VL、OpenSource 分别有各自的命令模板，模板中通过 wget 下载对应脚本后以 sh 执行，并将输出重定向到 /home/modelarts-agent/deploy_${model}.log。双机部署时，head 与 worker 节点均需 mkdir -p /home/modelarts-agent，并分别执行各自的命令模板。
自然语言理解要点
技能可从自然语言中提取操作类型、模型名（模糊匹配、不区分大小写、支持卡数过滤）、卡数、端口、prompt、图像 URL、最大 token、温度、stream、system prompt 以及思考模式开关等参数。多个候选模型时列出全部候选（含卡数与类别）交由用户确认；无匹配时展示完整模型目录。未指定端口时默认 8080，未指定卡数时使用模型目录中的最小卡数。缺参时逐项提示（如缺模型名、缺卡数、缺端口、双机缺 head IP、缺 worker IP）。VL 类与 OpenSource 中的 Qwen3.6-35B-A3B、Qwen3.6-27B 支持多模态，LLM、Embedding、Rerank 仅支持文本。本地图片可通过 base64 转换为 data URL。Qwen3/Qwen3.6 默认开启思考模式，可通过 chat_template_kwargs 中的 enable_thinking 在请求级控制开关。
适用场景
适用于需要在华为云昇腾 910B DevServer 上快速部署并验证 LLM、VL、Embedding、Rerank 等模型的场景，尤其是希望由 Agent 自动完成连接、健康检查、部署与监控全流程的情况。
限制
仅支持昇腾 910B 系列机型；Embedding 与 Rerank 仅支持单卡；Embedding 使用 /v1/embeddings 端点且仅 V0 后端。部署为敏感操作，技能要求先展示命令并等待用户确认，不得直接执行。模型目录之外的模型支持情况、具体收费与价格、配额与地域限制等信息暂未提供。