tao-run-inference-service

用途：按网络架构启动 TAO 推理微服务（如 cosmos-rl、cosmos-predict2.5），并向其发送兼容 vLLM 的聊天补全推理请求，最后停止服务。主要能力：收集 network_arch、model_path、platform、num_gpus；按 {network_arch}.config.json 与 references/service.yaml 解析容器镜像（支持 IMAGE_<KEY> 环境变量覆盖）；生成平台无关的任务负载与按架构的内层命令；在 local-docker、brev、lepton、slurm、kubernetes 上委托平台技能启动容器；写入服务注册表 /tmp/tao-inf-ms-state.json 并轮询就绪；按 job_id 或 network_arch 路由请求；按平台机制停止服务并清理注册表。使用方式：先收集输入并解析镜像，构建内层命令（前缀 umask 0 &&），读取 skills/platform/<platform>/SKILL.md 启动容器，写入注册表并等待就绪返回 200，再 POST 到 {BASE_URL}/v1/chat/completions，超时至少 300 秒；请求前必须向用户询问采样参数（max_tokens、top_p、temperature 及各架构扩展），不得静默使用默认值。限制：model_path 仅支持 hf_model:// 或本地路径，不支持 s3://、gs://、az://；密钥通过环境变量读取（如 HF_TOKEN），不得硬编码或写入请求体；多服务并存时须显式选择目标，不得默认 latest；仅处理第一条用户消息；端口分配、平台凭证等细节需参阅对应参考文件。