SuperAPI AI 工具集

dynamo-router-starter

通用与其它

查看项目

更新于 10-16 03:49

技能介绍

用途:帮助快速跑通 Dynamo 路由基线模式,在合适场景启用 KV 感知路由,并验证端点可用,重点关注命令与成功信号而非路由内部实现。

主要能力:选择 round-robin、kv、least-loaded、device-aware-weighted、direct、random 等模式;本地用命令启动前端,Kubernetes 中补丁前端服务环境变量;运行冒烟脚本检查 /v1/models 与一次 /v1/chat/completions。

使用方式:本地启动示例为 python3 -m dynamo.frontend --router-mode round-robin --http-port 8000,KV 模式为 --router-mode kv;K8s 中设置 DYN_ROUTER_MODE=kv,若 worker 不发布 KV 事件则设 DYN_ROUTER_USE_KV_EVENTS=false。端口转发后运行 python3 scripts/check_router_health.py --base-url http://127.0.0.1:8000,支持 --retries、--timeout,也可通过 run_script 协议调用。

适用场景:本地或 Kubernetes 部署的 Dynamo 推理路由搭建与端点验证。

限制:冒烟测试仅一次对话请求,不构成基准;KV 模式在无事件发布时降级为近似模式;跨模式性能比较需匹配负载并另做基准测试。前提包括 Python 3.10+、可导入 dynamo、K8s 需 kubectl 与已部署 recipe、网络可达前端、至少一个 worker 已加载模型。