用途:把 Kev 决策模型部署到 Modal,得到用户自己的 TypeSafe 兼容 HTTPS 端点。scripts/kev_serve.py 是自包含的 Modal 应用,modal deploy 会构建含固定提交 kev 包的镜像,从 Hugging Face Hub 加载检查点,在适配 GPU 上提供 System One 协议(POST /v1/systemone、GET /v1/models),地址形如 https://<workspace>--kev-api.modal.run,空闲时缩容到零。
主要能力:可选模型 jaredpalmer/kev-0.8b、kev-4b(默认)、kev-9b、kev-27b,自动匹配 GPU(L4/L40S/H100/B200 等),支持 KEV_GPU、KEV_REGION、KEV_MIN_CONTAINERS、KEV_APP_NAME、KEV_FLASH、KEV_TRUNCATE_STATES 等部署期设置;@revision 可固定检查点版本。Kev 对状态回答类型化问题(Choice、Noul 是/否、Score),不生成文本。
使用方式:先检查依赖(python3 -c "import modal" 或 pip install modal;modal profile current 或 modal setup 需用户自行登录;可选 modal skills install -y)。部署示例:curl -LO https://raw.githubusercontent.com/jaredpalmer/kev/main/skills/kev-deploy/scripts/kev_serve.py;export KEV_API_KEY=$(openssl rand -hex 24);KEV_MODEL=jaredpalmer/kev-4b modal deploy kev_serve.py。验证用 curl -sL --max-time 900 $KEV_URL/v1/models -H "authorization: Bearer $KEV_API_KEY",再 POST /v1/systemone。接入时仅改 base_url 与 key:TypeSafeClient(api_key=KEV_API_KEY, base_url=KEV_URL, model="kev-latest")。停止:modal app stop kev;可选 modal volume delete kev-hf-cache。
适用场景与限制:适合需要自托管 Kev 推理、按 TypeSafe 协议调用的场景。未设 API Key 时任何拿到 URL 的人都能消耗 GPU 时间;冷启动首次需下载权重并编译内核(1-2 分钟),Kev-27B 首次下载 51 GB;状态上限 65,536 token,问题加选项 8,192 token,超限返回 422;Kev-27B 训练于最长 32,768 token 状态,小模型为 384;自有领域建议先用数百条标注样本测量,不足时用 kev-finetune 微调。费用、价格与平台细节以资料所述为准,其余暂未提供。