该技能用于在 inference.sh 平台构建并部署应用,应用可用 Python 或 Node.js 编写。
使用方式:先安装 CLI,命令为 curl -fsSL https://cli.inference.sh | sh,随后可用 belt update 更新、belt login 认证、belt me 查看当前用户。脚手架必须使用 belt app init,例如 belt app init my-app 或 belt app init my-app --lang node,不可手工创建 inf.yml、inference.py、inference.js、init.py、package.json 或应用目录。
工作流程:先脚手架,再实现逻辑,然后本地测试(belt app test --save-example、belt app test、belt app test --input '{"prompt": "hello"}'),接着部署(belt app deploy --dry-run 校验、belt app deploy 实际部署),最后云端验证(belt app run user/app --json --input '{"prompt": "hello"}')。每次执行 belt 命令前都必须 cd 进应用目录,因为 shell 工作目录不会跨调用保留。
主要能力:支持 setup、run、unload、on_cancel/onCancel 生命周期;支持多函数应用与默认函数配置;通过 inf.yml 配置 kernel、resources(GPU、RAM)、env、secrets、integrations;依赖使用 requirements.txt、package.json 与 packages.txt 管理;支持通过 symlinks 与相对导入共享辅助模块。
限制与注意事项:包含 output_meta 的输出类必须继承 BaseAppOutput 而非 BaseModel;run() 中默认应加入 self.logger.info 日志;GPU 检测建议使用 accelerate,目前仅支持 NVIDIA CUDA GPU;大模型可用 device_map 直接由磁盘流式加载到 GPU。缺失信息暂未提供,包括具体收费与价格、性能效果数据等。