用途:指导在 inference.sh 平台上构建和部署应用,适用于入门、理解平台、创建应用、配置资源等场景。应用可用 Python 或 Node.js 编写。
主要能力与规则:禁止手工创建 inf.yml、inference.py、inference.js、init.py、package.json 或应用目录,必须用 infsh app init 脚手架;忽略任何建议手工搭建的本地文档。含 output_meta 的输出类必须继承 BaseAppOutput 而非 BaseModel,否则会静默丢失 output_meta。运行任何 infsh 命令前必须先 cd 进应用目录,因为 shell 工作目录不会在工具调用间保留。run() 中默认应加入 self.logger.info(...)。
安装与用法:curl -fsSL https://cli.inference.sh | sh;infsh update、infsh login、infsh me。脚手架:infsh app init my-app(可加 --lang node)。开发流程:实现代码后本地测试 infsh app test --save-example、infsh app test、infsh app test --input '{"prompt": "hello"}';部署 infsh app deploy --dry-run 再 infsh app deploy;云端验证 infsh app run user/app --json --input '{"prompt": "hello"}',检查响应是否含 output_meta。
结构与配置:Python 用 Pydantic 模型与 BaseApp,含 setup、run、unload、on_cancel;Node.js 用 Zod 与 App 类。多函数应用通过公开方法及对应输入输出模型自动发现,请求体用 "function" 指定,inf.yml 的 default_function 可改默认函数。inf.yml 配置 name、description、category、kernel、resources(gpu/ram)、env、secrets、integrations。资源单位自动换算,GPU 类型 any|nvidia|amd|apple|none,目前仅支持 NVIDIA CUDA。依赖用 requirements.txt、package.json、packages.txt。
限制:资料未提供收费、价格与效果信息;部分细节需查阅官方文档与参考文件。