SuperAPI AI 工具集

huggingface-zerogpu

通用与其它

查看项目

更新于 10-16 03:37

技能介绍

用途:面向使用 Hugging Face Spaces ZeroGPU 硬件的 Gradio SDK Space,提供编写与排查模型的规则与模式,涉及 @spaces.GPU、duration 与配额调优、进程隔离、CUDA 可用性模型、并发安全及 CUDA 构建约束。仅适用于 Gradio,Docker 与 Static Space 无法调度到 ZeroGPU;Streamlit 现以 Docker Space 运行,故不适用。

主要能力:硬件分 large(默认,半张卡,1 倍配额)与 xlarge(整卡,2 倍配额);模块作用域实例化模型并 .to("cuda"),实际计算须放在 @spaces.GPU 内;装饰器在非 ZeroGPU 环境为空操作,本地只需安装 spaces 包,不要自行写 try/except 回退。

duration 与配额:声明 duration 会经历层级上限检查、配额预检与队列优先级三关;建议取最小合理值,可变负载可用可调用对象估算。size="xlarge" 内部按 N*2 计。

限制:不支持 torch.compile,需用 AoTI(torch 2.8+)。装饰函数在独立进程运行,参数与返回值经 pickle,不可返回 CUDA 张量,需先转 CPU;gr.State 按值传递,不共享引用。并发默认开启,禁止可变全局状态与固定输出路径。ZeroGPU 构建环境无 nvcc,CUDA 依赖包必须使用预编译 wheel。不要在 requirements.txt 中固定 spaces;README frontmatter 建议固定 python_version,torch 需与 wheel 标签匹配。更多细节参见官方 ZeroGPU 文档。