SuperAPI AI 工具集

huggingface-zerogpu

通用与其它

查看项目

更新于 10-16 05:54

技能介绍

用途:为 Hugging Face Spaces 上使用 ZeroGPU 硬件的 Gradio SDK 应用编写或审查代码,涉及 @spaces.GPU、python_version 与 requirements.txt 配置、ZeroGPU 专属约束。Docker 与 Static Spaces 无法调度到 ZeroGPU,Streamlit 现按 Docker Spaces 运行,故仅适用于 Gradio。

能力与规则:ZeroGPU 提供 large(默认,半个物理 GPU,1 倍配额)与 xlarge(整卡,2 倍配额)两种尺寸;后端 GPU 型号与各尺寸显存不定期变更,需查官方文档确认。模型应在模块作用域实例化并调用 .to("cuda"),真实 GPU 只在被装饰函数内可用;import spaces 会 monkey-patch torch,使 torch.cuda.is_available() 全局为 True。不要模块作用域推理。duration 建议按最坏情况设置(默认 60 秒),平台按声明时长预检配额,过长会误报 quota exceeded,且短时长在节点队列中优先级更高;xlarge 请求量翻倍。不支持 torch.compile,可用 AoTI(torch 2.8+)。

使用方式:函数加 @spaces.GPU,装饰器在非 ZeroGPU 环境为透明直通,本地直接安装 spaces 包即可,无需 try/except 兜底。参数与返回值经 pickle 跨进程传递,只支持可序列化对象,禁止直接返回 CUDA 张量(先 .cpu())。默认并发执行,避免可变全局状态与固定输出路径,只读全局模型安全。建议装饰外层循环函数而非每次迭代。

限制:gr.State 跨边界按值拷贝且每次 yield 都序列化;ZeroGPU 上 cache_examples 默认 True 且 cache_mode 默认 lazy。README frontmatter 需固定 python_version(如 3.12);不要在 requirements.txt 中固定 spaces;CUDA 依赖包需使用预编译 wheel,因构建环境无 nvcc。其它时效性细节以官方文档为准。