SuperAPI AI 工具集

huggingface-zerogpu

编程与开发

查看项目

更新于 10-15 22:15

技能介绍

用途:为在 Hugging Face Spaces 上使用 ZeroGPU 硬件的 Gradio 应用编写和审查代码提供规则与模式。Docker 与 Static Spaces 无法调度到 ZeroGPU,Streamlit 现以 Docker Spaces 运行,故本技能仅适用于 Gradio;通用 Gradio 组件与事件监听不属于本技能。

主要能力与用法:用 @spaces.GPU 装饰 GPU 函数,装饰器在非 ZeroGPU 环境为透传;模型在模块作用域实例化并立即 .to("cuda"),真实 GPU 只在被装饰调用期间挂载。ZeroGPU 提供 large(默认,半张卡,1x 配额)与 xlarge(整张卡,2x 配额)两种尺寸。duration 应设为现实最坏耗时,默认 60s 会因配额预检查而提前拒绝短任务;可用可调用对象按请求动态估算。不要返回 CUDA 张量,需先转 CPU(tensor.cpu()),否则会触发被 ZeroGPU 阻止的惰性初始化。参数与返回值经 pickle 跨进程传递,仅可传输可 pickle 对象;gr.State 是按值 pickle 而非引用,生成器中就地修改不可见,CUDA 张量须先转 CPU。处理函数默认并发运行,需避免可变全局状态与固定输出路径,只读全局(模型、分词器等)安全。不要在热循环内调用被装饰函数,应装饰拥有循环的外层函数。torch.compile 不支持,可用 AoTI。

限制:ZeroGPU 构建环境无 nvcc,依赖 CUDA 的包必须使用预编译 wheel,仅提供 sdist 的包(如裸 flash-attn)无法通过 requirements.txt 安装。README 前沿须固定 python_version(如 3.12)。不要在 requirements.txt 中固定 spaces。按直接 URL 安装 CUDA wheel 时需固定匹配的 torch 版本。gr.Examples 在 ZeroGPU 上 cache_examples 默认 True、cache_mode 默认 lazy。后端 GPU、各尺寸显存与配额分层会变化,须查阅官方 ZeroGPU 文档。