SuperAPI AI 工具集

huggingface-zerogpu

写作与研究

查看项目

更新于 10-16 03:47

技能介绍

用途:为在 Hugging Face Spaces 的 ZeroGPU 硬件上运行 Gradio SDK 应用提供规则与模式,覆盖 @spaces.GPU 用法、时长与配额调优、进程隔离、CUDA 可用性模型、并发安全与 CUDA 构建约束。仅适用于 Gradio SDK Spaces;Docker 与 Static Spaces 无法调度到 ZeroGPU,Streamlit 现以 Docker Spaces 运行,故不适用。

主要能力:说明 ZeroGPU 提供 large(默认,半张卡,1x 配额)与 xlarge(整卡,2x 配额)两种规格;模型应在模块作用域实例化并调用 .to("cuda"),实际计算须放在 @spaces.GPU 装饰的函数内;装饰器在非 ZeroGPU 环境为无操作,可无条件保留。

使用方式:为 @spaces.GPU 设置贴近真实最坏情况的 duration(默认 60s),平台按声明时长而非实际运行时长预检配额,过大会触发 quota exceeded 并降低队列优先级;可变负载可传入估算函数。不要返回 CUDA 张量,先转 CPU;参数与返回值经 pickle 序列化,仅支持可 pickle 对象。处理器默认并发执行,需避免可变全局状态与固定输出路径。

限制:不支持 torch.compile,可用 AoTI(torch 2.8+);构建阶段无 nvcc,CUDA 依赖包须用预编译 wheel;README 需固定 python_version,requirements.txt 中不要固定 spaces;示例缓存默认 lazy。具体 GPU 型号、运行时版本与配额阈值以官方文档为准。