SuperAPI AI 工具集

huggingface-local-models

通用与其它

查看项目

更新于 10-16 05:55

技能介绍

用途:在本地用 llama.cpp 和 GGUF 选择并运行模型,支持 CPU、Mac Metal、CUDA、ROCm。主要能力包括在 Hugging Face Hub 搜索兼容 llama.cpp 的 GGUF 仓库、选择合适量化、用 llama-cli 或 llama-server 启动模型,以及提供 OpenAI 兼容的本地服务。

默认流程:用 apps=llama.cpp 搜索 Hub;打开 https://huggingface.co/<repo>?local-app=llama.cpp;优先采用页面显示的 HF local-app 片段与量化建议;用 https://huggingface.co/api/models/<repo>/tree/main?recursive=true 确认精确 .gguf 文件名;用 llama-cli -hf <repo>:<QUANT> 或 llama-server -hf <repo>:<QUANT> 启动;仓库使用自定义命名时回退到 --hf-repo 加 --hf-file;仅当仓库未提供 GGUF 时才从 Transformers 权重转换。

安装与认证:brew install llama.cpp、winget install llama.cpp,或 git clone https://github.com/ggml-org/llama.cpp 后 make;受限仓库用 hf auth login。

量化选择:优先采用 HF 在 ?local-app=llama.cpp 页面标记为兼容的量化;保留 UD-Q4_K_M 等仓库原生标签;默认 Q4_K_M;代码或技术任务在内存允许时用 Q5_K_M 或 Q6_K;内存或显存紧张可考虑 Q3_K_M、Q4_K_S 或仓库特定 IQ / UD-* 变体;mmproj-*.gguf 是投影权重而非主检查点。

限制:仅在任务明确匹配其上游产品或 API 范围时使用;执行前应依据当前官方文档核实命令、API 行为、定价、配额、凭据与部署影响;生成的示例不能替代环境特定测试、安全审查或对破坏性/高成本操作的用户批准。其他细节暂未提供。