SuperAPI AI 工具集

llmf

智能体与模型

查看项目

更新于 10-16 06:16

技能介绍

用途:llmf 用于在本地零配置运行大语言模型,适合无云端 API 场景下启动本地 AI 模型、搭建本地 OpenAI 兼容接口,或进行快速的一次性文本生成。

主要能力:serve 命令提供 OpenAI 兼容的 HTTP 接口;cli 命令执行单次提示并输出结果;model 子命令支持从模型库下载、导入及本地 GGUF 或 llamafile 模型管理;tokenize 可将文本拆解为 token 细节。模型默认存放在 ~/.x-cmd/data/llmf/model/。

用法示例:启动本地 API 服务使用 x llmf serve -m llava/v1.5-7b/q4_k.gguf --nobrowser;快速生成文本使用 x llmf cli -p 'Write a concise summary of the Python GIL';下载模型使用 x llmf model download llava/v1.5-7b/q4_k.gguf。--nobrowser 用于无界面启动服务,不自动打开浏览器。

限制与注意:使用前应确认磁盘空间足够存放本地模型;确认所选模型格式(GGUF/llamafile)受支持;若运行 serve 需检查本地 API 端口是否可用。资料未提供具体收费、价格、性能指标或系统平台要求。