用途
mlx-brain 是一个针对 MacBook 的 MLX 本地大语言模型(LLM)编排技能,目标是让用户在设备端(on-device)通过命令行运行轻量级本地模型。它适用于需要本地推理、隐私保护或离线使用的场景,即不依赖云端服务即可完成模型调用。
该技能隶属于 kjaylee/misskim-skills,仓库内提供 run.py 脚本作为执行入口。
主要能力
- 在 MacBook 上通过命令行运行本地 LLM。
- 支持直接传入提示词进行调用与测试。
- 支持通过 clawdbot 的
nodes invoke在指定节点(示例为 "MacBook Pro")上远程执行命令。 - 支持 JSON 格式输入,可在其中指定
prompt与model。
使用方式
资料给出的安装与使用前提为:
- 虚拟环境已创建:
$HOME/mlx-env - MLX 已安装
测试调用:
$HOME/mlx-env/bin/python3 $WORKSPACE/misskim-skills/mlx-brain/run.py "안녕?"
通过 clawdbot 在 MacBook 上运行:
clawdbot nodes invoke --node "MacBook Pro" --command "system.run" \
--params '{"command":"$HOME/mlx-env/bin/python3 $WORKSPACE/misskim-skills/mlx-brain/run.py \"안녕?\""}'
JSON 输入方式:
echo '{"prompt":"안녕?","model":"qwen"}' |
clawdbot nodes invoke --node "MacBook Pro" --command "system.run"
--params '{"command":"$HOME/mlx-env/bin/python3 $WORKSPACE/misskim-skills/mlx-brain/run.py --json"}'
模型
资料中列出的模型包括:
qwen:Qwen2.5-7B-Instruct-4bit(主模型)coder:Qwen2.5-Coder-7B-4bit(面向编程)
适用场景
- 需要在 MacBook 上进行本地或离线模型推理。
- 对数据隐私有要求、不希望将内容发送到云端的场景。
- 通过 clawdbot 节点机制在指定设备上远程触发本地模型调用。
- 使用
coder模型进行与编程相关的本地推理任务。
限制
资料仅提供了上述命令行调用方式、JSON 输入格式与模型清单,未涉及参数选项细节、性能指标、硬件要求或平台兼容范围的更多说明。除已列出的两种模型外,未提供其他可用模型信息。