SuperAPI AI 工具集

mlx-brain

智能体与模型

查看项目

更新于 10-16 17:26

技能介绍

用途

mlx-brain 是一个针对 MacBook 的 MLX 本地大语言模型(LLM)编排技能,目标是让用户在设备端(on-device)通过命令行运行轻量级本地模型。它适用于需要本地推理、隐私保护或离线使用的场景,即不依赖云端服务即可完成模型调用。

该技能隶属于 kjaylee/misskim-skills,仓库内提供 run.py 脚本作为执行入口。

主要能力

  • 在 MacBook 上通过命令行运行本地 LLM。
  • 支持直接传入提示词进行调用与测试。
  • 支持通过 clawdbot 的 nodes invoke 在指定节点(示例为 "MacBook Pro")上远程执行命令。
  • 支持 JSON 格式输入,可在其中指定 prompt 与 model。

使用方式

资料给出的安装与使用前提为:

  • 虚拟环境已创建:$HOME/mlx-env
  • MLX 已安装

测试调用:

$HOME/mlx-env/bin/python3 $WORKSPACE/misskim-skills/mlx-brain/run.py "안녕?"

通过 clawdbot 在 MacBook 上运行:

clawdbot nodes invoke --node "MacBook Pro" --command "system.run" \
  --params '{"command":"$HOME/mlx-env/bin/python3 $WORKSPACE/misskim-skills/mlx-brain/run.py \"안녕?\""}'

JSON 输入方式:

echo '{"prompt":"안녕?","model":"qwen"}' | 

clawdbot nodes invoke --node "MacBook Pro" --command "system.run" 

--params '{"command":"$HOME/mlx-env/bin/python3 $WORKSPACE/misskim-skills/mlx-brain/run.py --json"}'

模型

资料中列出的模型包括:

  • qwen:Qwen2.5-7B-Instruct-4bit(主模型)
  • coder:Qwen2.5-Coder-7B-4bit(面向编程)

适用场景

  • 需要在 MacBook 上进行本地或离线模型推理。
  • 对数据隐私有要求、不希望将内容发送到云端的场景。
  • 通过 clawdbot 节点机制在指定设备上远程触发本地模型调用。
  • 使用 coder 模型进行与编程相关的本地推理任务。

限制

资料仅提供了上述命令行调用方式、JSON 输入格式与模型清单,未涉及参数选项细节、性能指标、硬件要求或平台兼容范围的更多说明。除已列出的两种模型外,未提供其他可用模型信息。