SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场claude-code-local-mlx

claude-code-local-mlx

编程与开发

查看项目

更新于 10-16 10:36

技能介绍

用途

该技能用于在 Apple Silicon（M1/M2/M3/M4）上以 100% 本机方式运行 Claude Code，使用本地 AI 模型。它提供一个 MLX 原生、兼容 Anthropic API 的服务器，使强大的本地模型可作为 Claude 的替代方案被 Claude Code 客户端使用。资料明确其面向隐私关键工作流（NDA、法律、医疗），即数据不能离开设备的场景。

主要能力

  • MLX 原生推理，针对 Apple Silicon 优化。
  • Anthropic API 兼容：可将 Claude Code 客户端指向 localhost:8000。
  • 提供四种模型选项：Gemma 4 31B（快）、Qwen 3.5 122B（均衡）、Llama 3.3 70B（dense）、DeepSeek V4 Flash（1M 上下文）。
  • 100% 离线：可在飞行模式工作，适合气隙环境。
  • 语音模式：设备端 STT/TTS，免手操作编码。
  • 浏览器代理：局域网内任意设备远程访问。

使用方式

先决条件包括：macOS 且为 Apple Silicon，Python 3.10+，以及 Homebrew。资料列出各模型的最低 RAM：Gemma 4 31B 为 32 GB，Qwen 3.5 122B 为 96 GB，Llama 3.3 70B 为 96 GB，DeepSeek V4 Flash 为 128 GB。

快速开始三步：

# 1. Clone the repo
git clone https://github.com/nicedreamzapp/claude-code-local.git
cd claude-code-local

# 2. Install dependencies
pip install -r requirements.txt

# 3. Start the server (Qwen 3.5 122B example)
bash scripts/start-mlx-server.sh

服务器启动后会从 HuggingFace 下载模型（例如 Qwen 约 65 GB），在 http://localhost:8000 启动兼容 Anthropic API 的服务器，并打印使用说明。

模型选择通过环境变量 MLX_MODEL 完成：

# Gemma 4 31B (fast, 32GB+ RAM)
export MLX_MODEL="bartowski/gemma-4-code-it-31b-MLX-4bit"
bash scripts/start-mlx-server.sh

# Qwen 3.5 122B (balanced, 96GB+ RAM)
export MLX_MODEL="mlx-community/Qwen3.5-MoE-A10B-4bit"
bash scripts/start-mlx-server.sh

# Llama 3.3 70B (dense, 96GB+ RAM)
export MLX_MODEL="divinetribe/Llama-3.3-70B-Instruct-abliterated-8bit-mlx"
bash scripts/start-mlx-server.sh

DeepSeek V4 Flash 使用独立的 ds4 引擎，需先克隆并构建 ds4、下载模型（q2 为 81GB，q4 为 153GB），再启动 ds4 服务器包装脚本并用 claude-ds4 调用。

配置与集成

客户端配置通过设置 ANTHROPIC_API_KEY（任意字符串）与 ANTHROPIC_BASE_URL="http://localhost:8000"，或使用包装脚本 ./claude-local。服务器配置文件为 config/server.yaml，可设置 host、port、模型名、max_tokens、temperature，以及 cache_prompt、max_kv_size 等性能选项。项目还提供 .command 双击启动器。

资料还给出语音模式安装（requirements-voice.txt、下载语音模型、启动语音服务器、语音客户端）、浏览器代理服务器（http://YOUR_MAC_IP:5000），以及 VS Code 扩展、CLI 包装、Cursor IDE 的配置示例。

适用场景

  • 隐私关键工作流：如 NDA、法律、医疗等数据不能离开设备的场景。
  • 离线与气隙环境：可在飞行模式下运行。
  • 免手操作编码：通过语音模式。
  • 局域网远程访问：通过浏览器代理在手机、平板等设备上使用。
  • 长上下文处理：DeepSeek V4 Flash 提供 1M 上下文，用于分析整个代码库。

限制

  • 仅在 macOS 且为 Apple Silicon 上运行，且各模型有明确的最低 RAM 要求。
  • DeepSeek V4 Flash 需要额外的 ds4 引擎构建与模型下载，模型文件体积较大。
  • 首次运行需要从 HuggingFace 下载模型（例如 Qwen 约 65 GB），需考虑磁盘与网络。
  • 资料未提供收费、价格或授权信息，暂未提供。
  • 性能基准数据基于 M4 Max 128GB 测试，实际表现可能因设备而异。