SuperAPI AI 工具集

mlx-apple-silicon

智能体与模型

查看项目

更新于 10-16 08:07

技能介绍

用途:在 Apple Silicon(M 系列芯片)上运行与微调大语言模型。MLX 是 Apple 的机器学习框架,mlx-lm 提供高层 LLM API,mlx-vlm 支持视觉/多模态模型。

主要能力:统一内存(数组位于共享内存,无 GPU↔CPU 传输)、惰性求值、Metal 后端原生 GPU 加速、4 位量化(模型体积约缩小 75%)、流式生成、批量生成、采样控制(温度、top-p、top-k、min-p、重复惩罚)、提示缓存(多轮对话复用)、KV 缓存轮转(长序列有界内存)、投机解码(草稿模型加速)、模型转换与量化、LoRA/QLoRA 微调。

使用方式:安装 pip install mlx mlx-lm(Linux CUDA 用 pip install "mlx[cuda]");命令行生成 mlx_lm.generate --model MODEL --prompt "..." --max-tokens N;交互聊天 mlx_lm.chat --model MODEL;转换 mlx_lm.convert --hf-path HF_MODEL -q --mlx-path ./local;LoRA 微调 mlx_lm.lora --model MODEL --data ./data --output ./lora-adapters。Python 侧可用 load、generate、stream_generate、batch_generate 等接口。

适用场景:Mac 本地推理、多轮对话、长上下文、模型量化与本地微调、多模态图像理解。

限制:主要面向 Apple Silicon;Linux CUDA 支持需 v0.28+;部分特性(如 MXFP4/NVFP4、M5 神经加速器、CUDA 后端)有版本要求;具体性能与硬件相关,资料未提供统一基准。