Qwen3

一、用途\nQwen3 是阿里云通义千问团队开发的开源大语言模型系列，面向通用对话、复杂推理、代码生成、多语言翻译以及智能体（Agent）工具调用等场景。模型权重公开，允许用户在自有硬件或云端进行推理、微调与二次开发。\n\n二、主要能力\n1. 模型规模与类型：提供稠密和 Mixture-of-Expert（MoE）模型，包括 0.6B、1.7B、4B、8B、14B、32B 以及 30B-A3B、235B-A22B 等规格。\n2. 思考模式切换：Qwen3（即 Qwen3-2504）支持在思考模式（用于复杂逻辑推理、数学和代码）与非思考模式（用于高效通用聊天）之间无缝切换。可通过 enable_thinking=False 或 /think、/no_think 指令控制。\n3. Qwen3-2507 更新版：分 Instruct 与 Thinking 两种变体，覆盖 235B-A22B、30B-A3B、4B 三种规模。\n - Qwen3-Instruct-2507：仅支持非思考模式，输出不生成 <think></think> 块，在指令跟随、逻辑推理、文本理解、数学、科学、代码、工具使用、多语言长尾知识、主观与开放式任务对齐方面均有提升。\n - Qwen3-Thinking-2507：仅支持思考模式，默认聊天模板自动包含 <think>，在逻辑推理、数学、科学、代码及学术基准上达到开源思考模型领先水平，思考长度增加。\n4. 长上下文：支持 256K token 长上下文理解，可扩展至 100 万 token（2025.08.08 起 Qwen3-2507 支持 1M token 超长输入）。\n5. 多语言：支持 100 多种语言和方言，具备较强的多语言指令跟随与翻译能力。\n6. 智能体能力：在思考与非思考模式下均可精确集成外部工具，在复杂智能体任务中处于开源模型前列。可结合 Qwen-Agent 使用，支持工具调用、函数调用和 MCP。\n\n三、使用方式\n1. 模型获取：可在 Hugging Face 或 ModelScope 组织下搜索以 Qwen3- 开头的检查点，或访问 Qwen3 合集。中国大陆用户建议使用 ModelScope，其提供类似 Transformers 的 Python API，也可用 modelscope download 命令行工具下载。\n2. Transformers 推理：需 transformers>=4.51.0，推荐最新版本。支持批量推理、流式输出等。\n3. 本地运行：\n - llama.cpp：建议 llama.cpp>=b5401。使用 CLI 运行，或启动 API 服务器，Web 前端在 http://localhost:8080 ，OpenAI 兼容 API 在 http://localhost:8080/v1 。llama.cpp 采用“旋转上下文管理”，可通过参数配置。\n - Ollama：建议 v0.9.0 及以上。启动 Ollama 服务后，用 ollama run qwen3:8b 或 qwen3:30b-a3b 拉取并运行模型；OpenAI 兼容 API 默认在 http://localhost:11434/v1/ 。注意 Ollama 命名可能与 Qwen 原始命名不一致，使用前可查看 https://ollama.com/library/qwen3/tags 。Ollama 同样采用旋转上下文管理，默认 num_ctx 2048 和 num_predict -1 可能导致问题，建议合理设置。\n - LM Studio：已支持 Qwen3，可直接使用 GGUF 文件。\n - ExecuTorch：可导出运行于 iOS、Android、Mac、Linux 等。\n - MNN：支持在移动设备上运行 Qwen3。\n - mlx-lm：Apple Silicon 上可用，需 mlx-lm>=0.24.0，查找 Hugging Face Hub 上以 MLX 结尾的模型。\n - OpenVINO：Intel CPU 或 GPU 上可用。\n4. 部署：SGLang（>=0.4.6.post1）、vLLM（>=0.9.0）、TensorRT-LLM（>=0.20.0rc3）均支持，提供 OpenAI 兼容 API。Ascend NPU 可访问 Modelers 搜索 Qwen3。注意 SGLang 和 vLLM 的 API 请求预处理会丢弃 reasoning_content 字段，可能影响多步工具调用质量，建议原样传递内容而不提取思考内容。\n5. 量化：支持 GPTQ、AWQ 量化，以及生成高质量 GGUF 量化文件。\n6. 训练与微调：支持 Axolotl、UnSloth、Swift、Llama-Factory 等框架，可进行 SFT、DPO、GRPO 等后训练。\n\n四、适用场景\n- 复杂逻辑推理、数学与科学问题求解（Thinking 模式）\n- 代码生成与编程辅助（Instruct 与 Thinking 均覆盖）\n- 多语言翻译与跨语言指令跟随\n- 智能体与工具调用、函数调用、MCP 集成\n- 长文档理解（256K 至 1M token）\n- 本地私有化部署、端侧运行与量化推理\n\n五、限制\n- Qwen3-Instruct-2507 仅支持非思考模式；Qwen3-Thinking-2507 仅支持思考模式，两者不可互换模式。\n- Thinking-2507 思考长度增加，建议在高度复杂推理任务中预留足够最大生成长度。\n- 使用 llama.cpp 或 Ollama 默认配置时，旋转上下文管理和 num_ctx/num_predict 默认值可能影响长对话或长生成效果，需手动调整。\n- SGLang 与 vLLM 当前对 reasoning_content 的预处理可能降低思考模型多步工具调用质量。\n- Ollama 模型命名可能与官方命名不一致，且对应版本会随时间变化。\n- 具体 GPU 内存需求与吞吐量需参考官方结果页面；本地运行需满足相应硬件条件。\n- 所有开源权重采用 Apache 2.0 许可，具体许可文件见各 Hugging Face 仓库。