用途:帮助学习者在开发者工作站上构建完全本地推理的 AI 智能体,使其能推理、调用工具并检索文档,无需云端推理,适用于隐私、成本或离线场景。
主要能力:用 Foundry Local 在本地以 OpenAI 兼容端点提供服务模型,通过 Qwen 函数调用模型驱动可靠的本地工具调用;加入基于 Chroma 的本地 RAG(嵌入、存储、检索、推理全在本地)或本地 MCP 服务器(可经 stdio 本地运行);设计本地/云端混合路由策略。核心思路是让 SLM 负责编排,工具承担重活:模型只需知道何时调用 read_file 与 search_docs,而非记住整个代码库。Foundry Local 会为机器自动选择最佳 CPU/GPU/NPU 构建。
使用方式:安装并运行模型如 foundry model run qwen2.5-7b-instruct,用 foundry service status 查看服务状态;代码中通过 FoundryLocalManager 获取 endpoint 与本地占位 api_key,再用 OpenAI 客户端连接,云代理代码通常只需改 base_url 即可迁移。示例模式见 17-local-agent-foundry-local.ipynb:注册 OpenAI tools schema 工具、本地执行、回传结果循环至最终答复;沙箱化文件工具限制在单一项目根目录内;本地 RAG 将文档写入 Chroma 集合并返回 top-k 片段;本地 MCP 经 stdio 连接并校验输出。
适用场景:敏感数据或离线环境、简单有界任务、非敏感数据的复杂多跳推理(可转云端)、云端故障时的优雅降级。
限制:SLM 在广度知识、长多跳推理上较弱,应依赖工具与 RAG;约 8 GB 内存为现实最低要求,GPU/NPU 有帮助但非必需;工具即便本地运行也具用户权限,须限定在沙箱目录;目标为隐私或离线时不得将代码或数据送往云端;第 17 课没有 Foundry Responses 端点,因此云端冒烟测试不适用,需本地运行笔记本验证。其他收费与价格信息暂未提供。