该项目旨在为 AI 智能体提供一套免费、零 API 密钥、且能本地验证证据的搜索基础设施。它的核心思路是在原始网络搜索结果与智能体之间加入一个“筛子”，过滤低质量内容，减少上下文 token 消耗、延迟和注意力分散。
用途与定位 该项目面向需要联网搜索能力的 AI 智能体、LLM 应用或开发者工具，强调“回答前先搜索”，可跨多个搜索引擎和知识来源获取信息，并进行证据验证。
主要能力
- 零 API 密钥搜索：默认使用 DuckDuckGo，可自托管 SearXNG 进行交叉验证，也可选 Bright Data 用于生产级 SERP 与 Web Unlocker。
- 本地神经证据验证：内置 Laya（Apache-2.0 开放权重、非自回归决策模型），对每条结果做相关性评分，单次前向传播约 35ms，批量可达 100–330 问题/秒，输出校准概率。
- 声明验证：对每条来源进行概率化立场分类（支持/冲突/中立），替代纯关键词匹配，并生成可引用的证据报告。
- 优雅降级：未安装 Laya 时回退到词法启发式验证器；某个提供方不可用时切换到下一个；页面被阻止时尝试解锁器；解锁器关闭时仅用摘要。
- MCP 服务器：提供 8 个工具，包括 search_web、llm_context、browse_page、verify_claim、evidence_report、list_providers、clear_cache、setup_providers，前四个支持 laya 与 laya_threshold 参数。
- 提供方路径：从免费（DuckDuckGo）到免费交叉验证（自托管 SearXNG），再到生产 SERP（Bright Data 支持 Google、Bing、DuckDuckGo、Yandex、百度、Yahoo、Naver），以及生产级加 Web Unlocker。
- 可靠性机制：每个提供方带断路器（连续 3 次失败冷却 60 秒）、搜索与页面响应缓存、异步与多线程提供方扇出、goggles 风格重排序预设（docs-first、research、news-balanced）。
使用方式 项目提供 30 秒快速设置。用户可选安装本地“筛子”（约 800 MB），在 Apple Silicon 上使用 MPS，在 NVIDIA GPU 上使用 CUDA，在 CPU 上也可运行（较慢）。若网络无法访问 Hugging Face，可设置 HF_ENDPOINT。项目包含 CLI 与 MCP 服务器，MCP 可与 Claude、Cursor 等支持 MCP 的智能体工具集成。
适用场景
- 需要联网搜索能力但不想管理多个搜索 API 密钥的 AI 智能体。
- 需要对搜索结果进行证据验证、生成带引用报告的研究型应用。
- 需要跨多个搜索引擎、多语言、多平台（如 Wikipedia、arXiv、YouTube、Reddit）获取信息的场景。
- 希望在生产环境中通过 Bright Data 获得结构化、地理定向搜索结果的团队。
限制与注意事项
- 词法验证器（evidence-aware-heuristic-v3）是模式匹配而非蕴含判断，对同义改写、否定范围、数字不匹配不敏感。
- Laya 模式（laya-stance-v1）可减少一类失败，但并非消除失败可能。Laya 默认阈值 0.5 是合理值而非校准值，生产使用前建议用小规模标注集扫描 --laya-threshold。
- Laya 的基础检查点适合微调，不是零样本预言机；高风险领域建议在开放检查点上针对自身工作流微调，并通过 --laya-model / --laya-subfolder 加载。
- 高基数选项集（每问题超过 20 个选项）是 Laya 的弱项；本项目每项仅问 1–2 个选项的是/否问题，处于其舒适区。
- 验证质量依赖搜索返回：没有网络足迹时，会按设计返回 insufficient_evidence。
- Laya 集成使用 Convai Innovations 的 Laya（Apache-2.0 开放权重），搜索提供方、验证管线、MCP 服务器与 CLI 为本项目原创，采用 MIT 许可证。
技术细节
- 验证融合公式：Laya 模式下为 0.55 × 神经立场 + 0.35 × 来源质量 + 0.10 × 新鲜度；词法模型下为 0.45 × 关键词重叠 + 其他因素。结果载荷保留完整词法侧车，便于对比两种分类器。
- 测试：111 个测试通过（python -m pytest tests/ -q）。
- 页面感知验证（--deep）会抓取顶部页面并重新评分。
- 命中复合语句时会做声明分解，产出子声明裁决。
官方仓库地址：https://github.com/wd041216-bit/free-web-search-ultimate
