AgentFetch 是面向 AI 智能体的网页情报工具，以 MCP 服务器的形式提供。它位于你的智能体与开放网络之间：与其分别集成 Jina、FireCrawl、pypdf 以及自建缓存层，智能体只需调用一个 MCP 工具，AgentFetch 就会自动处理路由、缓存、token 预算与干净的 Markdown 提取。
用途方面，AgentFetch 主要用于让 AI 智能体抓取网页 URL，并对抓取结果进行 token 估算、缓存与截断，帮助智能体在有限的 token 预算内高效获取网络内容。
主要能力包括：智能路由——按 URL 将请求发送到最经济有效的抓取器，其中 Trafilatura（免费、本地）处理约 70% 的标准网页，Jina Reader 处理其余 HTML，FireCrawl 处理 JS 密集型页面（如 Twitter/X、LinkedIn、Notion 等），pypdf 处理 PDF（零外部成本）；缓存——使用 Redis，TTL 为 6 小时，也可以自带缓存或完全不使用缓存；token 估算——在提交抓取前先估算 token；批量抓取——支持并行抓取多个 URL；以及 search_and_fetch 等工具。
使用方式上，可先通过 PyPI 安装（也能克隆仓库本地安装），然后设置环境变量。Jina Reader 的免费 key 可在 jina.ai 获取（免费额度为每月 100 万 token）；FireCrawl 为可选项，但推荐用于 JS 密集型页面。接着可将其添加到 Claude Desktop 或 Claude Code：在 macOS 上编辑 MCP 配置文件（~/Library/Application Support/Claude/claude_desktop_config.json），或在 Claude Code 中运行 claude mcp add，重启 Claude 后四个工具（fetch_url、estimate_tokens、fetch_multiple、search_and_fetch）会自动出现。它也可作为独立服务器运行，通过 stdio 通信，这是桌面集成的标准传输方式。
适用场景主要是 AI 智能体需要从网络抓取内容、控制 token 预算、降低抓取成本并复用缓存的情形；也支持通过 hosted 托管版本获得按次计费、免费额度、托管 Redis 缓存、抓取器自动故障转移以及用量跟踪和发票仪表盘。托管 API 是可直接替换的 REST 等价实现，响应结构与路由逻辑一致，可以本地运行开源 MCP 与托管 API 并行，或随时在两者间迁移。
限制方面，本仓库仅包含开源的 MCP 服务器，托管产品、计费与运维基础设施位于单独的私有仓库；若新增抓取器（如 Bright Data、ScrapingBee 等），需匹配 agentfetch/core/fetchers/init.py 中的 FetchResult 接口并把成本加入路由逻辑。托管版本的具体收费从每次抓取 0.001 美元起，注册赠送 500 次免费抓取且无需信用卡。项目采用 MIT 许可证。
