web-access

用途

Web access 面向需要从实时网络取内容的任务：搜索网页或新闻、读取某个 URL、梳理或抓取整个站点、从页面抽取指定字段，以及获取免费抓取难以触及的页面和平台数据。它不在本机运行，不需要浏览器、Cookie，也不需要小号账号；由 treg 在服务端调用供应商，路由任务在某个供应商返回空结果或被封锁时会自动尝试下一家。

主要能力

网页搜索与页面读取：通过 TinyFish 免费提供，命令示例：
```
treg call treg.web.search --data '{"q":"…"}' --header 'X-Treg-Route-Prefer: tinyfish'
treg call treg.web.extract --data '{"url":"…"}' --header 'X-Treg-Route-Prefer: tinyfish'
```
两者均为路由调用，TinyFish 返回空结果或被封锁时会转向下一家（如 Crawl4AI、AnyAPI 等）。
结构化抽取：treg.web.extract.structured，发送 URL 加 schema 和/或指令，取回类型化字段。
站点梳理与爬取：treg.web.map 获取站点全部 URL（可加 q 按主题排序），整站多页抓取可搜索 “crawl a website”。
新闻与论文：treg.web.search.news 返回带日期的结果；论文可搜索 “search research publications”。
平台数据：X、LinkedIn、Reddit、TikTok、Instagram、Threads、Facebook、YouTube、Bilibili、小红书、抖音、微博，以及商店（Amazon、Walmart、eBay 等）、评论（App Store、Google Play、Trustpilot、Glassdoor、Google Maps）、地点、Google SERP 结果，均以字段形式返回（帖子、资料、评论、互动等）。
一次读取多个 URL：直接调用 tinyfish.web.fetch 并传入 {"urls":[…]}，单次免费调用最多十个 URL，但不做回退。

使用方式

先确认环境：treg --version && treg balance。若未安装，按 https://treg.to/llms.txt 的说明安装并登录。

按任务类型选择端点，通过 treg catalog search "<用大白话描述的任务>" 查找当前可用的端点（目录每周变化，不要依赖记忆中的端点 ID）；treg catalog get <id> 可查看价格、路由背后的供应商、各家实测命中率与速度。建议先做一次小调用，查看 _treg.served_by、_treg.tried 和费用，再扩大规模。

路由控制通过请求头而非请求体传入：X-Treg-Route-Prefer 优先某供应商；X-Treg-Route-Exclude 跳过供应商；X-Treg-Route-Max-Cost 设置单次调用费用上限（不设上限时，一次失败最多可能走到 1 美元）；X-Treg-Route-Waterfall: 0 在首次失败即停止。批量调用务必设置 Max-Cost。

适用场景

公司调研：网页搜索 → 读取官网、定价与文档页 → 近 90 天新闻搜索 → LinkedIn 公司主页。
文档站读取：用 map 并按主题设置 q → 读取最相关页面。
页面变更监控：读取页面、保留文本哈希，下次运行对比并报告差异（可用用户所用智能体调度，如 Claude Code 的 /schedule 或 /loop，其他环境用 cron）。
舆情监听：在 X、Reddit、LinkedIn 搜索帖子 → 读取优质帖子的评论 → 按主题汇总并附链接。
跨店比价：在各商店搜索 → 对匹配项取商品详情 → 汇总为价格、评分和评论数表格。
评论收集：应用看 App Store 与 Google Play，公司看 Trustpilot 与 Glassdoor，地点看 Google Maps，用带数量的模式引用。
视频转笔记：YouTube 搜索 → 视频详情与评论 → 总结。

限制与原则

仅限公开数据。不得以用户身份登录、索取其 Cookie 或绕过付费墙，不得批量收集私人个体的个人数据。供应商拒绝某页面时，改用回退方案或告知用户，不要反复冲击。
平台数据（社交、商店、评论、地图）不是免费的，按次计价，可能为几分钱或不足一分钱；批量前需向用户说明。
目录随时变化，端点 ID 需实时查询；使用中若出问题，可用 treg feedback "<发生了什么>" 反馈给团队。

使用习惯

以 markdown 读取页面，并在进入上下文前去除导航与页脚；同一内容优先用平台字段化任务而非抓取页面，后者 token 消耗可能高出数倍；先搜索，只读取所需结果，不要为回答一个问题读取整站；交付每个事实时保留来源 URL。

暂未提供

原文未说明各端点的具体定价数值、免费额度上限、速率限制、支持的语言与时区范围，以及数据留存策略。