SuperAPI AI 工具集

web-research

写作与研究

查看项目

更新于 10-16 01:17

技能介绍

用途:当用户要求在网上调研某主题、从多个来源收集信息、做文献扫描或总结近期进展时使用。它把搜索、抓取和总结串成一条流水线。

主要能力:搜索层用 Tavily /search(默认无密钥)找出候选 URL;抓取层把单个 URL 转成干净的 Markdown,按顺序回退:优先 defuddle(CLI,完全免费、无速率限制,未安装则跳过且不自动安装),其次 Tavily /extract(无密钥、免费但有限速),最后是 mcode 内置浏览器(Browser Use),用于登录墙、JS 渲染或 Cloudflare 保护的页面。每个输出文件命名为 NN-<slug>.md,并带 [defuddle]、[tavily extract] 或 [browser required] 标记。

使用方式:默认一次性运行 python3 scripts/research.py "<query>" 5 ./research-output。需要分步控制时,可先只搜 URL:python3 scripts/tavily_search.py --query "<query>" --max-results 5 --format brave;再单 URL 抓取:defuddle parse "<url>" --md -o "<out>.md",或 python3 scripts/tavily_extract.py --url "<url>" --output "<out>.md",最后把 Markdown 合并成简短总结。

限制与失败处理:Tavily 无密钥限速(HTTP 429 或配额提示)会告知用户并建议设置 TAVILY_API_KEY,脚本不自动重试;defuddle 缺失时仅提示一次并改用 Tavily extract;单 URL 失败则回退;Tavily extract 失败会写入 <!-- needs mcode browser: <url> --> 标记,由模型决定是否用浏览器重取;三层都失败则保留标记,不循环。TAVILY_API_KEY 仅从环境读取,不写入日志。简单事实类问题无需本技能。