SuperAPI AI 工具集

web-search

通用与其它

查看项目

更新于 10-18 10:18

技能介绍

用途

web-search 用于在环境中缺少内置浏览器或网页搜索工具时,执行网络搜索并读取页面内容。它通过 ddgs 库调用 DuckDuckGo 搜索接口,不需要 API 密钥或认证。搜索可覆盖网页、新闻、图片、视频和图书;搜索到有用链接后,可再用 fetch 脚本抓取页面正文。

主要能力

  • 搜索类型:文本(网页)、新闻、图片、视频、图书。
  • 结果控制:通过 --max-results 限制返回数量,默认 10 条。
  • 时间筛选:--date-filter 支持 day、week、month、year。
  • 分页:支持 --page(从 1 开始)和 --offset(精确偏移),--offset 大于 0 时覆盖 --page。
  • 输出格式:text(默认)、markdown、json。
  • 文件保存:--output 按 --format 决定的格式写入文件,与文件扩展名无关。
  • 新闻回退:新闻搜索无结果时自动改用普通网页搜索,并标注为 smart fallback。
  • 页面抓取:fetch.py 支持 --mode markdown、links、html,并用 --max-chars 和 --offset 处理长页面分页;输出被截断时会打印 Next cursor。
  • 其他机制:后端回退、结果富格式化、进程内尽力限流。

使用方式

先安装依赖:

pip install ddgs requests beautifulsoup4 lxml markdownify

基本搜索:

python scripts/search.py "<query>"

常用选项:

  • -t, --type:text、news、images、videos、books
  • -n, --max-results:最大结果数,默认 10
  • --date-filter:day、week、month、year
  • --page:页码
  • --offset:结果偏移
  • --backend:后端或自动回退顺序
  • -f, --format:text、markdown、json
  • -o, --output:保存到文件

示例:

python scripts/search.py "python asyncio tutorial" python scripts/search.py "artificial intelligence news" --date-filter week python scripts/search.py "climate change" --type news --date-filter week --max-results 15 python scripts/search.py "sunset over mountains" --type images --max-results 20 python scripts/search.py "python tutorial" --type videos --max-results 15 python scripts/search.py "quantum computing" --format json python scripts/search.py "OpenAI news" --type news --page 2 --max-results 5 python scripts/search.py "OpenAI news" --type news --offset 5 --max-results 5

抓取页面:

python scripts/fetch.py "https://example.com/article" --mode markdown --max-chars 5000 python scripts/fetch.py "https://example.com/article" --mode links python scripts/fetch.py "https://example.com/article" --mode html --max-chars 0

完整帮助:

python scripts/search.py --help

适用场景

  • 主题调研:分别搜索网页概览、近期新闻和教程视频。
  • 时事监控:按天或周筛选新闻并保存为 Markdown。
  • 查找视觉资源:按关键词搜索图片并获取图片 URL、缩略图、来源和尺寸。
  • 事实核查:使用近期时间过滤获取多个来源。
  • 学术与市场调研:按年或按月筛选结果,以 Markdown 或 JSON 保存。
  • 知识库构建:将多个相关主题的搜索结果分别保存为文件。
  • 自动化处理:使用 JSON 输出供其他脚本解析。

限制

  • 结果质量取决于 DuckDuckGo 的索引与算法,无法控制排序或相关性评分。
  • site:、引号、OR 等搜索操作符会透传给 ddgs,具体支持因所选后端而异。
  • 图片和视频搜索的结果可能少于网页搜索。
  • 部分专业检索在专用搜索引擎上效果可能更好。
  • 服务可能临时不可用,需稍后重试;大量请求应适当间隔以避免限流。
  • 缺少依赖时会提示先运行 pip 安装命令。
  • 资料未提供该技能的收费、价格或平台兼容性等详细信息。