SuperAPI AI 工具集

yao-doubao-crawler

数据与分析

查看项目

更新于 10-16 05:25

技能介绍

Yao Doubao Crawler 是一个面向豆包(Doubao)AI 搜索的批量采集与分析技能,主要用途是按关键词或问题重复采集豆包返回的结果,并将采集数据整理为结构化报告。

一、输入参数 使用该技能需要提供:关键词或问题、重复采集次数、后端类型(web 或 mobile)、连接相关字段以及输出目录。如果要做标准诊断,还需要补充目标实体(target entity)和实体类型(entity type)。若未提供目标实体,则生成探索性输出,并将推断出的候选实体标注为启发式(heuristic)结果。

二、工作流程

  1. 阅读参考资料:references/user-setup-and-usage.md、references/doubao-crawl-workflow.md、references/report-contract.md。
  2. 若使用 Android/Appium 移动端后端,还需阅读 references/mobile-appium-workflow.md,并运行 python3 scripts/doubao_mobile_crawl.py preflight ... 进行预检。
  3. 第一阶段(网页端):运行 scripts/doubao_batch_crawl.mjs。
  4. 第一阶段(移动端):运行 scripts/doubao_mobile_crawl.py batch;当样本必须从独立的豆包应用会话开始时,使用 --fresh-chat --require-fresh-chat。
  5. 第二阶段:对兼容的采集 JSON 运行 scripts/analyze_doubao_results.py 进行分析。
  6. 使用 evals/ 和 templates/ 进行打包检查和采集简报编写。

三、输出内容 返回采集 JSON、summary.json、结构化的 Markdown/Excel 文件、HTML 报告,移动端还会返回截图/XML、失败日志,以及在存在时提供移动端搜索素材证据。

四、诚实边界

  1. 不绕过登录、验证码、风控、隐藏 API、网络流量或应用存储。
  2. Android/Appium 属于低频、可见 UI 的证据采集方式。
  3. 概率和竞品指标均为重复采样的估算值;对外使用前需先审核别名(aliases)。
  4. 保留原始答案、引用、URL、截图/XML 和日志。