SuperAPI AI 工具集

yao-chatgpt-crawler

数据与分析

查看项目

更新于 10-16 09:52

技能介绍

用途:当用户提供 ChatGPT 网页 AI 搜索关键词、重复次数、目标实体、实体类型、OpenCLI 配置及抓取间隔偏好时,该技能用于批量抓取搜索结果并产出分析报告。

主要能力:按问题与重复次数运行批量抓取;指定目标实体与类型(人物/公司/产品);支持随机 30 秒至 1 分钟间隔,也可选 1-3 分钟或 3-10 分钟;返回抓取 JSON、摘要、结构化 Markdown/Excel、HTML 报告、可选语义审核缓存与失败日志;可引入同类型竞品进行分析。

使用方式:按需阅读 references/user-setup-and-usage.md、references/chatgpt-crawl-workflow.md 与 references/report-contract.md;全新抓取前先运行 node scripts/preflight.mjs --profile <profile>。第一阶段运行 scripts/chatgpt_batch_crawl.mjs,传入问题、重复次数、配置、目标实体与类型、间隔预设及输出目录;第二阶段运行 scripts/analyze_chatgpt_results.py,并遵循工作流中的竞品审核规则。

适用场景:需要审计 ChatGPT 回答中对特定实体的提及与来源、生成结构化报告与竞品对比时。

限制:复用本地 ChatGPT 网页自动化,不绕过登录、机器人检查或隐藏数据;分析受 ChatGPT 可见引用限制;概率指标为重复采样估计;推断竞品为启发式,对外使用前需审核别名,正式报告置信度要求高时使用 --semantic-review required;原始回答、引用标题、URL 与日志需保留以备审计。