用途:把公开网页内容抓取、爬取或映射为本地可引用语料,支持提取表格、定价、产品字段,并对抓取失败进行诊断与恢复。
主要能力:按固定流程 FRAME→POLICY→ROUTE→FETCH→CORPUS→SEARCH→CITE→RECOVER 执行;默认抓取一个公开 URL,--mode html,省略 --provider 时按无密钥 cdp→direct 自动选择,会话保存在 .octocode/tmp/scrape/{sessionId},标准输出精简;引用时给出路径与 URL 元数据而非原始转储;抓取前先搜索已有语料,避免重复抓取。需要实时交互时用 chrome-devtools 单端口,再通过 har-ingest 与 corpus-run 并入同一会话。
使用方式:脚本均为 Node,无需安装,每个脚本都支持 --help。常用命令包括 scripts/fetch.mjs --url <u>(可加 --mode html、--crawl --same-domain --max-pages <n>、--no-raw)负责所有网络调用;scripts/fetch-and-brief.mjs --url <u> 一步完成抓取与语料简报;scripts/provider-check.mjs 与 scripts/provider-usage.mjs 查看自动选择结果与剩余额度;scripts/corpus-inspect.mjs --session-dir <d> 与 scripts/corpus-find.mjs --session-dir <d> --query <t> 读取并搜索会话;scripts/corpus-run.mjs --session-dir <d> --roots cdp,extracts --regex <re> 可在本地验证字段;scripts/schema-helper.mjs --intent "extract pricing and features" 获取字段名建议。旧脚本 scrapingant-fetch.mjs 等为废弃别名,应调用 fetch.mjs/provider-check.mjs/provider-usage.mjs。
限制:涉及认证、托管付费、扩大爬取、CAPTCHA/MFA、破坏性操作前需先询问;托管返回 403 时只报告状态不重试;同类失败两次、认证墙或需要转移 cookie/配置文件时停止并请求批准;遇到个人信息、表单提交、购买、发送、删除或账户变更需先询问;只有一次 cdp 尝试后仍被拦截,才在批准后使用 --provider scrapingant;语料已能证明结论时应引用而非重抓;扩大爬取前需确认 reports/summary.md 已有用。