SuperAPI AI 工具集

scrape-spec

通用与其它

查看项目

更新于 10-16 06:14

技能介绍

用途:扩展并验证 /scrape-define 起草的抽取规格。输入为含 schema 和至少 1 个页面的规格文件夹,输出为同一文件夹,包含更多页面、已验证的值和 navigation 数据类型。

主要能力:读取 {site_path}/spec.json 获取 url 与 data_types;通过 /scrape-explore-site 子代理下载起始页、详情页和列表页并分类链接;将页面分发到对应数据类型子目录;用 extract_links.py 分别对 raw 与 rendered 变体分析导航页,确定 nav_html_variant;并行分析详情样本与列表页;比较 raw 与 rendered 的字段覆盖和值差异,默认优先 raw,仅在 rendered 能稳定找到 raw 缺失字段或 raw 为空(SPA)时改用 rendered;用 extract_values.py 生成值;写入 navigation/spec.json;可选调用 /scrape-review-schema 进行浏览器复核并应用反馈;最后更新 spec.json 的 data_types。

使用方式:以 site_path 作为唯一参数,例如 .scrape/books-toscrape。若站点被拦截,先调用 /scrape-zyte-login 再重试探索。完成后可运行 /scrape-codegen {site_path}/{data_type} ./{project_dir} 进入代码生成。

限制:需先有 /scrape-define 产出的规格;并行代理数量受限(合计不超过 5 个);列表页数据类型仅在全部 requested 字段都出现时才创建;浏览器复核依赖环境支持追问,否则跳过。具体收费、平台与效果资料暂未提供。