SuperAPI AI 工具集

scrape

通用与其它

查看项目

更新于 10-16 06:14

技能介绍

用途:把用户提示转化为可运行的 Scrapy 爬虫,并使用 web-poet 页面对象组织抽取逻辑,适合整站或多页抓取。

主要能力:按阶段推进——先用 /scrape-define 下载 1 个详情页、发现字段并让用户确认 schema,输出到 .scrape/{site_name}/;再用 /scrape-spec 下载更多详情页与列表页、比较 HTML 变体、抽取取值,可选浏览器复核;随后用 /scrape-ensure-project 创建 Scrapy 项目(项目名由域名推导,如 books_toscrape_com),按数据类型调用 /scrape-codegen 生成 item 类、页面对象与 fixtures,最后用 /scrape-create-spider 生成爬虫。若主数据类型以 -list 结尾(如 products-list),自动生成列表页抽取爬虫;否则使用详情页模式(parse() 处理导航,parse_item() 产出条目)。

使用方式:输入参数拆为 url(第一个空白分隔 token)与 what(其余自由文本,如 product、job listing)。需先安装 uv。执行过程中用 TaskCreate 建立固定任务并按阶段更新状态,不在子技能内重复建任务。完成后可用 uv run scrapy crawl {spider_name} 运行,用 uv run pytest fixtures/ 测试。

适用场景:需要从目标站点批量抽取结构化数据的整站或多页爬取。

限制:资料未提供具体支持站点范围、反爬处理能力、性能指标与收费信息;Scrapy Cloud 部署为可选,免费额度等细节暂未提供。