SuperAPI AI 工具集

scrape-create-spider

通用与其它

查看项目

更新于 10-16 06:14

技能介绍

用途:根据给定的 Scrapy 项目路径、条目提取页面对象(PO)导入路径和导航 PO 导入路径,生成一个把两者连接起来的 Scrapy 爬虫,并完成测试与条目校验。

主要能力:区分两种模式。若条目 PO 类名以 ListPage 结尾,采用列表页提取模式,在同一个 parse 回调中注入导航 PO 与列表页 PO,条目直接来自列表页;否则采用详情页提取模式,用导航 PO 发现链接,再用条目 PO 在 parse_item 回调中提取详情页数据。两种模式都会跟进分页与子分类链接。爬虫名由域名推导,类名用 PascalCase。若站点需要 Zyte API,可加入 custom_settings 中的 ZYTE_API_TRANSPARENT_MODE。

使用方式:输入为 3 个以空白分隔的位置参数(project_dir、item_page、nav_page),start_urls 从提示文本中读取。生成后运行测试爬取:cd {project_dir} && uv run scrapy crawl {spider_name} -s CLOSESPIDER_ITEMCOUNT=5 -o items.jsonl 2>&1。若失败,检查报错、PO 导入是否正确、SCRAPY_POET_DISCOVER 是否包含 pages 模块;使用 Zyte API 时可尝试 ZYTE_API_LOG_REQUESTS=True。成功则读取 items.jsonl 检查数据质量,发现问题时定位并修复根因后重跑,最多重试 3 次,仍不正确则停止并报告。

适用场景:已有 Scrapy 项目与 web-poet 页面对象、需要快速生成连接式爬虫的抓取任务。

限制:依赖项目内已有的页面对象与参考文档(python-environments.md、docs-access.md、scrapy-poet-reference.md、scrapy-zyte-api-reference.md);具体站点适配、代理与反爬配置等资料未提供。