SuperAPI AI 工具集

scrape-scrapy-cloud

通用与其它

查看项目

更新于 10-16 06:14

技能介绍

用途:作为 Scrapy Cloud 通用助手,完成项目部署、爬虫调度、任务管理与结果校验。

主要能力:用 uvx shub deploy 部署项目;用 uvx shub schedule 调度爬虫,支持 -a 参数、-s 设置、-p 优先级、-u 单元数,并以 --tag skill 标记任务;通过 Jobs HTTP API 列出(jobs/list.json,支持 project、spider、state、has_tag、lacks_tag、count 过滤)和停止任务(jobs/stop.json);查看条目统计与下载条目、日志。

使用方式:先定位含 scrapy.cfg 的项目根目录,检查或创建 scrapinghub.yml(含 project、stack、requirements.file,必要时 endpoint);部署后按需调度任务,并用脚本等待任务结束(wait_for_job.py,支持 --poll-interval、--max-wait),再校验 close_reason、错误数、字段覆盖率并抽样检查条目。API 请求须经 scripts/scrapy_cloud_api.py 包装脚本,避免泄露凭据。

适用场景:Scrapy 项目在 Scrapy Cloud 上的部署、定时或手动运行、任务监控与结果验证。

限制:需已配置项目 ID 与认证;云项目/爬虫设置无公开 API 可读写,需用户手动调整;校验失败最多重试 3 次;条目与日志详情需在 Web UI 查看。