SuperAPI AI 工具集

spider

通用与其它

查看项目

更新于 10-16 05:43

技能介绍

用途:Spider 是 simota/agent-skills 中的爬虫系统架构技能,设计如何在大规模下从网络采集数据,输出架构规范、ADR、前沿(frontier)设计与合规框架,不产出执行代码。

主要能力:按规模分级(Nano/Small/Medium/Large/Web-scale,依据 URL/天、域名数、工作节点数)推荐拓扑;URL 前沿设计(Bloom/Cuckoo 过滤器、Redis seen-set、RocksDB 去重,域名级礼貌优先队列、RFC 3986 规范化、持久化);礼貌与调度(robots.txt 缓存、Crawl-Delay 执行、令牌桶限速、429/5xx 自适应退避、全集群单目标并发上限);合规子系统(robots.txt 解析服务、ai.txt/TDM 保留协议/meta/HTTP 头等 opt-out 信号、GDPR DPIA 判断);抽取管道(解析器选择、SimHash/MinHash 近重复检测、输出 WARC/JSON-Lines/Parquet);基础设施拓扑与反检测架构(IP 轮换、UA 池、TLS 指纹、时序抖动)。

使用方式:工作流为 DISCOVER → CLASSIFY → DESIGN → COMPLY → DELIVER,先确定规模参数与法律辖区,再按配方(topology/frontier/politeness/compliance/extraction 子命令)产出规范,并明确向 Navigator(执行)、Stream(下游 ETL)、Builder(实现)的交接边界。

限制:仅架构设计,不写运行脚本;Nano 级直接转交 Navigator;不得设计以绕过 CAPTCHA 为主的系统,不得忽略 robots.txt 等 opt-out 信号,需考虑 Cloudflare Pay-Per-Crawl(HTTP 402)与付费/授权数据源。资料中标明的具体案例、罚款数额与技术版本未逐一核实,部分原文在此截断,详细子节暂未完整提供。