SuperAPI AI 工具集

scanner

前端与建站

查看项目

更新于 10-15 21:53

技能介绍

用途:扫描并分析目标网站域名下的相关页面,用于构建或刷新本地客户支持语料库。

主要能力:遵守 robots.txt,解析前先检查,若受限则中止扫描;域名锁定递归扫描,仅分析同域名/子域名内的链接,避免跳转到其他网站;将 HTML 结构转换为干净、可读的 Markdown 文本,便于 LLM 文档匹配;缓存与快照维护,创建或更新 .agents/workspace/snapshots.json,记录映射与时间戳;自动生成 .agents/workspace/pages/index.md,以结构化、可点击的表格列出并说明所有文件,方便智能体快速定位匹配主题。

使用方式:运行内嵌脚本 python skills/scanner/scripts/scan.py <URL> [--force]。<URL> 为要分析的网站起始/种子 URL,例如 https://example.com;--force 强制扫描并绕过 24 小时缓存检查。

适用场景:需要为客服或问答系统准备本地语料、定期刷新网站内容快照时使用。

限制:仅应在允许扫描的网站上执行;若 robots.txt 限制则无法扫描;仅限同域名/子域名范围;默认受 24 小时缓存约束,需 --force 才能强制重扫。其他收费、平台与效果信息暂未提供。