用途:抓取网站 sitemap 与博客索引,建立完整内容清单,按 URL、标题、发布日期、内容类型和主题聚类为每页建档,用于内容盘点与 SEO 研究。
主要能力:发现页面时依次尝试 sitemap.xml(含 sitemap index、/sitemap_index.xml、/sitemap-index.xml、/wp-sitemap.xml 及 robots.txt 中的 Sitemap 指令)、RSS/Atom 源、博客索引页与分页、site: 搜索回退,以及面向 JS 渲染站点的 Apify sitemap 提取器回退。随后按 URL 模式与标题分类内容类型,如 blog-post、case-study、comparison、landing-page、docs、changelog、pricing、about、legal、resource、glossary、integration、other;并从 URL slug 与标题提取关键词做主题聚类。分析发布规律,包括各类型数量、近 12 个月每月发布频率、趋势与最近发布日期;可选深度分析指定数量的顶部页面,提取约略字数、目标关键词、漏斗阶段、内容深度、是否含图片视频与 CTA、内链数量。输出 JSON 与 Markdown 摘要。
使用方式:运行 python3 skills/site-content-catalog/scripts/catalog_content.py --domain "example.com";可用 --deep-analyze 20 深度分析前 20 个页面,用 --output 指定输出路径,另有 include-non-blog 参数控制是否收录非博客页面。依赖 Python 3.8+ 与 requests 库,Apify 回退模式需设置 APIFY_API_TOKEN。
限制:sitemap 抓取与深度分析为免费直接请求,Apify 回退约每站点 $0.50;RSS 通常只呈现最近 10-50 篇内容,完整清单依赖 sitemap;JS 渲染站点可能需要回退方案。作者、流量等字段仅在可提取时提供,其余暂未提供。