用途
Site Content Catalog 用于对网站内容进行系统性盘点。它爬取网站的 sitemap 和博客索引，构建完整的内容清单，帮助使用者了解网站上有哪些页面、分别属于什么类型、围绕哪些主题，以及内容的发布规律。
主要能力
页面发现：按顺序尝试多种方法查找网站上的所有页面：
- Sitemap.xml：抓取
https://[domain]/sitemap.xml，若为索引则递归抓取子 sitemap；同时检查常见替代位置（/sitemap_index.xml、/sitemap-index.xml、/wp-sitemap.xml）以及 robots.txt 中的 Sitemap 指令。 - RSS/Atom 订阅源：检查 /feed、/rss、/atom.xml、/blog/feed 等，提取带标题、日期和 URL 的文章。RSS 通常只能呈现近期内容（最近 10-50 篇）。
- 博客索引爬取：抓取 /blog、/resources、/insights、/news、/articles，提取页面链接并跟进分页。
- 站点搜索（回退）：通过
site:[domain]等搜索估算索引页面总数并发现内容。 - Apify Sitemap 提取器（针对 JS 密集型网站的回退）：当 sitemap.xml 缺失且网站由 JS 渲染时使用。
页面分类：依据 URL 模式和页面标题将每个页面归入内容类型，包括博客文章、案例研究、对比页、落地页、文档、更新日志、定价页、关于页、法律页、资源页、术语表、集成页等，无法归类的放入 other。
主题聚类：从 URL 路径片段和标题中提取关键词，将相似关键词归入聚类（例如将 aws-cost、cloud-spending、finops 归为 Cloud Cost Management）。
发布规律分析：基于带日期的内容（主要是博客文章）统计各类型内容总量、过去 12 个月每月发布频率、发布趋势（上升/下降/稳定）、最近发布时间以及作者多样性（若可从 RSS 提取）。
深度分析（可选）：使用 --deep-analyze N 时，抓取优先级最高的 N 个页面（优先博客文章），提取近似字数、目标关键词（由标题+H1+URL 推断）、漏斗阶段（TOFU/MOFU/BOFU）、内容深度（浅<500 字、中 500-1500 字、深 1500+ 字）、是否含图片/视频、是否有 CTA、内部链接数量。
使用方式
基础内容清单：
python3 skills/site-content-catalog/scripts/catalog_content.py \
--domain "example.com"
带前 20 个页面深度分析：
python3 skills/site-content-catalog/scripts/catalog_content.py \
--domain "example.com" --deep-analyze 20
输出到指定文件：
python3 skills/site-content-catalog/scripts/catalog_content.py \
--domain "example.com" --output clients/acme/research/content-inventory.json
参数：
| 参数 | 是否必需 | 默认值 | 说明 |
|---|---|---|---|
| domain | 是 | — | 要盘点的域名（如 "example.com"） |
| deep-analyze | 否 | 0 | 需深度阅读分析的重点页面数量 |
| output | 否 | stdout | 保存 JSON 输出的路径 |
| include-non-blog | 否 | true | 是否也盘点落地页、文档等（不仅限博客） |
成本：Sitemap/RSS 爬取免费（直接 HTTP 请求）；Apify sitemap 提取器（回退）约 $0.50 每站点；深度分析免费（对单个页面使用 WebFetch）。
输出
默认输出 JSON，包含域名、爬取日期、页面总数、使用的发现方法、每个页面的详情（URL、标题、日期、类型、主题聚类、深度分析结果），以及汇总信息（按类型统计、按主题统计、发布节奏）。同时生成 Markdown 摘要，包含按类型的占比表、按主题聚类的统计、发布节奏以及完整目录表。
适用场景
- 需要全面了解一个网站的内容资产时。
- 为品牌声音提取或漏斗阶段映射准备数据时。
- 结合 seo-domain-analyzer 叠加流量数据，判断哪些内容实际表现良好时。
限制与提示
- sitemap.xml 是最佳来源，维护良好的网站通常都有；若缺失，本身就是一个 SEO 负面信号。
- RSS 只显示近期内容，若要完整目录，sitemap 必不可少，RSS 仅为补充。
- 深度分析是可选的但有价值，在需要漏斗阶段映射时使用。
- JS 渲染的网站可能需要 Apify 回退（迹象：sitemap.xml 返回 HTML，或博客页返回大量 JavaScript）。
- 依赖：Python 3.8+、requests 库（pip install requests）、APIFY_API_TOKEN 环境变量（仅 Apify 回退模式需要）。
其余细节暂未提供。