用途：抓取网站 sitemap 与博客索引，建立完整内容清单，为内容审计、SEO 与选题分析提供基础数据。
主要能力：按 URL、标题、发布日期、内容类型和主题聚类编目页面；内容类型涵盖博客文章、案例研究、对比页、落地页、文档、更新日志、定价页、资源页、术语表、集成页等；按关键词共现聚类主题；统计各类型内容数量、近 12 个月发布频率、趋势与最近发布时间；可选深度分析重点页面，提取字数、目标关键词、漏斗阶段、内容深度、是否含图片/视频/CTA 及内链数量。
使用方式：
基础内容清单
python3 scripts/catalog_content.py --domain "example.com"
深度分析前 20 个页面
python3 scripts/catalog_content.py --domain "example.com" --deep-analyze 20
输出到指定文件
python3 scripts/catalog_content.py --domain "example.com" --output content-inventory.json 参数：domain 必填；deep-analyze 默认 0；output 默认 stdout；include-non-blog 默认 true。
发现流程：依次尝试 sitemap.xml（含索引递归与常见替代路径、robots.txt 指令）、RSS/Atom 订阅、博客索引抓取与分页、site: 搜索兜底，以及针对 JS 渲染站点的 Apify sitemap 提取器兜底。
输出：默认 JSON，含 domain、crawl_date、total_pages、discovery_methods、pages 与 summary（按类型、按主题、发布节奏）；同时生成 Markdown 摘要。
适用场景：内容盘点、SEO 内容审计、选题与发布节奏分析、品牌语调提取的输入。
限制：RSS 通常只暴露最近 10-50 篇内容；JS 渲染站点可能需 Apify 兜底；深度分析为可选。成本方面，sitemap/RSS 抓取与深度分析免费，Apify 兜底约每站 $0.50。依赖 Python 3.8+、requests 库，Apify 模式需 APIFY_API_TOKEN 环境变量。