SuperAPI AI 工具集

site-content-catalog

营销与增长

查看项目

更新于 10-16 08:02

技能介绍

用途:为任意域名建立完整内容清单,适用于 SEO 审计前、内容缺口分析,或作为内容简报工厂的现有覆盖检查;也可用于竞品或自有站点的漏斗阶段映射与发布模式统计。

主要能力:通过 robots.txt 的 Sitemap 指令、sitemap.xml(支持 sitemap 索引递归)、常见 sitemap 位置和 RSS/Atom 订阅源发现页面;按内容类型对每个 URL 分类;按 URL slug 聚类;计算发布节奏;可选深度读取前 N 个页面获取统计。输出 JSON 含 summary 与 pages:summary 包括 domain、total_pages、sitemap_found、by_type、by_topic、publishing_cadence;pages 每项含 url、title、date、type、topic_cluster,使用 --deep 时附加 deep_analysis(word_count、image_count、internal_link_count、has_cta)。

使用方式:运行捆绑脚本 scripts/site_catalog.py(仅需 Python 3 标准库,无需安装): python3 ${SKILL_DIR}/scripts/site_catalog.py --domain example.com --output ${WORKSPACE}/catalog.json 参数:--domain 必填,如 example.com 或 https://example.com;--deep 默认 0,深度读取前 N 个 URL;--include-non-blog 默认 true,设为 false 仅保留博客文章;--output 默认 -,为 JSON 路径,- 表示标准输出。示例: python3 ${SKILL_DIR}/scripts/site_catalog.py --domain example.com --deep 10 --output ${WORKSPACE}/catalog.json

凭证与环境:必需项无,sitemap/robots/feeds/HTTP 均无需密钥。可选项:ANTHROPIC_API_KEY / OPENAI_API_KEY 脚本不使用(由智能体承担模型推理);APIFY_API_TOKEN(付费,有回退)若设置则智能体可编排 Apify 提取器处理 JS 密集或缺少 sitemap 的站点,未设置则回退到默认的无密钥抓取。

限制与边界:sitemap.xml 是最佳来源,缺失本身是负面 SEO 信号,会报告 sitemap_found: false;RSS 仅呈现近期文章,只能补充不能替代;去重按规范化 URL(去除跟踪参数与片段);深度分析受 --deep 限制以控制耗时,脚本在页面间限速;类型分类基于 URL/标题的规则,少量模糊 URL 需智能体重新标注。大型站点的话题聚类、模糊 URL 分类及深度页面的目标关键词与漏斗阶段(TOFU/MOFU/BOFU)推断由智能体完成,并据 JSON 生成 Markdown 汇总表。