SuperAPI AI 工具集

llms-txt-checker

智能体与模型

查看项目

更新于 10-15 22:37

技能介绍

用途:审计任意域名的 AI 就绪度。用户只需提供域名(如 anthropic.com 或 docs.example.com),技能通过 bash_tool 执行 curl 直接请求 robots.txt、llms.txt、llms-full.txt 三个 well-known 路径,不依赖网页抓取或猜测。

主要能力:curl 命令使用 -L 跟随重定向、-s 静默、-o 保存内容、-w 捕获 HTTP 状态码、--max-time 10 超时;先规范化域名(去掉协议、路径和末尾斜杠),再分别抓取三个文件并输出状态码与字节大小。状态码含义:200 存在可审计,301/302 由 -L 自动跟随,404 不存在,403/429/5xx 为服务端拦截或错误,000 为连接失败。

审计清单:llms.txt 检查是否以单个 # H1 标题开头、是否有 > 引用摘要、是否用 ## H2 分组链接、链接格式是否为 - 标题: 描述、是否有 ## Optional 段、是否含图片/HTML/表格、核心页面与 API 参考是否齐全、链接描述是否有意义、是否引用 llms-full.txt。llms-full.txt 检查是否非空、是否含完整页面内容、是否有文档边界标记、是否有 Source: URL、是否为干净 markdown、体积是否过大。robots.txt 检查 User-agent、Allow/Disallow、ai-input、ai-train 等 AI 访问信号。

使用方式:提供域名后,技能按“规范化域名→curl 抓取→读取分类→审计→输出报告”流程执行,报告含 Discovery、llms.txt、llms-full.txt、robots.txt Signal、Summary & Recommendations 五部分,并给出 3–5 条可执行建议。

适用场景:检查文档站点的 AI 可发现性,为 Cursor、Claude Code、Copilot 等工具提供结构化索引。

限制:无官方 AI 爬虫承诺遵循这些文件;Mintlify、Fern、GitBook 自动生成,Starlight 需手动添加;llms-full.txt 非原始规范但已被广泛采用。具体收费与平台支持暂未提供。