用途：Generate robots.txt 是一个开源的 robots.txt 生成与验证工具，旨在帮助网站管理员、SEO 专家和营销人员快速、轻松地创建网站必需的 robots.txt 文件。
主要能力：
- 可从默认配置开始生成 robots.txt 文件。
- 支持自定义指令：设置允许（Allow）或禁止（Disallow）抓取。
- 可指定路径，即特定页面和文件。
- 可指定需要遵循指令的爬虫（User-agent）。
- 提供包含常见通用指令和 CMS 指令的现成 robots.txt 模板。
- 可向文件中添加 Sitemap。
- 生成结果以原始文件形式呈现，用户可自行创建或下载。
使用方式： 用户可以从选择默认配置开始，然后通过可选配置进行定制；或者选择现成的 robots.txt 模板。随后可添加 Sitemap，最终获得原始 robots.txt 内容并自由下载或自行创建。关于将 robots.txt 提交给搜索引擎，页面说明无需主动提交，爬虫在抓取网站前会自行查找 robots.txt 文件；若修改后想通知 Google，可提交到 Google Search Console，并使用 Robots.txt Tester 粘贴文本文件后点击 Submit。关于将生成的文件添加到网站，搜索引擎和其他抓取机器人会在网站主目录中查找 robots.txt 文件，生成后应将其添加到网站根文件夹，即 https://yoursite.com/robots.txt。添加方法取决于所使用的服务器和 CMS；若无法访问根目录，需联系网站托管服务商。添加 Sitemap 时，可在 robots.txt 中添加指向 Sitemap 的指令，Sitemap 文件位于 http://yourwebsite/sitemap.xml。
适用场景： 适合网站管理员、SEO 专家和营销人员为网站创建和配置 robots.txt，控制搜索引擎爬虫的抓取行为，包括允许或禁止特定目录、文件、页面，指定特定爬虫，以及添加 Sitemap 以便爬虫抓取网站内容。
限制与注意事项：
- robots.txt 语法由指令、参数和特殊字符组成，每条指令必须新起一行，每行只能有一个参数。
- robots.txt 区分大小写，文件夹名称的大小写必须完全匹配。
- 不要使用引号、行首空格或行尾分号。
- 不要将 Disallow 指令留空，否则机器人将抓取网站所有内容。
- 不要列出每个要阻止抓取的文件，只需禁止访问某个文件夹即可阻止其中所有文件的抓取和索引。
- 除非必要，不要阻止整个网站的访问。
- 确保网站关键页面（主页、落地页、产品页等）不被阻止抓取。
- 每个搜索引擎有各自的机器人，名称可能不同，例如 Yahoo 的机器人是 Slurp，Google 有多个用途不同的机器人（Googlebot News、Google Mobile、Googlebot Video、Googlebot Images、Google AdSense 等）。
- 要阻止或允许所有爬虫访问部分内容，可使用星号（*）；要仅允许 Google 抓取页面，可进行相应设置。
- 关于参与贡献，可通过在 GitHub 仓库创建拉取请求或问题来添加新功能、修复错误或改进现有代码；可先阅读项目文档、查看问题并创建拉取请求，如有疑问可通过 Twitter / X 联系作者。
其他说明： 该工具为开源项目，欢迎参与。关于 robots.txt 文件的更多信息，可参考 Wikipedia 的 Robots.txt 页面、Google 的 Robots.txt 规范以及 The Robots Exclusion Protocol。
