Robots.txt生成

功能特性

使用说明

基础配置

• 在「通用配置」中选择默认对所有爬虫的访问策略：允许（Allow）或禁止（Disallow）。
• 如需限制爬虫抓取频率，在「Crawl-delay」中选择延迟秒数；选择「无限制」则不输出该指令。
• 在「Sitemap」中填写站点地图地址，默认为sitemap.xml，也可填写完整URL（如https://www.example.com/sitemap.xml）。

爬虫规则配置

• 在「普通搜索机器人」和「特殊搜索机器人」卡片中，针对每种爬虫独立选择：默认（跟随通配规则）、允许（强制允许）、禁止（强制禁止）。
• 显式设置（允许/禁止）的爬虫会单独输出User-agent块；选择「默认」的爬虫则由User-agent: *统一管理。
• 特殊爬虫如Google Image、Google Mobile可单独控制，避免图片或移动版本被索引。

限制目录

• 在「限制目录」中填写需要禁止爬虫访问的目录路径，以/开头，如/private/、/admin/。
• 最多支持5个限制目录，留空的输入框会被自动忽略。
• 限制目录对所有爬虫生效（输出在User-agent: *块内）。

生成与部署

• 点击「生成 Robots.txt」按钮，结果将显示在下方文本域中。页面加载时会自动生成默认配置。
• 点击「复制结果」将内容复制到剪贴板，或点击「下载文件」保存为robots.txt。
• 将robots.txt文件上传到网站根目录（如https://www.example.com/robots.txt）即可生效。

典型使用场景

• SEO优化：允许搜索引擎抓取公开内容，禁止抓取后台、搜索结果页、分页等低质量页面。
• 服务器保护：通过Crawl-delay限制爬虫抓取频率，防止高频爬虫拖慢服务器响应。
• 敏感目录隔离：禁止爬虫访问/private/、/admin/、/tmp/等敏感目录，避免敏感信息泄露。
• 爬虫精细管理：单独禁止某些爬虫（如ia_archiver归档爬虫），允许Google、Baidu等主流搜索引擎。
• 站点地图提交：通过Sitemap指令声明站点地图位置，加速新内容被发现和索引。

常见问题