robots.txt 生成器 — 含 AI 爬虫控制（GPTBot、ClaudeBot、PerplexityBot）
一键生成干净的 robots.txt：设置 sitemap、禁止路径，并屏蔽 GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、CCBot、Google-Extended 等 AI 爬虫。复制粘贴到网站根目录即可。
📋 生成的 robots.txt
把上面的内容保存为站点根目录的 /robots.txt。
为什么要控制 AI 爬虫？
- 🤖 GPTBot / ClaudeBot / PerplexityBot 抓你的内容去训练或回答，可能不回链给你
- 🔒 屏蔽不想被收录的目录（后台、私密页）
- 🗺️ 声明 sitemap 让搜索引擎更快发现你的页面
- ⚖️ 你可以选择性开放：想要 AI 搜索曝光就放行，想保护版权就屏蔽