Trình Tạo robots.txt — Kiểm Soát AI Crawler (GPTBot, ClaudeBot, PerplexityBot)
Tạo robots.txt gọn gàng chỉ với một cú nhấp: đặt sitemap, chặn đường dẫn và chặn các AI crawler như GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, CCBot, Google-Extended. Sẵn sàng copy-paste vào thư mục gốc website.
📋 robots.txt đã tạo
Lưu nội dung trên thành /robots.txt tại thư mục gốc của site.
Tại sao cần kiểm soát AI crawler?
- 🤖 GPTBot / ClaudeBot / PerplexityBot thu thập nội dung để huấn luyện hoặc trả lời (có thể không backlink)
- 🔒 Chặn thư mục không muốn lập chỉ mục (admin, trang riêng tư)
- 🗺️ Khai báo sitemap giúp công cụ tìm kiếm phát hiện trang nhanh hơn
- ⚖️ Cho phép có chọn lọc: mở để xuất hiện trên AI search, chặn để bảo vệ bản quyền