robots.txt 생성기 — AI 크롤러 제어 (GPTBot, ClaudeBot, PerplexityBot)
클릭 한 번으로 깔끔한 robots.txt 생성: sitemap 설정, 차단 경로 지정, GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, CCBot, Google-Extended 등 AI 크롤러 차단. 복사해서 사이트 루트에 붙여넣기.
📋 생성된 robots.txt
위 내용을 사이트 루트의 /robots.txt로 저장하세요.
왜 AI 크롤러를 제어하나요?
- 🤖 GPTBot / ClaudeBot / PerplexityBot은 콘텐츠를 학습·응답에 사용 (역링크 없을 수 있음)
- 🔒 노출하고 싶지 않은 디렉터리 차단 (관리자, 비공개 페이지)
- 🗺️ sitemap 선언으로 검색엔진이 더 빨리 페이지 발견
- ⚖️ 선택적 허용: AI 검색 노출은 허용, 저작권 보호는 차단