Robots.txt 생성기

일반적인 시작 템플릿

모두 허용(대부분의 사이트):

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

staging / 관리자 페이지 차단:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?session=
Sitemap: https://example.com/sitemap.xml

AI 학습 크롤러 차단, 검색 엔진 허용:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

알아두면 좋은 user-agent

AI 학습 봇은 법적 의무가 아니라 관행상 옵트아웃 방식입니다. 선의의 운영자는 이 지침을 준수하지만, 그렇지 않은 운영자는 준수하지 않습니다.

경로 매칭 규칙

• 경로는 도메인 루트를 기준으로 하며 /로 시작합니다.
• *는 임의의 문자와 일치합니다. Disallow: /*.pdf$는 모든 PDF를 차단합니다.
• $는 URL 끝에 고정됩니다. Disallow: /*/trash$는 /foo/trash를 차단하지만 /foo/trashes/...는 차단하지 않습니다.
• 가장 긴 일치가 우선합니다. 해당 하위 경로에서는 Allow: /admin/public/가 Disallow: /admin/를 재정의합니다.
• 경로는 대소문자를 구분합니다.

robots.txt로 할 수 없는 것

• Google에서 페이지 삭제. 페이지 자체에 noindex 메타 태그를 사용하세요.
• 사람으로부터 URL 보호. robots.txt는 공개이며, 준수하는 봇에 대한 제안일 뿐입니다.
• Googlebot 크롤 속도 제한. Crawl-delay는 Google이 무시합니다. Search Console을 사용하세요.
• robots.txt를 무시하는 봇 차단. 스팸 스크래퍼는 이 파일을 읽지 않습니다.

배포 체크리스트

1. https://yourdomain.com/robots.txt에 두세요. 루트에만 둡니다.
2. Content-Type: text/plain으로 제공하세요(대부분의 서버가 자동으로 처리합니다).
3. 크기: 500KB 미만. Google은 더 큰 파일을 잘라냅니다.
4. 배포 후 Google Search Console의 robots.txt 테스터에서 가져온 파일을 확인하세요.
5. Disallow를 제거할 때 색인 해제에 몇 주가 걸릴 수 있음에 유의하세요.