인덱스화 가능성 검사기

색인 가능성 확인

브라우저에서 페이지를 열고 소스를 표시한 뒤(Ctrl+U, Mac에서는 Option+Cmd+U) 모두 선택해 여기에 붙여넣으세요. <head> 섹션만 있어도 충분합니다. 이 도구는 페이지를 열지 않으므로 웹 주소만으로는 확인할 수 없습니다.

페이지가 아무리 훌륭해도 태그 하나에 “noindex”가 적혀 있거나 canonical이 다른 주소를 가리키면 검색에 나타나지 않습니다. 페이지의 HTML 소스와, 있다면 페이지 주소와 HTTP 응답 헤더를 붙여넣으세요. 이 도구는 robots 메타 태그, X-Robots-Tag 헤더, 상태 코드, canonical 링크를 읽고 Google이 페이지의 색인을 생성하지 못하게 막는 요소가 있는지, 그 이유는 무엇이고 무엇을 바꿔야 하는지 알려 줍니다. 페이지를 열거나 robots.txt를 읽지 않으므로 붙여넣은 내용만 판단합니다.

인덱스화 가능성을 확인하는 방법

  1. 1

    HTML 소스 붙여넣기

    페이지를 열고 소스를 표시한 뒤(Ctrl+U, Mac에서는 Option+Cmd+U) 붙여넣으세요. head 섹션만 있어도 충분합니다.

  2. 2

    URL과 헤더가 있으면 추가하기

    페이지 URL을 입력하면 canonical과 비교할 수 있습니다. 응답 헤더를 넣으면 X-Robots-Tag 헤더와 HTTP 상태 코드도 확인합니다. 개발자 도구의 네트워크 탭에서 복사하거나 curl -I로 출력하세요.

  3. 3

    붙여넣은 내용의 모든 신호 읽기

    속성 순서와 관계없이 robots 및 googlebot 메타 태그, X-Robots-Tag, 상태 코드, canonical을 Google이 문서로 공개한 규칙에 따라 읽습니다.

  4. 4

    판정과 이유

    차단됨, 주의 필요, 차단 신호 없음 중 하나로 판정하고 그 근거가 된 태그나 헤더를 정확히 보여 줍니다.

인덱스화 가능성 신호 및 그 우선순위

구글은 일련의 신호들을 특정 순서에 따라 평가하며, 이 체인 내에서 단 하나의 음성 신호만으로도 인덱싱이 차단될 수 있습니다.

신호 평가 순서

  1. HTTP 상태: 2xx가 필수입니다. 3xx 체인은 따릅니다; 4xx 및 5xx는 인덱싱을 종료합니다.
  2. robots.txt: 해당 URL이 Googlebot에 사용이 금지되어 있는 경우, 해당 페이지는 결코 크롤링되지 않으며, 이로 인해 그 페이지에 포함된 noindex 태그도 전혀 검색되지 않습니다.
  3. X-Robots 태그 헤더: HTTP 응답 헤더 내의 noindex 태그는 인덱싱을 차단합니다.
  4. 메타 로봇: <meta name="robots" content="noindex">는 인덱싱을 차단합니다.
  5. 표준 형태: 다른 곳으로 가는 표준적인 포인팅은 구글이 해당 URL을 인덱싱한다는 의미입니다.
  6. 콘텐츠의 질 및 중복 검출: 구글은 명시적인 지시 없이도 인덱싱을 생략할 수 있습니다.

페이지가 색인되지 않는 흔한 이유

문제 원인
전체 섹션은 인덱싱되지 않았습니다 robots.txt 파일 내 Disallow: 규칙
특정 페이지는 인덱싱되지 않았습니다 메타 로봇에서의 noindex
잘못된 URL로 인덱싱됨 캐노닉얼은 다른 위치에 존재합니다
5xx에서 정지 서버 오류로 크롤이 중단되었습니다
금지 기능과 noindex 태그 간의 충돌 Robots.txt 파일이 크롤링을 차단하며, noindex 태그는 전혀 처리되지 않음
생산 라인으로의 누출 단계 전달 테스트 환경에서 남은 X-Robots-Tag: noindex

robots.txt 파일 내 noindex 항목이 설정된 함정

만약 robots.txt에 Disallow:라는 URL을 지정했다면 구글은 해당 URL을 크롤링하지 않으므로 noindex 태그를 전혀 인식하지 못합니다. 이 URL은 검색 결과에서 설명 없이 단순히 URL만 포함된 ‘빈’ 항목으로 표시될 수 있습니다. URL을 정상적으로 인덱스에서 제거하려면 크롤링을 허용하고 noindex를 사용한 후, 구글이 해당 URL을 인덱스에서 제거한 이후에야 크롤링을 차단해야 합니다.

HTML과 헤더를 가져오는 방법

이 도구는 페이지를 열지 않으므로 붙여넣은 내용만 판단합니다. HTML은 페이지를 열고 소스를 표시하면 됩니다(Ctrl+U, Mac에서는 Option+Cmd+U). 헤더는 개발자 도구(F12)를 열고 네트워크 탭으로 이동해 페이지를 새로고침한 뒤 첫 번째 요청을 선택하고 응답 헤더를 복사하세요. 터미널에서는 curl -I https://example.com/page로 출력할 수 있습니다. 스테이징 사본이 아닌 실제 운영 중인 페이지를 확인하고, robots.txt는 별도의 파일이라는 점을 기억하세요. Google Search Console의 robots.txt 보고서에서 Google이 이 파일을 어떻게 읽는지 확인할 수 있습니다.

자주 묻는 질문

인덱스링이 가능하다는 것은 단지 기술적인 장애가 없음을 의미할 뿐이며, 반드시 인덱싱이 이루어진다는 보장은 아닙니다. 구글은 콘텐츠의 질, 중복 콘텐츠 여부 및 크롤 예산 등을 고려하여 판단을 내립니다. 구글로부터 확실한 답변을 얻으려면 Search Console의 URL 검사 기능을 사용하시기 바랍니다.

일반적으로는 메타 로봇(또는 X-Robots-Tag)만 사용하는 것이 적절합니다. robots.txt 파일은 크롤링을 차단하며, meta robots 태그는 인덱싱을 차단합니다. 인덱싱을 원하지 않는 페이지의 경우 크롤링을 허용하여 구글이 noindex 태그를 정확히 인식할 수 있도록 해야 합니다.

아니요. 붙여넣은 내용만 읽으므로 페이지, 리디렉션 대상, robots.txt 파일을 요청하지 않습니다. 헤더에 301이나 302가 보이면 Location 헤더가 가리키는 페이지를 확인하세요. Google이 평가하는 URL은 바로 그 페이지입니다. robots.txt는 Google Search Console의 robots.txt 보고서를 이용하세요.

네. 소스를 붙여넣으면 태그를 읽습니다. 다만 로그인이 필요한 페이지는 태그 내용과 관계없이 Google이 색인을 생성할 수 없습니다. 검색에 노출되어야 한다면 공개 버전을 게시하세요.

관련 도구

이 도구는 다른 언어로도 제공됩니다

사용 가이드와 활용 사례