Robots.txt 검사기
사이트의 robots.txt 설정에 따라 검색 엔진 크롤러가 페이지를 가져올 수 있는지 검사하세요. 검사기는 robots.txt를 내려받고 Googlebot이나 Bingbot처럼 선택한 사용자 에이전트에 해당하는 그룹을 찾은 다음 RFC 9309와 Google에 따른 방식으로 규칙을 적용합니다. 일치하는 규칙 중 경로가 가장 긴 규칙이 우선하며, 길이가 같으면 Allow가 Disallow보다 우선하고, * 및 $ 와일드카드도 지원합니다. 직접 robots.txt를 붙여넣어 게시 전에 변경 사항을 시험해 볼 수도 있습니다.
자주 묻는 질문
검사기를 어떻게 사용하나요?
URL을 한 줄에 하나씩 입력하세요. 첫 번째 URL은 검사기가 어느 사이트의 robots.txt를 가져올지 알 수 있도록 전체 URL여야 합니다. 다음 줄에는 같은 사이트의 전체 URL이나 /admin/과 같은 경로를 입력할 수 있습니다. 사용자 에이전트를 선택하고 검사를 실행하세요.
적용할 규칙 그룹은 어떻게 선택하나요?
크롤러는 대소문자를 구분하지 않고 이름과 일치하는 User-agent 줄이 있는 그룹을 사용합니다. 정확히 일치하는 그룹이 없으면 크롤러 이름이 시작하는 이름 중 가장 긴 그룹을 사용합니다. 예를 들어 Googlebot-Image에는 googlebot 그룹이 적용되며, 해당 그룹도 없으면 * 그룹을 사용합니다. 이름이 같은 여러 그룹의 규칙은 하나로 합쳐집니다.
여러 규칙이 일치할 때 어떤 규칙이 우선하나요?
가장 구체적인 규칙, 즉 경로 패턴이 가장 긴 규칙이 우선합니다. Allow와 Disallow 규칙의 길이가 같으면 Allow가 우선합니다. 이는 RFC 9309에 명시되어 있으며 Google와 Bing이 사용하는 동작입니다.
와일드카드를 지원하나요?
네. 별표는 모든 문자 조합과 일치하며, 끝에 붙은 달러 기호는 규칙을 URL의 끝에 고정합니다. 따라서 Disallow: /*.pdf$는 .pdf로 끝나는 모든 URL를 차단합니다. 대소문자를 구분하며 쿼리 문자열도 포함해 일치 여부를 확인합니다.
게시 전에 robots.txt를 검사할 수 있나요?
네. 내용을 robots.txt 입력란에 붙여넣으세요. 검사기는 실시간 파일을 내려받는 대신 입력한 텍스트를 사용하므로 첫 줄에 경로를 입력해도 됩니다.
사이트에 robots.txt가 없으면 어떻게 되나요?
robots.txt가 404와 같은 4xx 상태 코드를 반환하면 크롤러가 모든 항목을 가져올 수 있으며, 검사기는 모든 URL를 허용된 것으로 표시합니다. 5xx 오류를 반환하면 Google는 일정 시간 사이트 전체를 차단된 것으로 처리하며 검사기도 이를 표시합니다.
Disallow로 페이지가 검색 결과에서 제외되나요?
아니요. Disallow는 크롤링을 막지만 색인은 막지 않습니다. 다른 페이지에서 링크하는 경우 차단된 페이지도 설명 없이 검색 결과에 표시될 수 있습니다. 색인에서 제외하려면 크롤링이 허용된 페이지에 noindex 메타 태그나 헤더를 사용하세요.
Crawl-delay에 표시가 붙는 이유는 무엇인가요?
Google은 Crawl-delay 지시문을 무시하지만 Bing은 이를 따릅니다. 테스터에 이 내용이 표시되므로 Googlebot의 속도를 늦추지 않는다는 점을 알 수 있습니다.
크기 제한이 있나요?
Google은 robots.txt 파일의 처음 500 KiB만 읽고 나머지는 무시합니다. 테스터도 같은 양을 읽으며, 파일이 더 길면 경고합니다.
몇 개의 URL을 테스트할 수 있나요?
요청당 최대 50개입니다. 실시간 robots.txt을 가져오는 작업은 요청 1회로 계산되며, 방문자별로 분당 실행할 수 있는 테스트 횟수가 제한됩니다.