# Robots.txt 검사기

사이트의 robots.txt 설정에 따라 검색 엔진 크롤러가 페이지를 가져올 수 있는지 검사하세요. 검사기는 robots.txt를 내려받고 Googlebot이나 Bingbot처럼 선택한 사용자 에이전트에 해당하는 그룹을 찾은 다음 RFC 9309와 Google에 따른 방식으로 규칙을 적용합니다. 일치하는 규칙 중 경로가 가장 긴 규칙이 우선하며, 길이가 같으면 Allow가 Disallow보다 우선하고, * 및 $ 와일드카드도 지원합니다. 직접 robots.txt를 붙여넣어 게시 전에 변경 사항을 시험해 볼 수도 있습니다.

## 자주 묻는 질문

### 검사기를 어떻게 사용하나요?

URL을 한 줄에 하나씩 입력하세요. 첫 번째 URL은 검사기가 어느 사이트의 robots.txt를 가져올지 알 수 있도록 전체 URL여야 합니다. 다음 줄에는 같은 사이트의 전체 URL이나 /admin/과 같은 경로를 입력할 수 있습니다. 사용자 에이전트를 선택하고 검사를 실행하세요.

### 적용할 규칙 그룹은 어떻게 선택하나요?

크롤러는 대소문자를 구분하지 않고 이름과 일치하는 User-agent 줄이 있는 그룹을 사용합니다. 정확히 일치하는 그룹이 없으면 크롤러 이름이 시작하는 이름 중 가장 긴 그룹을 사용합니다. 예를 들어 Googlebot-Image에는 googlebot 그룹이 적용되며, 해당 그룹도 없으면 * 그룹을 사용합니다. 이름이 같은 여러 그룹의 규칙은 하나로 합쳐집니다.

### 여러 규칙이 일치할 때 어떤 규칙이 우선하나요?

가장 구체적인 규칙, 즉 경로 패턴이 가장 긴 규칙이 우선합니다. Allow와 Disallow 규칙의 길이가 같으면 Allow가 우선합니다. 이는 RFC 9309에 명시되어 있으며 Google와 Bing이 사용하는 동작입니다.

### 와일드카드를 지원하나요?

네. 별표는 모든 문자 조합과 일치하며, 끝에 붙은 달러 기호는 규칙을 URL의 끝에 고정합니다. 따라서 Disallow: /*.pdf$는 .pdf로 끝나는 모든 URL를 차단합니다. 대소문자를 구분하며 쿼리 문자열도 포함해 일치 여부를 확인합니다.

### 게시 전에 robots.txt를 검사할 수 있나요?

네. 내용을 robots.txt 입력란에 붙여넣으세요. 검사기는 실시간 파일을 내려받는 대신 입력한 텍스트를 사용하므로 첫 줄에 경로를 입력해도 됩니다.

### 사이트에 robots.txt가 없으면 어떻게 되나요?

robots.txt가 404와 같은 4xx 상태 코드를 반환하면 크롤러가 모든 항목을 가져올 수 있으며, 검사기는 모든 URL를 허용된 것으로 표시합니다. 5xx 오류를 반환하면 Google는 일정 시간 사이트 전체를 차단된 것으로 처리하며 검사기도 이를 표시합니다.

### Disallow로 페이지가 검색 결과에서 제외되나요?

아니요. Disallow는 크롤링을 막지만 색인은 막지 않습니다. 다른 페이지에서 링크하는 경우 차단된 페이지도 설명 없이 검색 결과에 표시될 수 있습니다. 색인에서 제외하려면 크롤링이 허용된 페이지에 noindex 메타 태그나 헤더를 사용하세요.

### Crawl-delay에 표시가 붙는 이유는 무엇인가요?

Google은 Crawl-delay 지시문을 무시하지만 Bing은 이를 따릅니다. 테스터에 이 내용이 표시되므로 Googlebot의 속도를 늦추지 않는다는 점을 알 수 있습니다.

### 크기 제한이 있나요?

Google은 robots.txt 파일의 처음 500 KiB만 읽고 나머지는 무시합니다. 테스터도 같은 양을 읽으며, 파일이 더 길면 경고합니다.

### 몇 개의 URL을 테스트할 수 있나요?

요청당 최대 50개입니다. 실시간 robots.txt을 가져오는 작업은 요청 1회로 계산되며, 방문자별로 분당 실행할 수 있는 테스트 횟수가 제한됩니다.

여기에 광고를 게재하시겠어요?

[이메일 보내기](mailto:hi@dennn.is?subject=OneClick%20Pro%20%EA%B4%91%EA%B3%A0%20%EB%AC%B8%EC%9D%98)

[광고 433개 AI 에이전트 도구를 하나의 MCP 서버에서 제공하세요.](https://multitaskai.com/ko/?ref=oneclickpro)
