robots.txt 한 줄 잘못 쓰면 검색에서 통째로 사라진다
블로그가 갑자기 검색에 안 잡히는 원인 중에 이것이 있습니다. `Disallow: /` 한 줄이면 사이트 전체가 크롤링 대상에서 빠집니다. 파일 자체는 단순한데 잘못 쓰면 피해가 크고, 반대로 없다고 문제가 되지도 않습니다.
목차
무엇을 하는 파일인가요?
검색엔진 크롤러에게 어디를 긁고 어디를 긁지 말지 알려 주는 안내문입니다. 강제하는 장치가 아니라 요청에 가깝습니다.
| 항목 | 내용 |
|---|---|
| 위치 | 사이트 루트 |
| 형식 | 일반 텍스트 |
| 성격 | 요청이지 차단이 아님 |
| 없을 때 | 전체 허용으로 간주 |
셋째 줄을 오해하시면 안 됩니다. 예의 바른 크롤러는 지키지만 악성 수집기는 무시하므로, 보안 목적으로 쓰는 파일이 아닙니다.
넷째 줄이 다행인 부분입니다. 파일이 없다고 검색에서 빠지지 않으니, 잘 모르시겠으면 차라리 두지 않는 편이 안전합니다.
어떻게 생겼나요?
4줄이면 끝납니다. 어떤 크롤러에게 하는 말인지 적고 막을 경로와 열 경로를 쓰는 것이 전부인데, 문법이 단순한 만큼 오타 하나가 검증 없이 그대로 반영됩니다.
- User-agent — 어떤 크롤러에게 하는 말인지
- Disallow — 긁지 말라는 경로
- Allow — 예외로 허용할 경로
- Sitemap — 사이트맵 주소
첫 번째에 `*`를 쓰면 모든 크롤러가 대상입니다. 특정 검색엔진만 다르게 대하고 싶으실 때 이름을 따로 적습니다.
네 번째는 4가지 중 유일하게 차단과 무관하지만 여기 적어 두는 것이 관례입니다. 크롤러가 이 파일을 먼저 읽으므로 사이트맵 위치를 알리기 좋은 자리입니다.
가장 위험한 실수는요?
`Disallow: /` 입니다. 슬래시 하나가 사이트 전체를 뜻해서, 이 줄이 들어가면 모든 페이지가 크롤링 요청 거부 대상이 됩니다.
- Disallow: / — 전체 차단
- Disallow: — 값이 비면 전체 허용
- 대소문자 — 경로는 구분됩니다
- 오타 — 검증 없이 그대로 적용
첫 번째와 두 번째의 차이가 슬래시 1개입니다. 개발 중에 막아 두었다가 공개할 때 지우는 것을 잊어 사고가 나는 경우가 흔합니다.
세 번째가 미묘합니다. 글자 1개 차이로 결과가 달라지는데, `/Admin`과 `/admin`은 다른 경로로 취급되므로, 막으려던 곳이 안 막히거나 엉뚱한 곳이 막힙니다.
차단하면 검색에서 사라지나요?
꼭 그렇지는 않습니다. 크롤링을 막는 것과 검색 결과에서 빼는 것은 별개여서, robots.txt로만 막으면 내용은 못 읽어도 주소와 제목이 남을 수 있습니다.
- 크롤링 차단 — 내용을 안 읽습니다
- 색인 제외 — 별개의 개념입니다
- 외부 링크 — 다른 사이트가 걸면 주소만 노출될 수 있습니다
- 확실히 빼려면 — noindex 메타태그
두 번째와 세 번째를 함께 보십시오. robots.txt로 막으면 내용을 못 읽을 뿐이라 주소와 제목만 검색 결과에 뜨는 상태가 될 수 있습니다.
네 번째가 정확한 방법입니다. 메타태그 1줄이면 되고, 특정 페이지를 결과에서 완전히 빼시려면 그 페이지에 noindex를 넣으셔야 합니다.
★ 이때 주의할 점이 있습니다. robots.txt로 막아 두면 크롤러가 그 페이지를 못 읽어서 noindex 표시도 못 봅니다. 빼려는 페이지는 오히려 크롤링을 열어 두셔야 합니다.
티스토리는 어떤가요?
루트에 파일을 올릴 수 없습니다. ads.txt와 같은 제약입니다.
- 직접 작성 불가 — 루트 접근이 막혀 있습니다
- 기본 제공 — 플랫폼이 제공하는 형태가 있습니다
- 확인 방법 — 주소창에 /robots.txt
- 개별 제어 — 스킨의 메타태그로
두 번째를 먼저 확인해 보십시오. 2초면 되고, 주소창에 쳐 보시면 어떤 내용이 들어 있는지 바로 보이고, 대개 손댈 필요가 없습니다.
네 번째가 티스토리에서 쓸 수 있는 경로입니다. 특정 페이지를 검색에서 빼시려면 스킨 편집에서 메타태그를 다루셔야 합니다.
무엇을 확인하면 되나요?
문제가 의심될 때 볼 곳이 2군데로 정해져 있습니다. 파일 자체를 눈으로 보는 것과 서치콘솔이 무엇을 막혔다고 말하는지 보는 것입니다.
- 주소창 — 내 도메인 뒤 /robots.txt
- 서치콘솔 — robots.txt 보고서
- 색인 상태 — 갑자기 줄었는지
- 차단 경고 — 도구가 알려 줍니다
첫 번째가 10초면 됩니다. 파일이 있으면 내용이 그대로 보이고 `Disallow: /`가 있는지 눈으로 확인하실 수 있습니다.
두 번째가 진단 도구입니다. 막힌 주소가 1건이라도 있으면 목록에 나오므로, 서치콘솔이 특정 주소가 robots.txt에 막혔다고 알려 주므로, 색인이 안 되는 원인을 좁힐 수 있습니다.
색인 문제는 구글 서치콘솔 색인 요청하고 누락 원인 찾는 법에, 네이버 쪽은 네이버 서치어드바이저, 등록 안 하면 검색에 안 뜬다에 있습니다.
루트 파일 제약은 애드센스 ads.txt 경고 나올 때 해결하는 순서에서 같은 문제를 다뤘습니다.
구조와 노출은 구조화 데이터 넣어 검색 결과 풍부하게 만들기와 구글 검색 최적화 개발자와 직장인을 위한 가이드를 보시기 바랍니다.
설명 문서는 구글 검색 센터에서 확인하실 수 있습니다.
자주 묻는 질문
없으면 문제가 되나요?
되지 않습니다. 파일이 없으면 전체 허용으로 간주됩니다.
가장 위험한 줄은 무엇인가요?
`Disallow: /`입니다. 사이트 전체를 크롤링에서 뺍니다.
차단하면 검색에서 완전히 사라지나요?
아닙니다. 내용을 못 읽을 뿐 주소가 노출될 수 있습니다.
확실히 빼려면요?
해당 페이지에 noindex를 넣으십시오. 이때 robots.txt로 막으면 안 됩니다.
티스토리에서 만들 수 있나요?
루트에 파일을 못 올립니다. 주소창에서 기본 제공 내용을 확인하십시오.
정리
- 크롤러에게 보내는 요청이지 강제 차단이 아닙니다
- 파일이 없어도 문제가 되지 않습니다
- `Disallow: /` 한 줄이 사이트 전체를 뺍니다
- 차단과 색인 제외는 다른 개념입니다
- noindex를 쓰실 페이지는 크롤링을 열어 두어야 합니다
- 티스토리는 루트 파일을 못 올려 메타태그로 제어합니다
다음으로 하실 일은 주소창에 내 도메인 뒤 /robots.txt를 쳐 보시는 것입니다. `Disallow: /`가 보이면 그것부터 손보셔야 합니다.
글쓴이 션잇 · IT 전문가. 업무 자동화와 AI 도구를 다룬다
댓글