RobotsTXT1 robots.txt 한 줄 잘못 쓰면 검색에서 통째로 사라진다 블로그가 갑자기 검색에 안 잡히는 원인 중에 이것이 있습니다. `Disallow: /` 한 줄이면 사이트 전체가 크롤링 대상에서 빠집니다. 파일 자체는 단순한데 잘못 쓰면 피해가 크고, 반대로 없다고 문제가 되지도 않습니다.목차무엇을 하는 파일인가요?어떻게 생겼나요?가장 위험한 실수는요?차단하면 검색에서 사라지나요?티스토리는 어떤가요?무엇을 확인하면 되나요?자주 묻는 질문정리무엇을 하는 파일인가요?검색엔진 크롤러에게 어디를 긁고 어디를 긁지 말지 알려 주는 안내문입니다. 강제하는 장치가 아니라 요청에 가깝습니다.항목내용위치사이트 루트형식일반 텍스트성격요청이지 차단이 아님없을 때전체 허용으로 간주셋째 줄을 오해하시면 안 됩니다. 예의 바른 크롤러는 지키지만 악성 수집기는 무시하므로, 보안 목적으로 쓰는 파.. 카테고리 없음 2026. 9. 2. 더보기 ›› 이전 1 다음
