크롤링3 robots.txt 한 줄 잘못 쓰면 검색에서 통째로 사라진다 블로그가 갑자기 검색에 안 잡히는 원인 중에 이것이 있습니다. `Disallow: /` 한 줄이면 사이트 전체가 크롤링 대상에서 빠집니다. 파일 자체는 단순한데 잘못 쓰면 피해가 크고, 반대로 없다고 문제가 되지도 않습니다.목차무엇을 하는 파일인가요?어떻게 생겼나요?가장 위험한 실수는요?차단하면 검색에서 사라지나요?티스토리는 어떤가요?무엇을 확인하면 되나요?자주 묻는 질문정리무엇을 하는 파일인가요?검색엔진 크롤러에게 어디를 긁고 어디를 긁지 말지 알려 주는 안내문입니다. 강제하는 장치가 아니라 요청에 가깝습니다.항목내용위치사이트 루트형식일반 텍스트성격요청이지 차단이 아님없을 때전체 허용으로 간주셋째 줄을 오해하시면 안 됩니다. 예의 바른 크롤러는 지키지만 악성 수집기는 무시하므로, 보안 목적으로 쓰는 파.. 카테고리 없음 2026. 9. 2. 더보기 ›› 블로그 내부링크 거는 기준과 실제 효과 짚어보기 글을 많이 쓰셔도 서로 연결되지 않으면 각각 떨어진 섬으로 남습니다. 내부링크는 검색엔진이 사이트 구조를 읽는 통로이자 방문자를 다음 글로 데려가는 길입니다. 비용이 들지 않는 데 비해 효과가 분명해서, 우선순위가 높은 작업에 속합니다.목차내부링크가 무엇을 하나요?어디에 걸어야 하나요?앵커 텍스트는 어떻게 쓰나요?얼마나 걸어야 하나요?죽은 링크는 어떻게 관리하나요?어떻게 시작하면 되나요?자주 묻는 질문정리내부링크가 무엇을 하나요?검색엔진에게 구조를 알리고 방문자를 이동시키는 두 가지 역할을 합니다. 어느 쪽이든 사이트에 글이 쌓일수록 값이 커지므로, 초기부터 습관으로 만들어두시는 편이 낫습니다.역할무엇에 반영되나구조 전달어떤 글이 중요한지크롤링 경로새 글을 찾아가는 길체류 시간다음 글로 이동이탈 감소나가.. 카테고리 없음 2026. 8. 29. 더보기 ›› 구글 서치콘솔 색인 요청하고 누락 원인 찾는 법 글을 올렸는데 검색에 안 나온다면 순위 문제가 아니라 색인 문제인 경우가 많다. 색인이 안 된 페이지는 순위를 다툴 자리에조차 못 간다. 서치콘솔에서 상태를 확인하고 색인을 요청하는 방법, 그리고 누락되는 대표적인 이유를 순서대로 본다.목차색인이 무엇인가?상태를 어떻게 확인하나?색인을 어떻게 요청하나?왜 색인이 안 되나?값어치 판단에서 밀렸다면?사이트맵과 RSS는 무엇이 다른가?자주 묻는 질문정리색인이 무엇인가?검색엔진이 페이지를 읽어 저장해두는 것이다. 크롤링과 색인은 다른 단계라, 방문했는데 저장하지 않고 넘어가는 경우가 있다.단계무슨 일이 일어나나발견페이지 주소를 알게 된다크롤링실제로 방문해 읽는다색인저장하고 검색 대상에 넣는다노출검색어에 맞으면 보여준다두 번째와 세 번째 사이가 자주 막히는 구간이.. 카테고리 없음 2026. 8. 24. 더보기 ›› 이전 1 다음
