seo

robots.txt

사이트 루트(예: marketinghub.co.kr/robots.txt)에 두는 텍스트 파일로, 검색엔진 봇에게 "어떤 경로는 크롤링 허용/금지"를 알려줍니다. 잘못 설정하면 사이트 전체가 검색에서 사라질 수 있어, 신규 사이트 오픈 직후 가장 먼저 점검해야 할 파일.

📌 사용 예시

Disallow: /admin/ 으로 어드민 페이지를 색인 차단하고, Allow: /로 나머지는 허용.

🔗 관련 용어

색인 (Indexing)

검색엔진이 크롤링한 페이지를 데이터베이스에 등록해 검색결과로 노출시킬 수 있게 하는 과정. 색인되지 않은 페이지는 아무리 잘 만들어도 검색에 안 뜹니다. 네이버 서치어드바이저·구글 서치콘솔에서 색인 상태와 누락 페이지를 확인할 수 있습니다.

크롤링 (Crawling)

검색엔진 봇(구글봇·네이버 예티)이 사이트를 순회하며 페이지 내용을 수집하는 과정. 크롤링 → 색인 → 노출 순서라 크롤링 단계에서 차단되면 검색에 절대 안 잡힙니다. robots.txt·서버 응답 속도·내부 링크 구조가 크롤링 효율을 좌우합니다.

사이트맵 (Sitemap, sitemap.xml)

사이트 내 모든 페이지 URL과 마지막 수정일을 담은 XML 파일. 검색엔진이 새 글이나 변경 페이지를 더 빠르고 빠짐없이 색인하도록 안내하는 "지도". 네이버 서치어드바이저·구글 서치콘솔에 sitemap.xml 주소를 등록해두는 게 기본 작업입니다.