지도와 출입 안내판, 역할부터 다릅니다

사이트맵과 robots.txt는 자주 묶여 언급되지만 하는 일이 다릅니다. 사이트맵(sitemap.xml)은 “우리 사이트에 이런 페이지들이 있습니다”라고 알려 주는 지도이고, robots.txt는 “이 구역은 들어오지 마세요”라고 안내하는 표지판입니다. 하나는 안내, 하나는 통제라서 서로를 대신할 수 없습니다.

워드프레스라면 대부분 이미 있습니다

워드프레스 5.5부터는 사이트맵이 기본으로 생성됩니다. 도메인 뒤에 /wp-sitemap.xml을 붙이면 확인할 수 있고, Yoast SEO나 Rank Math 같은 플러그인을 쓰면 더 정교한 사이트맵으로 대체됩니다. robots.txt도 워드프레스가 가상 파일로 만들어 줍니다. 즉 새로 만드는 일보다, 이미 있는 걸 서치콘솔에 제출하고 내용을 점검하는 일이 실제 할 일의 대부분입니다.

흔한 실수 세 가지

• 검색엔진 차단 옵션 방치 — 제작 중 켜 둔 ‘검색엔진 차단’ 설정을 오픈 후에도 끄지 않아 몇 달째 색인이 안 되는 경우가 정말 많습니다.
• robots.txt로 페이지 숨기기 — 차단해도 URL 자체는 검색에 노출될 수 있습니다. 감추려면 noindex를 써야 합니다.
• 사이트맵 제출 후 방치 — 서치콘솔의 색인 현황을 주기적으로 봐야 오류를 제때 발견할 수 있습니다.

지금 주소창에 내 도메인 뒤에 /robots.txt를 붙여 열어 보세요. Disallow: / 한 줄이 보인다면 사이트 전체가 차단된 상태입니다.

사이트맵 제출은 검색 노출의 시작일 뿐, 실제 순위는 콘텐츠와 사이트 품질이 결정합니다. 그다음 단계가 궁금하시다면 검색 순위 가이드에서 이어서 보실 수 있습니다.

※ 쇼핑몰이라면 장바구니·결제 페이지는 robots.txt로 차단해 크롤링 낭비를 줄이는 게 좋습니다. 반대로 상품·카테고리 페이지가 실수로 차단돼 있지 않은지도 함께 확인하세요.

IDC.KR은 제작 단계에서 사이트맵 생성과 서치콘솔 제출까지 기본으로 세팅해 드립니다. 사이트가 검색에 안 잡혀 답답하시다면 여기로 문의 주세요. 원인부터 확인해 드리겠습니다.