.webp) |
| 블로그검색최적화-robots.txt |
블로그에 맞는 robots.txt, 어떻게 설정해야 할까요?
블로그스팟(Blogger)을 운영하면서 검색 노출을 최적화하고 싶은 분들을 위해 맞춤 robots.txt 설정 방법을 소개합니다. 크롤링 차단 경로를 정리하고, 사이트맵 제출로 검색 노출을 강화하며, 네이버나 다음 등 다양한 로봇 제어까지 가능한 실전 팁을 담았습니다.
robots.txt 설정이 중요한 이유
 |
| 블로그검색최적화-robots.txt |
robots.txt는 검색엔진 로봇에게 어떤 페이지를 크롤링할 수 있는지 알려주는 파일입니다.
이를 통해 불필요한 페이지는 차단하고, 핵심 콘텐츠는 더욱 잘 노출되도록 만들 수 있습니다.
특히 블로그스팟처럼 라벨, 검색, 카테고리 구조가 다양한 플랫폼에서는 필수적인 설정입니다.
블로그스팟 관리자 페이지에서 설정 진입
먼저 구글 계정으로 Blogger에 로그인해 주세요.
좌측 사이드바의 설정 메뉴를 클릭하고, 화면을 아래로 내려
크롤러 및 색인 생성 항목을 찾습니다.
여기서 '맞춤 robots.txt 사용 설정'을 켜야 입력창이 활성화됩니다.
맞춤 robots.txt 코드 작성 방법
.webp) |
| 블로그검색최적화-robots.txt |
입력창에 아래와 같이 코드를 넣습니다.
본인의 블로그 주소에 맞게 수정이 필요합니다.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://your-blog-url/sitemap.xml
your-blog-url 부분에는 블로그 주소를 입력해야 하고,
Disallow: /search는 검색 결과 페이지의 인덱싱을 차단하는 역할을 합니다.
라벨 페이지 허용 설정 팁
블로그에서 라벨 페이지는 중요한 내부 콘텐츠입니다.
하지만 /search 전체를 막으면 라벨 페이지도 함께 차단됩니다.
이 경우 아래와 같이 수정이 필요합니다.
Disallow: /search
Allow: /search/label/
이 설정은 /search는 막고, /search/label/은 허용하여
라벨 페이지가 검색 노출되도록 돕습니다.
네이버 로봇(Yeti) 대응 설정 추가
.webp) |
| 블로그검색최적화-robots.txt |
네이버 검색엔진 노출을 고려하는 블로그는
User-agent: Yeti에 대한 규칙을 추가하는 것이 좋습니다.
User-agent: Yeti
Allow: /
이 설정은 네이버 검색 로봇에게 전체 콘텐츠 크롤링을 허용합니다.
특정 포스트만 제외하려면 별도 Disallow 설정을 병행하세요.
robots.txt 확인 방법
설정 후 저장을 완료했다면 아래 주소로 접속해 설정 내용을 확인합니다.
자신의 블로그 주소 뒤에 /robots.txt를 붙이면 됩니다.
예: https://your-blog-url.blogspot.com/robots.txt
정상적으로 나오지 않으면 설정을 다시 확인해보세요.
robots.txt 설정 예시 요약 표
아래는 주요 설정 항목과 의미를 정리한 표입니다.
| 항목 | 설명 |
|---|---|
| User-agent: * | 모든 검색 엔진 로봇에 적용 |
| Disallow: /search | 검색 페이지는 크롤링 차단 |
| Allow: / | 나머지 모든 페이지는 허용 |
| Sitemap: https://.../sitemap.xml | 사이트맵 주소를 등록하여 검색엔진에 구조 전달 |
사이트맵 제출로 SEO 극대화
robots.txt 설정만으로는 부족합니다.
검색엔진에 사이트맵을 직접 제출하면 훨씬 빠르고 정확한 노출이 가능합니다.
구글 서치 콘솔이나 네이버 서치어드바이저를 통해 사이트맵을 제출하세요.
주소는 보통 https://your-blog-url/sitemap.xml 형식입니다.
표: 주요 로봇별 User-agent 명칭
| 검색엔진 | 로봇 이름 (User-agent) |
|---|---|
| 구글 | Googlebot, Mediapartners-Google |
| 네이버 | Yeti |
| 다음 (Daum) | Daumoa |
| 빙 (Bing) | Bingbot |
.jpg)
.jpg)
.jpg)
0 댓글