애드센스를 통해 티스토리 블로그에서 광고 수익을 올리고 있는 블로거들에게 간혹 발생하는 크롤러 오류는 매우 골치 아픈 문제 중 하나입니다. 이 오류는 구글 애드센스 크롤러가 티스토리 블로그의 콘텐츠를 정상적으로 읽지 못할 때 발생하며, 주로 잘못된 설정이나 콘텐츠 접근 권한 문제 등으로 인해 발생합니다. 이러한 크롤러 오류가 발생하면 광고가 제대로 노출되지 않거나 수익에 영향을 미칠 수 있기 때문에 빠르게 해결하는 것이 중요합니다.
이번 글에서는 티스토리 애드센스 크롤러 오류 해결 방법을 단계별로 자세히 설명하겠습니다.
1. 크롤러 오류란?
크롤러 오류는 구글 애드센스의 **크롤러(검색 엔진 봇)**가 웹 페이지를 방문해 콘텐츠를 분석하고 광고를 게재하려 할 때, 페이지에 접근할 수 없는 경우 발생합니다. 이는 크롤러가 페이지 내용을 확인하지 못해 광고가 제대로 노출되지 않거나 맞춤형 광고가 제공되지 않는 상황을 초래할 수 있습니다.
대표적인 원인:
- 페이지 접근 차단: robots.txt 파일이나 블로그 설정에서 검색 엔진이 페이지를 크롤링하는 것을 차단한 경우 발생합니다.
- 404 오류: 특정 페이지가 존재하지 않거나 URL이 잘못된 경우 발생하는 오류입니다.
- 블로그 전체 비공개 설정: 블로그가 검색 엔진에 의해 인덱싱되지 않도록 설정된 경우, 크롤러가 블로그에 접근할 수 없어 오류가 발생할 수 있습니다.
2. 크롤러 오류 확인 방법
2.1. 애드센스 관리 페이지 접속
구글 애드센스에 로그인한 후, 사이트 메뉴에서 크롤러 오류 경고 메시지가 있는지 확인합니다. 애드센스 대시보드에서 크롤러가 정상적으로 작동하고 있는지 여부를 확인할 수 있습니다.
2.2. 정확한 오류 내용 확인
애드센스 대시보드의 크롤러 오류 항목을 클릭하면 문제가 발생한 페이지 URL과 그에 대한 상세 설명이 제공됩니다. 이 정보를 통해 어떤 페이지에서 문제가 발생하고 있는지 파악할 수 있습니다.
3. 티스토리 블로그 크롤러 오류 해결 방법
3.1. robots.txt 파일 설정 확인
robots.txt 파일은 검색 엔진 크롤러가 특정 페이지를 크롤링할 수 있도록 허용하거나 차단하는 파일입니다. 만약 robots.txt 파일이 잘못 설정되어 있으면, 구글 크롤러가 블로그 페이지를 제대로 읽지 못하게 됩니다. 이를 해결하려면 티스토리에서 올바른 robots.txt 파일 설정을 확인해야 합니다.
3.1.1. 티스토리 관리자 페이지 접속
티스토리 관리자 페이지에 로그인한 후, 블로그 관리 > 검색엔진 최적화(SEO) 메뉴로 이동합니다. 이곳에서 robots.txt 파일 설정을 확인하고, 필요 시 수정을 진행합니다.
3.1.2. robots.txt 설정 확인
robots.txt 파일의 기본적인 설정은 다음과 같습니다:
- **User-agent: ***: 모든 검색 엔진 크롤러가 페이지에 접근할 수 있도록 허용하는 설정입니다.
- Allow: /: 블로그의 모든 페이지가 크롤링 가능함을 나타냅니다.
- Sitemap: 사이트맵 URL을 설정하여 구글이 블로그 구조를 정확하게 파악할 수 있도록 합니다.
Sitemap 항목에는 자신의 블로그 URL이 정확하게 적혀 있어야 하며, 이를 통해 구글 크롤러가 블로그의 모든 페이지를 크롤링할 수 있게 됩니다.
3.1.3. 저장 후 재확인
설정을 저장한 후, 다시 애드센스 크롤러 오류가 해결되었는지 확인합니다. 설정 변경이 완료되었으면, 구글 애드센스 크롤러가 블로그를 정상적으로 크롤링할 수 있을 것입니다.
3.2. 블로그 공개 설정 확인
티스토리 블로그가 비공개 상태로 설정되어 있으면, 구글 크롤러가 페이지에 접근할 수 없으므로 블로그가 공개로 설정되어 있는지 확인하는 것이 중요합니다.
3.2.1. 티스토리 관리자 페이지 접속
티스토리 관리자 페이지에서 블로그 관리로 이동합니다.
3.2.2. 블로그 공개 여부 확인
블로그 설정 > 기본 설정에서 블로그가 **"공개"**로 설정되어 있는지 확인합니다. 블로그가 비공개로 설정되어 있으면 구글 크롤러가 접근할 수 없습니다. 블로그를 공개로 설정해야만 구글 크롤러가 정상적으로 블로그를 크롤링할 수 있습니다.
3.3. 블로그 URL 및 페이지 상태 확인
구글 애드센스에서 크롤러 오류가 발생한 페이지의 URL을 확인한 후, 해당 URL이 실제로 유효한지 점검해야 합니다.
3.3.1. 애드센스 오류 보고서에서 URL 확인
애드센스 크롤러 오류 보고서에서 문제가 발생한 페이지 URL을 확인합니다.
3.3.2. 페이지 상태 점검
해당 URL에 직접 접속하여 페이지가 정상적으로 표시되는지 확인합니다. 만약 페이지가 삭제되었거나 이동된 경우, 404 오류가 발생할 수 있습니다.
3.3.3. 301 리디렉션 설정
삭제된 페이지가 있을 경우, 301 리디렉션을 설정하여 삭제된 페이지가 새로운 페이지로 리디렉션되도록 해야 합니다. 티스토리에서는 직접 리디렉션 설정이 불가능하기 때문에, 글을 복원하거나 삭제된 글의 URL을 수정하는 방식으로 해결할 수 있습니다.
3.4. 사이트맵 등록 및 관리
사이트맵은 블로그의 모든 페이지를 검색 엔진에 효율적으로 알려주는 역할을 합니다. 사이트맵이 잘못 등록되었거나 누락된 경우에도 크롤러가 페이지를 찾지 못할 수 있습니다.
3.4.1. 사이트맵 생성
티스토리 블로그의 기본 사이트맵 URL은 다음과 같습니다:
이 URL을 구글 검색 콘솔에 제출하여, 구글이 블로그의 페이지들을 효율적으로 탐색할 수 있도록 합니다.
3.4.2. 사이트맵 등록
구글 서치 콘솔(Google Search Console)에 접속하여 사이트맵 메뉴에서 위 URL을 추가합니다. 사이트맵이 정상적으로 작동하면 구글 크롤러가 블로그 전체를 보다 쉽게 탐색할 수 있습니다.
3.4.3. 사이트맵 갱신
블로그 콘텐츠가 자주 업데이트된다면, 사이트맵을 주기적으로 갱신하여 새로운 페이지들이 구글 크롤러에 의해 인식될 수 있도록 해야 합니다.
3.5. 페이지 로딩 속도 및 서버 문제
페이지 로딩 속도가 지나치게 느리거나 서버 응답이 늦으면, 크롤러가 페이지를 완전히 탐색하지 못하고 오류가 발생할 수 있습니다.
3.5.1. 페이지 로딩 속도 확인
구글 PageSpeed Insights와 같은 도구를 사용하여 블로그 페이지의 로딩 속도를 확인합니다. 로딩 속도가 느린 페이지는 크롤러가 데이터를 수집하는 데 어려움을 겪을 수 있습니다.
3.5.2. 이미지 최적화 및 캐시 사용
티스토리 블로그에서 사용하는 이미지나 미디어 파일의 용량을 최적화하고, 블로그의 캐시 설정을 통해 로딩 속도를 개선합니다. 이를 통해 크롤러가 페이지를 보다 빠르게 탐색할 수 있습니다.
3.5.3. 서버 상태 확인
일시적으로 서버 오류나 과부하가 발생하면, 구글 크롤러가 페이지에 접근하지 못할 수 있습니다. 이런 문제가 지속된다면, 호스팅 서비스 제공자에게 문의하거나 서버 상태를 점검해 보는 것이 좋습니다.
결론: 크롤러 오류 해결을 위한 포괄적 관리
티스토리 블로그에서 발생하는 애드센스 크롤러 오류는 여러 가지 요인에서 발생할 수 있습니다. 검색 엔진 설정, 페이지 상태, 사이트맵 관리 등 다양한 요소를 점검하고 관리해야 합니다. 위에서 설명한 단계별 해결 방법을 통해 크롤러 오류를 해결하고, 광고 수익을 최적화할 수 있습니다. 특히, robots.txt 파일 설정, 블로그 공개 설정, 사이트맵 등록 등은 필수적으로 점검해야 할 요소입니다.
크롤러 오류 해결 후에도 꾸준한 관리와 SEO 최적화 노력이 필요하며, 이를 통해 티스토리 블로그의 성과를 극대화할 수 있습니다.
