[애드센스] "광고 크롤러 오류가 있습니다" - 이제는 구글 서치 콘솔과 친해질 시점

 

안녕하세요?

 

저는 애드센스 승인을 받은지 한 달 정도 되었지만

아직... 소득은 소수점 아래 조차도 발생하지 않았답니다.

 

오늘은 그러한 제 애드센스에 갑자기 찾아온 불청객,

광고 크롤러 오류

 

에 대해서 함께 알아보고, 어떻게 바로잡을지에 대해서 알아보도록 하겠습니다.

 

 

 

해결해야 하는 문제는 0건..

 

그런데 제한된 광고게재 부분이 매우 신경 쓰입니다.

 

 

애드센스에서 광고 크롤러 오류란 뭘까?

 

애드센스에서 "광고 크롤러 오류"란, 

Google의 광고 크롤러가 광고를 게재하려는 웹페이지를 제대로 크롤링(수집)하지 못하는 상황을 의미합니다. 

 

이 오류가 발생하면 광고가 제대로 표시되지 않을 수 있습니다. 주요 원인과 해결 방법은 다음과 같습니다:

 

 

1. 크롤러가 페이지에 접근할 수 없는 경우

- 원인: 웹사이트의 robots.txt 파일이 Google의 광고 크롤러를 차단하고 있거나, 사이트의 방화벽이나 보안 설정이 크롤러의 접근을 막고 있을 수 있습니다.

 

- 해결 방법:

  - `robots.txt` 파일에서 Google 광고 크롤러의 접근을 허용합니다. 광고 크롤러를 허용하려면 아래 코드를 추가하세요:

    

User-agent: Mediapartners-Google  Allow: /

   

  - 방화벽 설정을 확인하고 Google 광고 크롤러의 IP 주소를 허용 목록에 추가하세요.

 

 

2. 비공개 페이지 문제

- 원인: 페이지가 비공개 설정되어 있거나 로그인해야만 접근 가능한 경우.

 

- 해결 방법:

  - 광고를 게재하려는 페이지를 공개 상태로 설정하세요.

  - 만약 비공개 페이지라면 광고 게재를 재고하거나, 로그인이 필요한 페이지에서는 애드센스를 사용하지 않는 것이 좋습니다.

 

 

3. 페이지 로딩 속도 및 서버 문제

- 원인: 웹사이트가 너무 느리게 로드되거나 서버가 다운되어 크롤러가 데이터를 수집할 수 없습니다.

 

- 해결 방법:

  - 웹사이트의 로딩 속도를 개선하세요.

  - 서버의 안정성을 확인하고 유지 보수를 진행하세요.

 

 

4. 페이지 URL 문제

- 원인: 크롤러가 잘못된 URL을 요청하거나, 동적으로 생성된 URL이 크롤링되지 않을 수 있습니다.

 

- 해결 방법:

  - 웹사이트의 URL이 정확하고 크롤링 가능한지 확인하세요.

  - URL이 동적일 경우, 정적 URL로 변환하거나 sitemap.xml 파일에 포함시켜 Google이 올바른 경로를 인식하도록 도와주세요.

 

 

5. 콘텐츠 문제

- 원인: 페이지에 민감한 콘텐츠가 포함되어 크롤러가 접근을 제한하는 경우.

 

- 해결 방법:

  - 페이지에 Google 애드센스 정책을 위반하는 콘텐츠(성인, 폭력, 민감한 주제 등)가 없는지 확인하고 수정하세요.

 

 

오류 확인 및 대응

Google 애드센스 계정의 "정책 센터" 또는 "사이트" 탭에서 구체적인 오류 메시지를 확인할 수 있습니다. 

 

---

크롤러 오류의 여러 원인들 중에서도.......

사이트가 구글 서치콘솔에 등록되어 있지 않다는 점이

문제일거라고 가정하고 구글 서치 콘솔에

등록하는 것 부터 해결하기 시작해봅니다.

---

 

구글 서치 콘솔 

 

관련 내용에 대해 검색해보니..

그냥 두면 해결이 된다는 의견이 있고

또 구글 서치 콘솔에 색인이 생성되어 있지 않다면 색인을 생성하라는 의견이 있었습니다.

 

우선 저는 구글 서치 콘솔에 제 도메인을 등록해본 적이 없기 때문에 이 부분이 문제의 원인일 수도 있고, 애드센스 승인 준비를 하면서 색인에 대한 언급을 많이 봤기 때문에 겸사겸사

 

Google Search Console

Google Search Console

 

티스토리 블로그를 구글 서치콘솔에 등록하는 방법

 

서치콘솔에 접속: Google Search Console에 접속하여 로그인합니다.

 

속성 추가:

 

도메인 속성: 유료 도메인을 사용하는 경우.

URL 접두어 속성: https://yourblog.tistory.com 형식으로 입력.

 

소유권 확인:

 

티스토리 기본 도메인(tistory.com)을 사용하는 경우:

 

HTML 태그 방식 사용:

서치콘솔에서 제공하는 메타 태그를 복사합니다.

티스토리 관리 페이지 → 플러그인 설정 → HTML HEAD 편집에 메타 태그를 붙여넣습니다.

HTML 파일 업로드 방식은 티스토리에서 지원하지 않습니다.

 

유료 도메인을 사용하는 경우:

DNS 레코드를 추가하여 소유권을 확인하거나, 메타 태그 방식도 동일하게 사용할 수 있습니다.

 

검증 완료:

 설정 후 서치콘솔에서 "검증" 버튼을 클릭합니다. 검증은 몇 분에서 몇 시간까지 걸릴 수 있습니다.

 

 

 

메타태그란?

메타태그란 HTML 문서의 머리 부분에 포함되어 있는 특수한 태그로

글 페이지의 제목, 내용, 요약 등 페이지의 여러 정보를 제공해줍니다.

이러한 메타태그는 SEO를 위한 목적으로 사용되니 매우 중요하죠 

 

 

티스토리 관리페이지 - 플러그인 - 메타 태그 등록

 

 

티스토리에도 플러그인 중 메타태그 등록이 있습니다.

 

메타 태그 추가하기

 

 

 

그리고 저는 HTML 입력을 통한 소유권 확인도 하기로 했습니다.

 

 

html 입력이 되었다면 

구글 서치 콘솔 HTML 태그 확인란에서 '확인'을 눌러줍니다.

 

첫 시도에서는 빨간색으로 '소유권이 확인되지 않음'이 떴지만..

 

티스토리 관리 페이지의 구글 서치콘솔

 

메타 태그를 추가하자

연동되지 않던 티스토리에서의 구글 서치콘솔도 

연동이 되는 것을 확인!

(처음에 확인이 안되더라도 이리 저리 소유권 확인을 위한 여러 경로를 시도해보시기 바랍니다)

 

 

다시 콘솔로 돌아와서 '확인'을 누르자

 

소유권이 자동으로 확인됨 (확인 방법: HTML 태그)

 

 

소유권이 마침내 확인되었습니다.

그리고 확인된 상태를 유지하려면 사이트 홈페이지에서 메타태그를 삭제하지 말고 설정 > 소유권 인증에서 이외에 다양한 확인 방법을 추가하는 것이 좋다고 합니다.

 

구글 서치 콘솔에 진입했다면 ? sitemap 과 rss를 등록

 

 

매일 왜 내 블로그에는 방문자가 없을까, 새 글을 쓰고 새로고침만 반복했다면? 필독

 

구글 서치 콘솔에 /rss를 제출해야 하는 이유....

블로그에 포스팅을 한 후 구글, 다음, 네이버에서 검색을 했을 때 내가 쓴 글이 노출이 되도록 하기 위해 필수로 등록해야 하는 과정이기 때문입니다.

 

구글 서치 콘솔에 rss 사이트맵을 제출하면 구글 검색로봇이 내 블로그에 포스팅한 글을 사람들이 검색했을 때 노출시켜줄 수 있습니다.

 

 

sitemap 과 rss 개념 알고 가기

 

Sitemap (사이트맵)

1. 정의

Sitemap은 웹사이트의 구조를 검색 엔진에 알려주는 파일로, 웹사이트의 URL 목록을 포함합니다. 주로 **검색 엔진 최적화(SEO)**를 위해 사용됩니다.

2. 주요 특징

• 목적: 검색 엔진이 웹사이트의 모든 페이지를 크롤링하고 색인할 수 있도록 도움.
• 형식: XML 형식이 일반적이지만, HTML 형태로도 제공 가능.
• 포함 정보:
  • 페이지 URL
  • 페이지의 마지막 수정 날짜
  • 변경 빈도
  • 우선순위
• 사용자 대상: 검색 엔진 (Google, Bing 등)
• 주요 사용 사례:
  • 큰 웹사이트에서 검색 엔진이 모든 페이지를 효율적으로 크롤링하도록 도움.
  • 새로운 페이지나 업데이트를 빠르게 검색 엔진에 반영.

 

RSS (Rich Site Summary 또는 Really Simple Syndication)

1. 정의

RSS는 콘텐츠(뉴스, 블로그 포스트 등)의 업데이트 정보를 사용자와 애플리케이션에 제공하기 위한 데이터 형식입니다.

2. 주요 특징

• 목적: 사용자가 관심 있는 웹사이트의 새 콘텐츠를 자동으로 받아볼 수 있도록 제공.
• 형식: XML 형식으로 작성.
• 포함 정보:
  • 콘텐츠 제목
  • 간략한 요약
  • 콘텐츠 URL
  • 게시 날짜
• 사용자 대상: 일반 사용자와 RSS 리더(Feedly, Inoreader 등)
• 주요 사용 사례:
  • 뉴스, 블로그, 팟캐스트와 같은 정기적으로 업데이트되는 콘텐츠 구독.
  • 사용자가 웹사이트를 직접 방문하지 않고도 새 게시물을 확인.

 

주요 차이점 비교

• Sitemap: 웹사이트가 검색 엔진에 잘 노출되도록 돕는 도구.
• RSS: 사용자에게 콘텐츠 업데이트 정보를 제공하는 도구.

둘 다 XML 형식을 사용하지만, 각각 검색 엔진과 사용자를 주요 대상으로 삼는 점에서 목적이 다릅니다.

 

---

사이트맵 등록 시 주의사항

sitemap, rss, 이런식으로 적으면 안됩니다.

 

반드시 티스토리 관리 - 블로그 - 주소설정 의 '사이트맵 주소'를 '그대로' 붙여넣기 해줍니다.

 

아래와 같이요.

 

이렇게 하지 말기

 

 

 

사이트맵 URL을 공란에 그대로 붙여넣기 하니 시원하게 성공했습니다.

 

 

rss의 경우에 'rss'로도 넣어보고 선배님들의 글을 보고 '/rss' 로 슬래쉬를 추가하여 넣기도 했습니다.

서너번 반복해서 하고, 그래도 안되면 한 5분 정도 다른 작업 하다가 돌아와서 다시 시도하면 성공 버튼이 뜨네요.

 

관건은 /rss를 입력했을때 빨간 실패가 뜨더라도 놀라지 말고

똑같이 반복해서 공란에 넣어주는 것입니다.

 

 

---

 

 

아직 구글 서치콘솔에 등록한지 1일차이니 누적 데이터가 적어서 아무 내용도 나오지는 않네요.

 

하지만 위에서 보여드린 바와 같이

 

(1) 티스토리 블로그에 대한

(메타 태그 등록, HTML 입력을 통한) 소유권 확인

 

(2) 구글 서치콘솔 연동

 

을 하는 동안 

 

애드센스 페이지에 아래와 같은 변동이 있었습니다.

 

제한된 광고 퍼센티지가 29 → 26%로 줄고,

일반 광고 게재가 71  →  74%

로 늘어난 것으로 보아 

크롤러 오류가 구글 서치 콘솔과 상관관계가 있었다는 결론을 좀 성급하게 내려봅니다.

 

구글 서치콘솔에 대해서는 추후 더 자세히 알아보겠지만

웹사이트의 검색 트래픽을 분석하고, 오류를 쉽게 검출할 수 있고, 또한 사이트맵(구글이 웹사이트를 탐색할때 더 원활하게 진행되도록 하여 검색 결과에 더 잘 보여질 수 있게 함) 제출 기능이 있어 

블로그를 진지하게 운영하는 사람이라면 무시하고 갈 수 없는 기능이라고 보입니다.

 

웹사이트의 검색성을 향상하고 SEO를 최적화하는 데 있어 필수적인 도구이죠.

 

---

기타 잡담 ::
소유권 확인을 받기 위해 반드시 유료 도메인이어야 하는가?

 

 

그렇지는 않은 것으로 보입니다.

티스토리 블로그를 구글 서치콘솔(Google Search Console)에 등록하려면 반드시 유료 도메인을 사용할 필요는 없습니다. 기본적으로 제공되는 tistory.com 서브도메인으로도 등록이 가능합니다. 

 

다만, 유료 도메인을 사용하는 경우

브랜드 관리와 SEO 측면에서 아래와 같이 추가적인 이점이 있다고는 하니 참고하세요.

 

유료 도메인을 사용하는 경우의 장점은 있다

 

브랜딩: 독자적인 도메인이 더 신뢰성을 줄 수 있습니다.

SEO 최적화: 유료 도메인은 더 나은 검색 엔진 가시성을 제공할 가능성이 있습니다.

전환율 향상: 기억하기 쉬운 도메인이 방문자를 다시 유도하는 데 도움이 됩니다.

따라서 유료 도메인이 없어도 구글 서치콘솔 등록은 가능하지만, 
장기적인 블로그 성장과 브랜딩을 고려한다면 유료 도메인을 사용하는 것도 좋은 선택일 수도 있겠네요.

 

여하튼 저는 유료 도메인은 배제하고 나머지 방법으로 접근하기로 했습니다.
메타태그는 블로그 운영에 있어 매우 중요한데
구글 상위 노출을 하기 위해서는 꼭 이 메타태그에 대해 이해할 필요가 있습니다.

 

 

---

 

'광고 크롤러 오류' 를 해결하려다보니

의도치 않게(?) 구글 서치 콘솔, 그리고 SEO까지 언급하게 되었습니다.

 

크롤러 오류 알림이 사라지는 그날을 위하여....

관련 시리즈 포스팅은 총 3~4개 정도 되겠군요.

 

 

긴 글 읽어주셔서 감사합니다.

저처럼 헤매신 분들에게 도움이 되길 바라요.