오늘은 오랜만에 블로그를 다시 시작하며 겪게 된 크롤러 호스팅 서버에 연결할 수 없음 현상에 대한 것과 조치 내용에 대해 써보려고 한다.
필자는 1일 1포스팅 원칙을 지키며 티스토리를 하던 2021년도에 애드센스 무효트래픽과 티스토리 다음웹 저품질을 연달아 맞고는 약 9개월 간 블로그 라이프를 중단했었다.
"이게 다 무슨 의미가 있나"
블로그 글 하나 작성하는데만 해도 꽤 긴 시간과 노력이 소요되는데 반해 돌아오는 금전적 아웃풋은 거의 0원에 가까우니 의욕이 사라져버렸다. 그러는 와중에 육아도 해야되지 와이프랑 시간도 보내야하지. 온 세상이 '넌 블로그 하지마'라고 외치는 것만 같았다.
그렇게 티스토리와 담 쌓고 살아가던 중 정말 아무 생각없이 애드센스 페이지에 방문했는데 아니나 다를까 소정의 금액들이 쌓여가고 있었다. 알고보니 근 두 달간 아무런 액션도 취하지 않았는데도 불구하고 본 블로그가 혼자서 작은 불씨를 피워내고 있었던 것이다.
내심 블로그에게 미안한 마음이 들어 '다시 시작해볼까?'라는 생각에 글을 몇 개 작성해나갔다.
'큰 수익에 연연하지 말자'라는 각오로 다시금 시작한 것이었지만 이상하게도 새글에 광고가 안붙었다. 큰 수익은 아니더라도 작은 수익은 줘야할거 아니야..... 그렇게 글을 몇 개 더 작성하며 기다려봤지만 4일이 지나도 상황은 똑같았다. 그러던 오늘 애드센스 센터에서 아래와 같은 경고창이 뜬 것을 보게 됐다.
- 문제 1, 크롤러 : 호스팅 서버에 연결할 수 없음
- 문제 2, 크롤러 : robots.txt 파일에 연결할 수 없음
"너희 나한테 왜 그러니?"
정말 너무한거 아닌가 싶다. 무효트래픽에 저품질까지 경험하며 너덜너덜해진 마음을 확실하게 짓밟겠다는 듯이 이번에는 새로운 종류의 괴롭힘으로 찾아온 것이다. 디지털 노마드의 길이 이렇게나 험난한 것일까 아니면 내가 초보라서 잘 모르는 것일까.
[참고*참고로*]
- 크롤러(Crawler) : 다양한 웹페이지들을 두루두루 돌아다니며 정보를 자동 수집하는 프로그램
- 광고 크롤러 오류 : 서버의 과부하로 인한 서버 다운 및 서버 속도 저하 등에 주로 기인한다. 광고 크롤러가 페이지 엑세스(access)에 실패해서 발생한 오류
여러가지 서칭을 해본 결과 티스토리 블로거가 '취할만한 액션은 없다'라는 것이 결론이었다
티스토리 포럼과 여러 검색 포털에서 서치해 본 결과 '크롤러 호스팅 서버에 연결할 수 없음' 현상은 티스토리와 애드센스 사이의 구조적인 문제에 기인한 것이 크기 때문에 블로거가 부담을 느낄 필요는 없어 보인다.
특히, 아래에 보이는 '해결해야 하는 문제'에 해당되는 항목이 1개라도 있다면 이는 반드시 잡고 가야한다. 말 그대로 정책상의 위반사항이 발견되었기 때문에 조치가 필요함을 의미하는 것이다.
마냥 기다리는 것도 좋지만 적어도 시도는 해보자
크롤러 오류가 자동으로 해결되는데 통상 짧게는 3~5일 길게는 한달까지도 걸린다고 한다. 그냥 잊고 현생을 살아가는 것이 맘편하겠지만 이게도 잘 안되는 사람들이 있다. 바로 필자처럼. 뭐라도 해두자라는 마음에 애드센스 센터에서 해볼 수 있는 액션이 있어서 시행해보았고 결과는 모니터링 중이며 관련 내용을 한 번 공유해보려고 한다.
[참고*구글 서치콘솔에서 문제가 되는 페이지의 색인요청을 통한 해결시도도 있으나 효과가 검증되어 있지도 않고 대부분의 블로거분들이 색인요청 방법을 아실거라 짐작하고 본 포스팅에서 제외하도록 하겠다!*]
우선 '계정 → 엑세스 및 승인 → 크롤러 엑세스'를 타고 들어가면 위 이미지와 같은 화면이 나온다. 가운데 '로그인 정보 추가' 버튼을 클릭하면 다음 화면이 나온다.
「제한된 디렉터리 또는 URL」에는 문제가 되는 포스팅의 주소를 적어주면 되고, 「로그인 URL」에는 'https://www.tistory.com/auth/login'을 적어준다.
「로그인 방식」에는 POST를 선택해주고 나머지 「사용자 이름」 그리고 「비밀번호」에는 티스토리 로그인에 사용되는 계정을 좌우 2번씩 기입해주면 된다.
조금 의아하면서도 걱정스러운 것은 로그인 계정을 입력할때 비밀번호까지도 공개처리가 되어 누구나 볼 수있다는 것이다. 또한, 카카오 로그인으로 통합이 되면서 티스토리만의 계정을 넣기가 애매해졌는데 이 방법이 먹힐지도 살짝 의문이긴하다.
그래도 일단 혹시낭 하는 마음에 셋팅해두었다.
몇몇 해결을 경험한 사람들에 의하면 1~2일 내외로 '빨간불' + '크롤링 안 함' 상태가 '초록불' + '크롤링' 상태로 변경된다고 한다.
등록을 한 후에 시간이 흘렀음에도 불구하고 크롤링 상태가 변경되지 않는다고해서 낙담할 필요는 없어 보인다. 앞서 말했듯이 어디까지나 이 문제는 우리 블로거들의 영역이 아닌 티스토리의 구조적인 영역이기 때문에 시간이 지나면 언젠가는 해결되어 있을 것이다.
그러니 며칠 돈이 벌리지 않더라도 이 이슈를 해결하기 위해 너무 큰 시간을 소모하는 대신 글 하나라도 더 쓰는 방향이 나아보인다. 다들 화이팅! 나도 화이팅...ㅠㅠ
- 22.08.29 업데이트
앞선 내용에서 235번 포스팅에 대한 크롤링 오류는 사라졌다. 하지만 애드센스 페이지에서 '크롤러 엑세스 → 로그인 정보 추가'에서 보이는 상태 표시는 여전히 빨간색. 위에 추천드린 액션이 크롤러 오류를 개선했다고 보기는 다소 어려워 보인다. 문제는 235번 포스팅은 해결됐지만 추후에 이어진 포스팅들에게 연달아 크롤러 오류가 발생됐다는 것이다.
젠장... 정말 포스팅할 맛 떨어지더라. 검색해보니 이게 점차 누적되면 애드센스 광고 자체에 계정 정지가 걸릴 수도 있는거 같던데... 가만히 내비뒀더니 241번 포스팅 같은 경우는 거진 일주일이 지나도 안풀렸다. 오래 걸리면 한달까지도 걸릴 수 있다는 말을 본 기억이 있어서 그냥 내비둘래도 도저히 맘이 편치가 않았다. 그래서 결국 위에 4개를 포함하여 당장 애드센스 광고가 보이지 않는 글들 몇 개를 더하여 크롤링 로그인 정보에 추가해두었다.
또한 스킨 편집 HTML에서 <head>와 </head> 사이에 아래와 같은 문구들도 추가해두었다.
<meta name="robots" content="all" />
<meta name="robots" content="index, follow" />
아마 구글 노출을 노리셨던 분들이라면 기존에 다 추가해두셨을 것이다. 다만, 이 문구들이 무조건 효과를 발휘한다는 것은 아니다. 그저 아무것도 안하고 기다리기엔 개선이 없어 보이니 뭐라도 해두고 소원을 빌어보자는 그저 기도메타일뿐이다.
티스토리를 운영하는 다음 카카오 측에 문의를 넣어보아도 특별히 바뀌는 것은 없다고 하니 공짜로 세들어서 달러를 벌어들이는 입장에서 뭐라 스피크업할 수도 없고 우리 모두 그냥 위와 같은 액션들을 취하고 꾸준히 포스팅하며 기다려보는 수 밖에 없겠다.
이후 변경점이 생기면 추가 업데이트를 하겠습니당!
'Daily Info & Tips' 카테고리의 다른 글
| 회사 PC 카카오톡 설치하는 방법, 회사 노트북에서 카카오톡 관리자 계정 혹은 업데이트 요구할 때 우회하기 (0) | 2022.08.31 |
|---|---|
| 2022년 3기 신도시 사전 청약 일정 (하반기) 및 자격조건/신청방법 (0) | 2022.08.28 |
| 액면분할 후 주가 흐름, 코스닥 종목 에스엘바이오닉스의 운명은?? (0) | 2022.08.18 |
| DSR 이란 무엇일까 강화된 규제와 계산법 (1) | 2021.10.29 |
