본문 바로가기
생활 정보

구글 서치콘솔 일일 횟수 제한없이 크롤링, 색인 복구하는 꿀팁

by cutekorean 2025. 3. 10.

목차

    반응형

    구글 서치콘솔 일일 횟수 제한없이 크롤링, 색인 복구하는 꿀팁

    애증의 그 이름, 구글 서치 콘솔.

    내가 아픈 며칠 동안 포털 사이트 검색시장에서 퇴출되어 나락 가버린 나의 블로그여...

    2025년 1월, 저는 정체 불명의 열병을 앓게 되었습니다.

    병가를 내고 요양을 시작했는데, 고열도 아닌 37.6~37.9도 언저리의 미열만 있었는데도 심각한 오한과 발한, 피부 민감성 다발성 통증으로 조금의 거동도 하기 힘든 상황이 되었습니다.

    따라서 다소 블로그 포스팅 작성에 소홀했습니다.

    한 일주일 정도 아프다가 좀 나아지는가 싶더니, 2월 초가 된 이후에 다시 열병이 더 심하게 발병했습니다.

    본업이나 블로그 활동은 커녕, 이번엔 폐 속에 가래가 차오르는 듯한 느낌을 받아, 폐병일 가능성을 염두에 두고 힘겹게 일어나 겨우겨우 집 근처 의원에서 진료를 받을 수 있었습니다.

    간단한 검사 후 항생제를 비롯한 약을 한 무더기 처방받았습니다.

    가장 놀랐던 건, 검사를 해보니 A형 독감이나 코로나가 아니었다는 것이었습니다.

    분명 난 아파 죽는 줄 알았는데...

    잠깐 감기 몸살이겠지 싶어 요양한 것도 무색하게, 독한 항생제를 때려부어도, 소화가 잘 되는 미음 죽만 먹으며 위장의 부담을 덜어주어도 몸은 쉽사리 회복되지 않았습니다.

    그렇게 1달여가 지났습니다.

    블로그 색인 상태 꼬라지가 이게 뭐고... 개판 나뿟네...

    날이 얼마나 지나갔는지도 모르고, 밥도 잘 넘기지 못하는 상태로 폐병 환자 마냥 항생제를 때려 먹고 겨우 기운을 차려 기침을 해 억지로 커다란 가래 덩이를 뱉어내길 스무날...

    어느 정도 정신을 차리고 제법 걸을 수도 있게 된 어느날, '나는 어디 여긴 누구' 상태로 핸드폰을 들여다보고 경악했습니다.

    작지만 소중한 내 구글 애드센스 수익이... 조금씩 성장하며 가끔은 18$ 남짓, 못해도 거의 매일 꾸준히 8~10$ 정도는 들어왔었던 애드센스 일일 수익이 알 수 없는 이유로 점점 추락하더니 2달러 미만으로 폭락한 것이었습니다.

    일일 수익 0.98$를 찍은 날을 내 두 눈으로 확인하니, 도저히 믿을 수가 없었습니다.

    도저히 납득할 수 없다! 이건 문제가 있다!

    분노의 개구리 발사!

    그러나 그 이후로도 한동안 원인은 찾지 못했습니다.

    미열은 잔열로 남아 제 머리통을 바보 멍청이로 만들어 버렸고, 명민하게 상황을 판단하지 못하게 했습니다.

    제가 아파 뒹굴고 있던 동안에도, 매일 하나씩 올라가도록 예약 발행으로 작성해 두었던 포스팅 글들이 블로그의 회전율을 유지해 주었지만, 대부분이 인터넷 커뮤니티 등지에서 간단히 "딸-깍"충 짓을 하여 가볍게 퍼온 유머글이었습니다.

    일단 아파서 머리도 잘 안 돌아가는 마당에 익숙하게 하던 것부터 했습니다.

    제가 운용하는 블로그는 총 5개, 각각 포스팅 5개씩, 매일 25개의 잡다한 유머글 펌질 포스팅 게시물을 예약 발행으로 잔뜩 쌓아두었습니다.

    개인적으로 매일 글이 하나씩 올라가게끔 세팅하기로 맹세한 나 자신과의 약속과, 블로거로서 최소한 이 정도의 성실함은 디폴트값으로 유지하자는 다짐을 깨뜨리지 않고 싶어한 강박증 때문에 그랬습니다.

    사실 저 스스로가 딸깍충 인터넷 렉카충이라 자부하는 편이라 대충대충 작성했지만, 몸이 무거운 상태로 나름대로의 기준을 세워 최소한 깔끔하게 보이게끔 다듬은 포스팅 25개를 매일 업로드하는 것은 정말 힘들었습니다.

    그래도 침대에서 일어나 의자에 앉을 수 있게 된 이상 닥치는 대로 하던 뻘짓을 계속 했습니다.

    그리고 며칠 전, 블로그 검색 유입 상황을 보던 중 뭔가 이상하다는 낌새를 채게 되었습니다.

    이슈 크게 타면 일일 수천명 대, 매일 아무리 못해도 750~900명의 방문객은 들어왔던 블로그의 최근 유입량이 반토막 나버렸고, 블로그 유입 경로에 '구글'이 없다...!

    어라...? 이거 원래 이랬나?

    과거의 사례를 찾아 봅니다.

    응~ 원래 이랬구요~ 허☆접! 너 구글 알고리즘의 신한테 버림받았어~★ 혹시 다른 사이트도 이런가? 다른 블로그의 유입 경로를 찾아보았습니다.
    응 아니야~ 완전 멀쩡하죠? 구글 검색 순위가 낮긴 하지만 멀쩡하게 잘 돌아가고 있죠?
    심지어 다른 블로그는 구글에서 유입 폭발하는 바람에 유입 경로 1순위가 구글 검색이죠?
    결론은 어떤 컨텐츠든 사람들이 많이 검색해보고 좋아하는 컨텐츠를 구글 검색창 1페이지에 올릴 수만 있다면, 그 블로그는 흥한다는 것이다. 그것보다 더 중요한 것은, 내 블로그에 아무리 가치있고 재미있고 유용한 컨텐츠가 있다 하더라도 구글 서치콘솔에서 모종의 이유로 해당 사이트 전체를 통누락 시켜 버린다면 키워드 배치고 SEO고 나발이고 얄짤없이 검색목록에서 블로그 전체가 제외되어 버린다는 것이다.

    이리저리 고민해 본 결과, 결론은 구글 서치콘솔이 다섯 개의 블로그 중에서 두 개의 블로그만 구글 검색 색인 목록에서 사이트 통째로 통누락 시켜 버렸다는 의심이 들기 시작했습니다.

    바로 구글 서치콘솔을 켰습니다.

    ??? 이거 뭐임???
    초록색이 내 주식 계좌 평가액 현황임?
    내 이랄 줄 알았다 짤방 밈
    요태까지 날 미행한 고야? 아파서 블로그 관리에 좀 소홀했던 두 달의 시간동안, 별다른 이유나 경고도 없이 은근슬쩍 날 담그려고 수백개의 포스팅과 사이트를 검색 색인 목록에서 통째로 날려버려?
    구글 씨 그렇게 안 봤는데 되게 무서운 사람이네...

    그렇다면 혹시 같은 시기에 똑같이

    사이트 통누락 당한 것으로 의심되는

    다른 블로그도 상황이 비슷하려나?

    얜 상태 정말 심각한데? 폭락장임? 오일 쇼크나 IMF나 서브프라임 모기지 같은 거 터졌음?
    계단식 개박살 뭐임? 나 블로그 사이트랑 계정 해킹이나 디도스 공격이라도 당함? 어디 커뮤니티 사이트 같은 데에서 누가 좌표 찍고 신고 테러라도 선동했음?
    총 검색결과 클릭 수 0회? 이게 ㄹㅇ 정상적으로 돌아가던 사이트의 바이오 맞냐?
    그 전에도 그닥 검색 노출 실적이 좋은 편은 아니었지만 구글 유입은 꾸준히 발생되고 있었다고!
    젠장... 엎어진 독이면 어쩌랴. 깨발살 나지만 않았다면 물은 언제든지 다시 정성껏 채워넣으면 그만인 것을...

    문제를 해결해야지! 구글 서치콘솔에 누락된 페이지를 노가다로 하나하나 색인요청 때려넣어 보자

    구글 서치콘솔에는 아주 ㅈ같은 제도가 하나 있습니다.

    첫 번째 ㅈ같은 점은 URL 색인 등록 요청을 기다리는 로딩 화면을 빠져나가 다른 짓을 하면 요 깜찍한 새퀴들이 색인 생성 요청을 거부 때려 버린다는 것입니다.

    색인 생성 요청이 거부됨 
실시간 테스트 중에 URL에서 색인 생성 문제가 감지되었습니다. 
닫기 
실시간 테스트 보기
    ??? : 감히 전능하신 구글에 네 미천한 URL을 우선 색인 해달라고 굽실대며 요청하는 주제에, 기도하며 경건한 마음으로 회전 회오리 로딩 창을 반듯이 응시하고 있기는 커녕, 지루하답시고 다른 창을 열어 딴짓을 하고 있었단 말이냐? 도도한 구글신은 절대로 너희가 딴짓하고 노는 동안에는 네가 원하는 일을 해주지 않을 것이다!

    두 번째 ㅈ같은 점은 바로 URL 색인 요청 등록량에 '일일 10개'라는 등록 제한 갯수가 있다는 것입니다.

    나는 사이트 맵이랑 RSS 주기적으로 업데이트까지 해주며 제대로 잘 제출했는데, 지들이 통으로 누락시켜놓고 귀찮은 수동 등록까지 갯수 제한을 둬?

    내 블로그에는 수백개의 포스팅이 있고, 구글봇이 모종의 이유로 내 사이트맵 긁어가는 작업을 게을리 했을 때 벌어지는 짜증나는 상황들을 빠르게 복구하고 싶어도, 일일 URL 등록 가능 횟수 10개라는 할당량은 사람을 빡치게 만들기 충분한 규제입니다.

    할당량 초과 
일일 할당량을 초과하여 이 요청을 처리할 수 없습니다. 내일 다시 제출해 주세요. 
닫기
    이 창은 사람을 은근 빡치게 합니다. 오랫동안 색인 등록을 기다리는 시간은 시간대로 다 뺏어놓고, 등록 해줄 것처럼 간을 보다가 결국 마지막 창에서는 안 등록해 줍니다. 안 해줄거면 그냥 안 해준다고 처음부터 말하라고!

    그런데 비록 수동 노가다 작업이긴 하지만 이 일일 할당량을 뛰어넘어 수십, 수백개의 URL을 한꺼번에 등록할 수 있는 방법이 있으니, 그것은 바로 컴퓨터 PC 환경과 핸드폰 모바일 기기 환경에서 동시에 서치콘솔을 접속하고, 각각 다른 두 개의 블로그 사이트에서 동시에 누락된 포스팅 주소를 URL 색인 등록하는 것입니다.

    먼저 서치콘솔에 접속을 해야겠지요?

    PC와 모바일, 두 군데에서 둘 다 서치콘솔에 접속합니다.

    구글 서치 콘솔 접속 바로가기 링크

    https://search.google.com/search-console/about?hl=ko - 구글 서치 콘솔 접속 링크
     

    Google Search Console

    Search Console 도구와 보고서를 사용하면 사이트의 검색 트래픽 및 실적을 측정하고, 문제를 해결하며, Google 검색결과에서 사이트가 돋보이게 할 수 있습니다.

    search.google.com

    URL이 Google에 등록되어 있지 않음 
페이지의 색인이 생성되지 않았습니다. 색인이 생성되지 않은 페이지는 Google에 게시할 수 없습니다. 색인이 생성되지 않은 이유를 확인하려면 아래의 세부정보를 참고하세요. 자세히 알아보기 
크롤링된 페이지 보기 
페이지가 변경되었나요? 
색인 생성 요청
    컴퓨터 PC에서는 'A 블로그' 정보를 로드하여 구글 색인에서 누락된 포스팅 페이지의 URL을 입력하여 '색인 생성 요청'을 누르고
    실제 URL의 색인을 생성할 수 있는지 테스트 중 
1~2분 정도 걸릴 수 있습니다. 
취소
    3~5분 같은 1~2분을 겪은 뒤
    색인 생성 요청됨 
URL이 우선순위 크롤링 대기열에 추가되었습니다. 페이지를 여러 번 제출해도 대기 
열 위치나 우선순위가 변경되지 않습니다. 자세히 알아보기 
닫기
    색인 생성 요청을 받아나가는 동시에

    ※주의※

    PC와 모바일에서 동시에 진행하되

    각각 다른 블로그를 선택하여

    누락된 페이지를 색인 생성 요청합니다.

    같은 블로그를 선택하면 안됩니다.

    URL 검사 
i 
실제 URL 테스트 
URL이 Google에 등록되어 있 지 않음 
페이지의 색인이 생성되지 않았습니다. 색 인이 생성되지 않은 페이지는 Google에 게시할 수 없습니다. 색인이 생성되지 않 은 이유를 확인하려면 아래의 세부정보를 참고하세요. 자세히 알아보기 
크롤링된 페이지 보기 
색인 생성 요청
    스마트폰 모바일 환경에서는 'B 블로그'를 로드하여 똑같이 구글에서 색인 누락시킨 포스팅의 주소를 찾아 넣고 '색인 생성 요청'을 누릅니다.
    실제 URL의 색인을 생성할 수 있는지 테스트 중 
1~2분 정도 걸릴 수 있습니다. 
취소
    PC 버전과 동일하게 ↗같은 기다림의 시간을 감내한 뒤
    색인 생성 요청됨 
URL이 우선순위 크롤링 대기열에 추가되었습니다.
페이지를 여러 번 제출해도 대기열 위치나 우선순위가 변경되지 않습니다. 자세히 알아보기 
닫기
    달콤한 과실을 쟁취합니다.

    PC와 핸드폰을 수동으로 동시에 제어해야 하니 매우 귀찮은 노가다를 감수해야 하지만, 이 방법의 가장 좋은 점은 한 번에 두 블로그에서 동시에 색인 등록을 하면 구글 서치 콘솔 URL 입력창에 각 사이트별 일일 색인 제한 할당량을 무시하고 계속해서 색인 등록을 욱여넣을 수 있다는 것입니다.

    맥날
아가리 벌려 빅맥 들어간다
입벌려 들어간다
짤방 밈
    하루에 URL 10개가 한계라고? 나의 분노와 열정은 너희가 설정한 가소로운 제한선을 아득히 뛰어넘는다!

    한 블로그만 계속해서 URL을 등록하면 일일 할당량에 걸려 더이상 색인 등록을 할 수 없게 됩니다.

    그러나 두 가지 다른 환경에서 각각 다른 블로그 서치콘솔 창을 켜놓고 동시에 색인 등록을 진행하면 일일 할당량이 매번 초기화 되어 무한으로 URL 색인 요청을 할 수 있다는 장점이 있습니다.

    뒈졌던 두 블로그, 걍 쉬엄쉬엄 각 계정 당 60개 정도 색인 노가다를 하고 며칠 뒤의 유입 실적 변화는?

    미약하나마 구글에서 검색 노출과 클릭이 들어오기 시작함.
    A 블로그 색인 생성 상태. 3일만에 250개 가량, 또 30일 뒤 100개 가량의 포스팅 링크가 정상적으로 서치 콘솔에서 색인되어 구글 검색창에서 내 게시물들을 정상적으로 검색하여 만나볼 수 있게 되었다.
    B 블로그 색인 생성 상태. 여전히 맛탱이가 가 있다. 왠지 구글은 이 블로그를 좀처럼 색인 등록해주지 않는다. 130개 남짓의 페이지만 색인되어 있는 상태이지만, 계속해서 URL 검사 요청 폭격을 때려넣으면 이 계정도 결국 굴복하고 말 것이리라 믿어 의심치 않는다.
    어떻게 하면 이 오만방자한 슈퍼 갑(甲) 구글 서치콘솔과 애드센스를 효과적으로 괴롭힐 수 있을까... 나는 오늘도 머리를 싸매고 알파벳A의 헛점을 쑤셔 팔 방안을 고민한다...

    [보라색 밥] 외국인들이 신기해하는 한국 음식

     

    [보라색 밥] 외국인들이 신기해하는 한국 음식

    [보라색 밥] 외국인들이 신기해하는 한국 음식한국 밥은 왜 보라색인가?">한국 식당에 나오는 퍼플 라이스대체 어디서 팜?나 이거 완전 환장하는데.간호사가 콩이 섞인 퍼플 라이스를 먹고 있다.

    cutekorean.tistory.com

    이거 그냥 만화 대사니까 다들 화내지 마셈.jpg
     

    이거 그냥 만화 대사니까 다들 화내지 마셈.jpg

    이거 그냥 만화 대사니까 다들 화내지 마셈.jpg">">스스로 손톱을 못 깎는 사람들">유발 하라리 본인이 말해주는 '넥서스' 표지에 그려진 새의 의미">마른 하늘에도 레인 코트를 입고 장우산을 들

    brilliantkorean.tistory.com

    '애플 AI vs 갤럭시 AI' 성능 비교.gif
     

    '애플 AI vs 갤럭시 AI' 성능 비교.gif

    '애플 AI vs 갤럭시 AI' 성능 비교.gif">">스스로 손톱을 못 깎는 사람들">유발 하라리 본인이 말해주는 '넥서스' 표지에 그려진 새의 의미">마른 하늘에도 레인 코트를 입고 장우산을 들고 다니는 영

    luckykorean.tistory.com

    [자취방 물자 보급] 친구한테 소매넣기 당한 사람
     

    [자취방 물자 보급] 친구한테 소매넣기 당한 사람

    [자취방 물자 보급] 친구한테 소매넣기 당한 사람">출처 : 친구한테 당해버렸다...;;; - 웃긴대학">스스로 손톱을 못 깎는 사람들">유발 하라리 본인이 말해주는 '넥서스' 표지에 그려진 새의 의미">

    lovelykorean.tistory.com

    의사 선생님 : 라면에 흰 밥 말아 먹지 마세요
     

    의사 선생님 : 라면에 흰 밥 말아 먹지 마세요

    의사 선생님 : 라면에 흰 밥 말아 먹지 마세요">">스스로 손톱을 못 깎는 사람들">유발 하라리 본인이 말해주는 '넥서스' 표지에 그려진 새의 의미">마른 하늘에도 레인 코트를 입고 장우산을 들고

    beautifulkorean.tistory.com

    반응형