CDN으로 빨라진 사이트, Googlebot까지 막았다면? Google이 짚은 전환의 함정

AI 생성 이미지

사이트 속도를 높이려고 CDN을 붙였는데 원본 서버의 요청은 늘고, 검색봇까지 차단했다면 어디부터 봐야 할까요? Google은 11월 11일 공개한 CDN 전환 안내에서 아직 채워지지 않은 캐시와 모든 봇에 적용한 보안 규칙을 따로 살피라고 설명했습니다. 빠른 응답과 검색 접근성은 같은 문제가 아닙니다.

이번 발표는 새로운 검색 순위 정책이나 CDN 제품 출시가 아닙니다. CDN을 처음 도입하거나 공급자를 바꾸는 운영자가 전환기에 겪을 수 있는 현상을 설명한 공식 가이드입니다.

빨라진 입구 뒤에, 아직 비어 있는 캐시

CDN은 콘텐츠를 이용자와 가까운 여러 서버에 저장해 전달하는 네트워크입니다. 여기서 원본 서버는 실제 콘텐츠를 보관하는 출발점이고, 엣지 서버는 이용자 가까이에서 응답하는 중간 거점입니다.

Google은 서버가 빠르고 안정적으로 응답하면, 수집할 콘텐츠에 대한 수요가 있는 경우 크롤링 허용량을 점진적으로 늘릴 수 있다고 설명합니다. 반대로 응답이 느려지면 서버 부담을 줄이기 위해 수집 속도를 낮춥니다. CDN 전환으로 응답이 빨라지면 Google에는 사이트가 더 많은 요청을 감당할 수 있게 된 것처럼 보일 수 있습니다.

하지만 새 CDN의 캐시는 처음에는 비어 있습니다. 어떤 엣지에서 특정 URL을 처음 요청하면 저장된 사본이 없어 원본 서버로 요청이 넘어갑니다. 이를 캐시 미스라고 합니다. 저장 가능한 사본이 채워진 뒤 같은 URL을 다시 요청해야 원본에 가지 않고 응답하는 캐시 히트를 기대할 수 있습니다.

사람은 인기 상품이나 최신 글에 몰리지만 검색봇은 다양한 URL을 찾아다닙니다. 그래서 홈페이지가 빨라졌다는 사실만으로 상품 상세 페이지와 오래된 문서까지 캐시가 준비됐다고 판단하기 어렵습니다. 다만 Google은 수집 속도가 즉시 뛰는 것은 아니며, 많은 CDN이 연결 속도를 조절하는 장치도 갖고 있다고 덧붙였습니다. 모든 전환에서 폭증이 발생한다는 뜻은 아닙니다.

봇을 막았는데, 검색 유입의 입구도 닫혔다면

요청 그래프가 올라갈 때 모든 봇을 차단하는 설정은 간단한 해결책처럼 보입니다. 문제는 검색에 필요한 크롤러도 자동화된 요청이라는 점입니다.

웹 방화벽(WAF)이나 CDN이 Googlebot에 CAPTCHA 같은 인증 화면을 내보내면 Googlebot은 본문을 읽지 못합니다. 사람에게 정상적으로 열리는 페이지라도 검색봇에는 오류나 접근 제한 페이지로 보일 수 있습니다. Google은 이런 상태가 이어지면 크롤러가 물러나고 페이지와 쇼핑 목록 등이 검색에서 빠질 수 있다고 경고했습니다.

해법은 보안을 모두 끄는 것이 아닙니다. 사용 중인 CDN의 검증된 봇 허용 기능이나 관리형 규칙을 살펴보고, 허용할 검색봇과 제한할 요청을 구분하는 것입니다. Google은 공식 요청 검증 방법도 제공합니다. 이름에 Googlebot이 들어간 요청이라는 이유만으로 무조건 예외 처리하는 방식과는 다릅니다.

이 캡처는 Google이 제공한 원문의 텍스트 부분을 발췌한 것으로, CC BY 4.0에 따라 재사용했습니다.

전환 완료의 기준을 ‘홈페이지가 열린다’에서 넓혀야 합니다

이번 안내를 업무에 적용한다면, 속도 측정 결과와 검색봇 접근 결과를 함께 인수 항목으로 두는 편이 합리적입니다. 이는 공식 설명을 바탕으로 한 운영 제안입니다.

예를 들어 상품 페이지가 많은 쇼핑몰이 CDN을 바꾼다고 가정해 보겠습니다. 인기 상품만 확인하면 방문자가 드문 상품의 첫 요청이 원본 서버에 주는 부담은 놓칠 수 있습니다. 대표 상품, 곧 홍보할 기획전, 자주 수집되는 문서를 골라 통제된 속도로 캐시를 미리 채우고, 전환 전후에 원본 요청량·응답 시간·캐시 히트와 미스·검색봇 차단 기록을 함께 비교할 수 있습니다.

원본에 실제로 심각한 부하가 생기면 Google은 짧은 시간 동안 429 또는 503 응답으로 수집 속도를 낮추는 방법을 안내합니다. 이는 상시 운영 설정이 아니라 비상 조치입니다. 크롤링 속도 감소 문서는 영향이 호스트 전체로 번질 수 있고, 1~2일을 넘겨 지속되면 검색 색인에서 URL이 빠질 위험도 있다고 설명합니다. 복구할 담당자와 시간을 정하지 않은 채 오류 응답을 오래 유지하면 다른 문제를 만들 수 있습니다.

마케팅 담당자는 개발팀에 “속도가 얼마나 빨라졌나요?”와 함께 “검색봇도 실제 본문을 받나요?”를 물을 수 있습니다. 운영팀은 캐시가 없는 URL에서 원본이 감당할 부하와, 허용해야 할 봇의 예외가 실제로 적용되는지를 확인해야 합니다. CDN 전환의 성패는 빠른 첫 화면만이 아니라, 고객과 검색봇 모두 필요한 콘텐츠에 닿는지에 달려 있습니다.

이어볼 뉴스

Cloudflare와 OpenAI의 웹 발견 실험이 보여준 것

#GoogleSearch #Googlebot #CDN #테크니컬SEO #웹사이트운영