Cloudflare와 OpenAI의 웹 발견 실험이 보여준 것

Cloudflare와 OpenAI가 웹페이지를 더 효율적으로 발견하기 위한 공동 연구의 초기 결과를 공개했습니다. 사이트 운영자가 살펴볼 대목은 검색에 들어갈 페이지를 찾는 과정입니다. 실제 방문과 구매까지 이어졌는지는 별도로 확인해야 합니다. 이번 발표를 읽을 때 구분해야 할 결과와, 내 사이트에서 먼저 확인할 항목을 정리했습니다.

10월 15일 발표에서 확인된 범위

Cloudflare는 2026년 10월 15일 공식 블로그에서 공동 실험의 성과를 설명했습니다. 회사 설명에 따르면 Cloudflare 전체 네트워크의 약 1%에 해당하는 참여 집단을 통해 OpenAI가 수억 개의 새로운 웹페이지를 발견하고 색인에 포함할 수 있었습니다. 이는 두 회사가 진행한 실험의 집계이며, 모든 Cloudflare 고객 사이트에 적용됐다는 발표는 아닙니다.

Cloudflare가 제공하는 것은 페이지 발견을 돕는 신호입니다. 페이지를 평가하고 검색 결과에서 어떻게 보여줄지 판단하는 과정은 OpenAI가 독립적으로 수행한다고 밝혔습니다. 연구에 사용하는 정보도 웹에 관한 메타데이터로 설명했습니다. 모델 학습을 위해 페이지 본문을 공유하는 방식과 구분하며, 페이지에 관한 신호가 접근 허용을 대신하지 않는다고 명시했습니다.

다음 단계에는 발견 이후의 결과를 측정하는 일이 포함됩니다. 따라서 이번 수치를 방문자 증가율이나 매출 상승률로 읽으면 발표 범위를 넘어섭니다. Cloudflare의 결과 발표

발견 과정을 연구한 배경

관련 제품 소식은 앞서 정리한 Cloudflare Web Search API 소개에서 확인할 수 있습니다. 이번 글에서는 공동 연구의 결과와 사이트 운영 관점을 살펴봅니다.

이 실험의 출발점은 7월 8일 발표입니다. 당시 두 회사는 참여 웹사이트의 정보가 얼마나 최근인지, 트래픽의 특성이 어떤지, 페이지에 실제 변경이 있었는지 등의 신호를 활용해 크롤링과 색인 과정을 개선할 수 있는지 연구한다고 설명했습니다. 목표에는 답변의 정확성과 최신성 개선이 포함됐습니다. 7월 연구 발표

여기서 실무적으로 생각해볼 질문은 콘텐츠의 양보다 운영 상태에 가깝습니다. 상품의 판매 조건이 바뀌었을 때 설명 페이지도 함께 수정되는지, 없어진 페이지가 적절하게 처리되는지, 같은 내용이 여러 주소로 흩어져 있지는 않은지 살펴볼 수 있습니다. 이러한 점검이 특정 서비스의 노출을 보장하지는 않습니다. 다만 사람이든 자동화된 시스템이든 읽을 수 있는 공개 정보의 일관성을 관리하는 출발점은 됩니다.

발견과 방문과 성과를 각각 기록해야 합니다

운영 관점에서는 세 가지 질문을 나눠두는 편이 좋겠습니다. 첫째, 어떤 자동화 도구가 페이지를 요청했는지 확인합니다. 둘째, AI 서비스에서 실제 사람이 사이트로 들어왔는지 살펴봅니다. 셋째, 그 방문에서 문의나 구매처럼 사업상 의미 있는 행동이 있었는지 확인합니다. 이 구분은 이번 발표를 실무에 적용하기 위한 해석입니다.

VECTORLOG 해설 도식입니다. 공식 발표와 운영 문서를 바탕으로 가능한 흐름을 재구성했습니다. 실제 제품 화면이나 성과 데이터가 아니며, 각 단계의 결과를 보장하지 않습니다.

출처: VECTORLOG 자체 제작 · Cloudflare와 OpenAI 공식 문서 기반

Cloudflare의 AI Crawl Control 문서도 요청과 유입을 서로 다른 지표로 다룹니다. 전체 요청에는 차단이나 오류 응답이 포함됩니다. 성공 응답은 HTTP 상태 코드 200~299로 집계합니다. 상태 코드 분포를 통해 리디렉션과 오류가 얼마나 발생했는지도 볼 수 있습니다. 유입 출처 분석에서는 ChatGPT 같은 AI 서비스에서 들어온 방문을 살펴볼 수 있지만, 해당 유입 분석은 유료 요금제 기능입니다. 트래픽 분석 문서

예를 들어 크롤러 요청이 늘고 방문 수가 그대로라면, 요청 증가만으로 마케팅 성과를 보고하기는 어렵습니다. 반대로 방문이 적어도 특정 제품의 상담 신청으로 이어진다면 그 페이지를 따로 살펴볼 이유가 생깁니다. 이런 비교를 하려면 기간과 대상 페이지를 일관되게 정해야 합니다. 캠페인이나 가격 변경이 함께 있었다면 기록에 남겨 해석의 근거로 삼는 것이 좋습니다.

검색 접근과 학습 설정은 구분할 수 있습니다

OpenAI의 공식 문서는 OAI-SearchBot과 GPTBot의 설정이 독립적이라고 설명합니다. OAI-SearchBot은 ChatGPT 검색에서 웹사이트를 보여주는 데 사용되는 검색용 크롤러입니다. GPTBot은 기반 모델 학습에 사용할 수 있는 콘텐츠를 수집하는 크롤러입니다. 사이트 운영자는 검색용 접근을 허용하면서 GPTBot을 허용하지 않는 설정을 선택할 수 있습니다.

또한 사용자가 요청한 동작에 쓰이는 ChatGPT-User는 자동 검색 크롤러와 구분됩니다. 검색 설정 변경을 확인할 때는 서로 다른 이름의 요청을 한데 묶지 않는 편이 정확합니다. OpenAI는 검색용 robots.txt 변경에 시스템이 적응하기까지 약 24시간이 걸릴 수 있다고 안내합니다. OpenAI 크롤러 문서

Cloudflare에서는 크롤러별 허용과 차단을 관리할 수 있습니다. 무료 요금제의 식별은 사용자 에이전트 문자열을 기준으로 하며, 상위 요금제에서는 더 정교한 탐지 기능을 제공합니다. 차단 기능은 WAF 규칙과 연결됩니다. 따라서 대시보드에 표시되는 이름만 보고 실제 요청의 성격을 과도하게 단정하지 않아야 합니다. 크롤러 관리 문서

사이트 운영자가 먼저 확인할 다섯 가지

아래 항목은 자동 참여 절차가 아니라 공개 문서를 바탕으로 정리한 운영 점검 제안입니다.

1. 공개할 정보의 범위를 정합니다. 상품 설명과 도움말, 내부 자료를 구분하고, 검색을 통해 발견되길 원하는 페이지를 먼저 골라봅니다.
2. 크롤러 설정을 목적별로 확인합니다. 검색과 학습 관련 설정을 각각 읽고, 현재 robots.txt와 보안 규칙이 의도에 맞는지 검토합니다.
3. 주요 페이지의 응답을 확인합니다. 정상 페이지가 오류를 반환하거나, 삭제된 주소가 모두 홈페이지로 이동하는 등 독자가 혼란스러울 수 있는 경로를 점검합니다.
4. 요청과 유입의 기준 기간을 맞춥니다. 제품 소개나 도움말처럼 페이지 묶음을 나눠 관찰하면 특정 영역의 변화를 설명하기 쉽습니다.
5. 변경한 날짜와 이유를 기록합니다. 접근 정책이나 콘텐츠를 바꿨다면 이후 지표를 읽을 때 참고할 수 있도록 간단한 변경 이력을 남깁니다.

마지막 항목에는 기술적인 이유도 있습니다. Cloudflare의 Directives 문서는 robots.txt 위반 표시가 현재 규칙과 과거 요청을 비교한 결과라고 설명합니다. 새 차단 규칙을 추가하면 이전에는 허용됐던 요청도 위반으로 보일 수 있습니다. 표시된 숫자를 곧바로 당시의 정책 위반 횟수로 해석하지 않아야 합니다. Directives 문서

자주 묻는 질문

Cloudflare를 쓰면 이번 연구에 자동으로 참여하나요

확인한 발표에는 모든 고객의 자동 참여나 일반 신청 절차가 제시되지 않았습니다. 크롤러 허용 설정을 바꾸는 일과 연구 참여는 구분해야 합니다. 특정 설정을 켜면 실험에 등록된다고 안내할 근거도 확인되지 않았습니다.

지금 어떤 숫자를 성과로 보면 될까요

먼저 어떤 결과를 기대하는지 정하는 편이 좋겠습니다. 콘텐츠가 발견되는지 살피는 일과 상담이나 구매를 늘리는 일은 관찰 대상이 다릅니다. 크롤러 요청, 실제 유입, 목표 행동을 각각 기록하고 같은 기간의 변화를 비교해보세요. 현재 발표만으로 어느 사이트의 성과가 얼마나 개선될지는 예측하기 어렵습니다.

이번 소식은 AI 검색의 발견 과정이 어떻게 바뀌는지 보여주는 초기 보고입니다. 사이트 운영자의 다음 행동은 공개 정보와 접근 정책을 확인하고, 실제로 들어온 방문을 따로 측정하는 데서 시작할 수 있습니다.

자료 확인: 2026년 10월 16일 KST. 공식 결과 발표일은 2026년 10월 15일입니다.