AI 봇을 전부 막아야 할까? Vercel은 두 범주로 나눕니다

AI가 제품을 소개해 주길 바라면서도, 사이트의 콘텐츠를 무작정 수집해 가는 것은 꺼려질 수 있습니다. 그렇다면 AI 봇을 전부 허용하거나 전부 차단하는 것 말고 다른 선택은 없을까요? Vercel은 AI 크롤러와 AI 어시스턴트에 서로 다른 방화벽 동작을 지정하는 방법을 안내했습니다. 다만 이 구분을 ‘학습은 차단, 검색은 무조건 허용’하는 스위치로 받아들이면 안 됩니다.

제품을 읽는 요청도 목적이 다릅니다

공개 제품 페이지를 운영하는 상황을 가정해 보겠습니다. 누군가 AI에게 제품의 호환 조건을 물었을 때 페이지를 읽고 답해 주는 것은 반갑습니다. 반면 같은 자료를 대량으로 수집하는 요청은 별도로 판단하고 싶을 수 있습니다. 겉으로는 둘 다 자동 접속이지만, 운영자가 기대하는 역할은 다른 셈입니다.

공개 페이지에 접근하는 목적은 서로 다를 수 있습니다. 설명용 AI 개념도.

Vercel의 10월 29일 공식 발표에 따르면 AI Bots 관리형 규칙에서 AI 크롤러와 AI 어시스턴트의 요청을 각각 기록하거나 차단할 수 있습니다. Vercel은 크롤러를 색인·모델 학습을 위한 수집, 어시스턴트를 사용자 행동이나 검색 질의에 따라 페이지를 가져오는 봇으로 설명합니다. 이 규칙은 모든 플랜에서 제공됩니다.

따라서 Vercel에 사이트를 운영 중이라면, 보안 담당자에게 ‘AI 접속을 풀어 주세요’라고만 요청할 필요가 없어집니다. 어떤 공개 정보를 AI가 읽었으면 하는지 정하고, 관련 봇 범주의 기록과 차단을 따로 검토할 수 있습니다. 여기서 나누는 것은 페이지가 아니라 봇의 범주입니다. 이 설정만으로 특정 페이지의 예외 허용까지 정하는 것은 아닙니다. 다른 호스팅 서비스에도 같은 설정이 있다는 뜻은 아닙니다.

Vercel 공식 발표 제목의 실제 캡처. 출처: Vercel · 2026년 10월 29일.

‘크롤러 차단’이 곧 ‘학습만 차단’은 아닙니다

여기서 한 번 더 확인할 것이 있습니다. 제품의 분류 이름과 실제 봇의 목적이 정확히 일대일로 맞지는 않습니다. 검색을 위한 색인도 수집이고, 하나의 봇이 두 범주에 함께 들어가기도 하기 때문입니다.

공식 카탈로그의 분류 예시. 범주가 목적과 일대일로 대응하지 않습니다. AI 설명 도식.

Vercel이 연결한 봇 카탈로그를 보면 GPTBot은 AI Crawler, OAI-SearchBot은 AI Assistant로 분류됩니다. OAI-SearchBot의 설명은 ChatGPT 검색을 위한 색인이며 학습용이 아니라고 명시합니다. 한편 Meta의 meta-webindexer는 AI 검색용 수집 봇이면서 AI Crawler와 AI Assistant 두 범주에 함께 표시됩니다.

그래서 ‘AI 크롤러는 차단하고 어시스턴트는 허용하면 검색 접근이 전부 보존된다’고 단정할 수 없습니다. 특히 두 범주가 겹치는 봇에 상반된 동작을 지정했을 때의 우선순위는 확인한 안내만으로 확정하기 어렵습니다. 원하는 봇의 실제 분류와 요청 기록을 먼저 확인해야 하는 이유입니다.

바로 막기보다, 먼저 어떤 요청인지 기록해 보세요

공식 설정 문서에서 AI Bots 규칙의 기본 상태는 비활성입니다. 화면에는 Allow로 표시됩니다. 즉, 이 규칙 자체로는 해당 요청을 평가해 막지 않는 상태입니다. 그렇다고 사이트의 다른 보안 규칙까지 모두 통과한다는 뜻은 아닙니다.

AI Bots 규칙 자체의 동작 비교입니다. 다른 보안 규칙은 별도로 작동합니다. AI 설명 도식.

Log는 요청을 차단하지 않고 기록하는 동작입니다. 반면 Deny는 해당 범주로 식별된 요청을 차단합니다. 어떤 봇이 들어오는지 아직 모른다면, 처음부터 넓게 막기보다 기록을 보고 판단하는 편이 목적에 맞는지 검토할 수 있습니다.

예를 들어 제품 규격 페이지에는 AI 답변을 위한 접근을 남겨 두고 싶을 수 있습니다. 이때 확인할 것은 ‘AI 트래픽이 몇 건인가’만이 아닙니다. 필요한 페이지를 어떤 봇이 요청했고, 어떤 범주로 분류됐으며, 실제 내용에 접근할 수 있었는지 함께 봐야 합니다.

Publish는 미리보기가 아니라 실제 적용입니다

설정을 검토할 위치는 프로젝트의 Security → Firewall → Rules입니다. Bot Management의 AI Bots에서 범주별 동작을 정한 뒤 변경 내용을 확인하고 Publish하는 흐름입니다. 문서는 Publish를 운영 환경에 적용하는 단계로 설명합니다.

문서에 따른 검토·적용 순서이며 실제 설정을 변경한 기록이 아닙니다. AI 설명 도식.

따라서 담당자에게는 원하는 결과를 먼저 전달하는 편이 좋습니다. ‘공개 제품 설명을 AI가 읽을 수 있게 유지하고 싶다. 다만 수집 요청은 분류와 기록을 보고 별도로 판단하자’처럼 말입니다. 적용 권한이 있는 담당자는 변경 범위와 기존 규칙을 함께 확인하고, 적용 후에는 필요한 페이지가 실제로 읽히는지 다시 점검해야 합니다.

특히 사용자 정의 방화벽 규칙은 관리형 규칙보다 먼저 실행됩니다. AI Bots를 Allow로 두었다는 이유만으로 기존 차단이나 인증 문제까지 해결됐다고 볼 수 없습니다. 관리자 화면이나 고객 정보의 접근 제한을 풀어야 한다는 뜻도 아닙니다.

접근을 열었다면, 다음 질문은 ‘무엇을 읽을 수 있나’입니다

봇의 접근을 허용하는 것은 출발점입니다. 그다음에는 읽을 페이지에 제품명, 규격, 적용 조건, 제한 사항이 제대로 담겨 있는지 살펴봐야 합니다. 접근 가능한 페이지라도 설명이 부족하면 독자가 원하는 답을 얻기 어렵기 때문입니다.

접근 허용과 인용·방문·문의는 서로 다른 확인 항목입니다. AI 설명 도식.

또한 페이지 접근, 검색 색인, AI 답변의 인용, 방문과 문의는 서로 다른 결과입니다. 이 설정만으로 인용이나 유입이 늘어난다고 약속할 수는 없습니다. 필요한 요청이 차단되지 않는지 확인한 뒤, 실제로 관측할 수 있는 인용·유입·문의 기록을 각각 나누어 보는 것이 맞습니다.

이번 안내의 실무적 의미는 ‘AI를 무조건 허용하자’가 아닙니다. 사이트가 제공하려는 정보와 봇의 역할을 먼저 정리하고, 기록을 근거로 허용과 차단을 더 구체적으로 판단할 수 있다는 점입니다. 당장 바꿀 설정이 떠오르지 않는다면, 우선 AI가 읽었으면 하는 공개 페이지 한 개와 그 페이지에 접근하는 봇부터 확인해 보세요.