AI 검색은 열고, 학습은 따로…OpenAI가 robots.txt 공통 신호를 예고했습니다

AI 생성 개념 이미지 · 실제 설정 화면이 아닙니다.

AI 검색에는 우리 회사 자료가 나오길 바라지만, 그 자료를 모델 학습에 쓰는 것까지 모두 허용하고 싶지는 않을 수 있습니다. OpenAI가 10월 30일, 웹사이트의 학습 허용 의사를 공통 방식으로 표시하는 신호를 앞으로 존중하겠다고 발표했습니다. 적용은 향후 수개월에 걸쳐 준비하며, 기존 검색·학습 봇 설정은 그대로 유지됩니다.

발표 2026.10.30 · 확인 2026.10.31 KST · Peter

봇마다 적던 학습 의사를 공통으로 전달합니다

지금은 사이트 운영자가 AI 회사별 봇 이름을 확인하고 robots.txt 규칙을 관리해야 합니다. 업체와 봇이 늘어날수록 같은 정책을 여러 번 옮겨 적는 일이 생깁니다.

OpenAI 공식 발표의 핵심은 이 관리 부담을 줄이는 것입니다. 웹사이트가 기초 생성형 AI 모델 학습에 자료를 써도 되는지 공통 신호로 밝히면, 이를 지원하는 제공자가 그 의사를 읽는 방식입니다.

공개된 Internet-Draft는 robots.txt에 학습 용도를 나타내는 별도 토큰을 두고 경로별 의사를 표현하는 구조를 제안합니다. 현재는 개인 제출 초안입니다. OpenAI도 구현 세부 사항은 추후 안내하겠다고 밝혔습니다.

검색 허용과 학습 허용은 다른 결정입니다

상품 정보를 AI 검색에 노출하는 일과, 같은 정보를 학습에 제공하는 일은 목적이 다릅니다. 이번 제안은 그 차이를 사이트 정책에 더 일관되게 담으려는 변화입니다.

OpenAI 봇 문서는 검색용 OAI-SearchBot과 학습용 GPTBot을 독립적으로 설정하도록 안내합니다. 새 공통 신호가 도입돼도 기존 제어가 사라지는 것은 아닙니다. 공식 발표는 기존 설정을 계속 존중한다고 명시했습니다.

예를 들어 공개 상품 설명은 검색에 활용되도록 열고, 학습 사용에 대한 의사는 별도로 정하는 운영이 가능합니다. 이때 학습 선호 신호는 방화벽을 통과시키거나 로그인 페이지를 공개하는 기능이 아닙니다. 검색 봇 접근과 콘텐츠 사용 정책을 각각 점검해야 하는 이유입니다.

지금 바꿀 것은 설정값보다 정책 목록입니다

쇼핑몰·브랜드 사이트 담당자가 지금 할 일은 새 문법을 서둘러 배포하는 것보다, 어떤 자료를 어떤 목적으로 제공할지 정리하는 것입니다. 공개 상품 설명, 보도자료, 매뉴얼처럼 외부에 보여줄 자료를 먼저 나누면 경로별 정책도 명확해집니다.

그다음 현재 robots.txt의 검색·학습 봇 규칙과 방화벽 차단 내역을 함께 확인하면 됩니다. 공개 상품 페이지가 검색 봇에는 열려 있는지, 학습 제한을 의도했다면 해당 규칙이 따로 있는지 보는 순서입니다. 개인정보나 주문·결제 화면은 기존 인증과 접근 통제를 유지합니다.

공통 신호의 구현 안내가 나오면 기존 정책과 겹치거나 충돌하는 부분을 비교하면 됩니다. 여러 제공자가 같은 의사 표시를 읽게 된다면 반복 설정을 줄일 여지가 있습니다. 실제 운영에서 확인할 지점은 지원 제공자와 적용 시점, 그리고 기존 규칙과의 관계입니다.

AI에 잘 발견되는 사이트도 용도를 구분해야 합니다

AEO·GEO를 위해 사이트를 열어두는 일은 모든 AI 사용을 한꺼번에 허용하는 것과 다릅니다. 검색에 필요한 공개 정보는 읽히게 하고, 학습 이용에 대한 의사는 별도로 정하는 쪽이 운영 목적을 더 정확히 반영합니다.

이번 발표에서 주목할 변화는 사이트 운영자의 학습 선호를 여러 제공자가 공통 방식으로 받아들이려는 움직임입니다. 검색 유입을 늘리는 작업과 콘텐츠 사용 정책을 관리하는 작업을 분리해 두면, 구현 안내가 나왔을 때 무엇을 바꿔야 할지도 선명해집니다.

이어서 읽을 관련 글

홈페이지는 열리는데, AI는 우리 제품을 못 읽었다

AI 접근을 열기 위해 확인했던 실제 운영 문제를 먼저 살펴볼 수 있습니다.

공식 근거

OpenAI 공식 발표 · 2026.10.30

OpenAI 봇별 용도와 제어

IETF Datatracker · 학습 선호 신호 초안

IETF Trust Legal Provisions · 캡처 인용 조건