홈페이지는 열리는데, AI는 우리 제품을 못 읽었다

제가 운영하는 회사 홈페이지를 ChatGPT로 확인해본 적이 있습니다. 제품 정보를 어떻게 읽는지 보고 싶었는데, 돌아온 건 제품 설명이 아니었습니다.

“자동등록방지를 위해 보안절차를 거치고 있습니다.”

사람인지 확인하라는 안내였습니다. 홈페이지에 제품 정보가 있어도, 그 요청에서는 내용을 읽는 단계까지 가지 못한 겁니다.

제품 설명을 쓰고, 사진을 고르고, 검색할 만한 단어를 고민하는 일은 익숙합니다. 그런데 그렇게 준비한 내용을 읽으려는 쪽이 입구에서 막힐 수도 있다는 건 다른 문제였습니다.

무엇을 더 써야 할지 고민하던 홈페이지에서, 이미 써놓은 내용을 읽을 수 있는지부터 확인하게 됐습니다.

내 화면에서 잘 보이는 것으로 충분할까?

문제를 확인한 뒤에는 현실적인 고민이 이어졌습니다. 홈페이지 업체에 정확히 무엇을 요청해야 할까? 추가 비용이 드는 작업일까? 내가 직접 확인하거나 수정할 수 있는 부분은 없을까?

마케팅 업무를 하다 보면 홈페이지는 디자인과 콘텐츠를 관리하는 공간으로 생각하기 쉽습니다. 문구를 바꾸고, 제품을 추가하고, 문의 버튼을 잘 보이게 배치하는 식입니다.

하지만 이번에는 문구를 고쳐서 해결할 문제가 아니었습니다. 어떤 요청에 보안 화면이 나타나는지, 공개 제품 페이지까지 그 절차를 거치게 하는 이유가 무엇인지부터 확인해야 했습니다.

다만 당시 확인한 것은 ChatGPT를 통한 특정 접근 결과였습니다. 자동으로 웹을 수집하는 검색용 크롤러의 접근 상태까지 알려면 별도의 점검이 필요합니다.

브라우저와 AI 요청이 서로 다른 접근 결과를 얻을 수 있는 경로를 설명한 그림

앞서 News에서 다룬 Cloudflare와 OpenAI의 웹 발견 실험도 이 경험과 연결됩니다.

두 회사는 웹페이지를 더 잘 발견하도록 돕는 신호를 연구하고 있습니다. 그런데 공식 발표에는 중요한 조건이 있습니다. 페이지의 존재를 알려주는 신호가 그 페이지에 접근할 권한까지 주는 것은 아니라는 점입니다. Cloudflare 공식 발표

즉, 찾아오는 경로가 좋아져도 실제 내용을 읽는 단계에서 막힐 수 있다는 뜻입니다.

그래서 검색에 잘 나오도록 제목을 다듬고 정보를 채우는 일에 더해, 공개한 페이지가 어떤 경로로 읽히는지 확인하는 일도 함께 필요하다고 생각합니다.

그렇다고 제품 홍보를 위해 홈페이지 보안을 통째로 낮출 수는 없습니다. 고객 정보와 관리자 화면은 보호하면서, 공개 제품 페이지에 필요한 접근이 가능한지 확인해야 합니다.

AI 관련 요청도 목적이 다릅니다. 홈페이지 운영자는 OpenAI의 검색용 OAI-SearchBot과 학습 관련 GPTBot의 설정을 구분해야 합니다. 그래야 검색 접근은 허용하면서 학습용 수집은 제한하는 식으로 각각 관리할 수 있습니다. OpenAI 공식 문서

검색용 OAI-SearchBot 허용과 학습 관련 GPTBot 제한을 독립적으로 선택하는 예시

이처럼 목적이 다르기 때문에 홈페이지 업체에 요청할 때도 ‘AI가 읽게 해주세요’에서 조금 더 구체적으로 들어갈 필요가 있습니다.

어느 페이지에서 어떤 화면이 나왔는지 전달하고, 공개 페이지의 보안 규칙과 검색용 접근 상태를 점검해 달라고 요청하는 겁니다. 수정했다면 같은 주소에서 실제 제품 내용이 읽히는지 다시 확인해야 하고요.

접근 문제를 해결하더라도 점검은 끝나지 않습니다. 산업용 부품은 사진 한 장과 제품명만으로 선택하기 어려운 경우가 많기 때문입니다. 전압, 접점 구성, 장착 치수, 사용 환경, 옵션에 따른 차이가 구매 판단에 영향을 줍니다.

페이지에 접근할 수 있어도 이런 정보가 빠져 있거나 서로 다른 모델의 설명이 섞여 있다면 고객은 다시 확인해야 합니다. AI가 정보를 찾아 비교하는 과정에서도 정확한 모델과 조건을 연결하기 어려워질 수 있습니다.

그래서 제가 제품 페이지를 점검한다면 다음 순서로 보겠습니다.

접근 확인에서 사양과 옵션, 기술자료, 상담 문의로 이어지는 네 단계의 설명 그림

이후에는 AI 서비스에서 실제로 들어온 방문과 문의를 따로 살펴봐야 합니다. 페이지를 읽었다는 기록만으로 고객이 늘었다고 판단할 수는 없으니까요.

홈페이지에 올린 제품 설명이 고객에게 전달되기까지는 생각보다 여러 단계를 거칩니다. 이번 경험에서는 그중 가장 앞쪽에 있던 문제를 발견했습니다.

좋은 설명을 만드는 데 들인 시간이 헛되지 않도록, 그 설명에 제대로 닿을 수 있는지도 챙겨야겠습니다.