문의 하나 분류하는 데 긴 답변까지? OpenAI가 ‘짧은 판단’ API를 정식 출시했습니다

고객 문의를 배송·환불·상품 질문으로 나누기만 하면 되는데, AI가 설명까지 길게 쓰도록 만들 필요는 없습니다. OpenAI가 10월 22일 정식 출시한 Decisions API는 정해진 선택지나 점수로 답할 수 있는 판단을 따로 처리합니다. GPT-6 Luna를 기반으로 하며, 이번에는 공통 입력 캐싱과 요청당 최대 400개 질문을 지원합니다. 공식 발표

공식 발표의 날짜·제목 부분을 직접 캡처했습니다. 화면 확인일은 2026년 10월 23일입니다. 원문

답변을 쓰는 일과 다음 경로를 고르는 일을 나눕니다

Decisions API가 돌려주는 답은 세 종류입니다. 조건이 참일 가능성, 미리 정한 선택지 하나, 기준표에 따른 점수입니다. 고객에게 보낼 문장을 쓰거나 자유로운 JSON을 생성하는 용도는 아닙니다. 그런 작업에는 기존 Responses API나 Structured Outputs 같은 경로가 필요합니다. 개발 문서

예를 들어 고객지원 자동화에서는 ‘무슨 답장을 보낼까’에 앞서 ‘누가 처리해야 할까’를 결정합니다. 이 변화에서 눈여겨볼 점은 짧고 반복되는 판단을 별도 단계로 나눌 수 있다는 것입니다. 긴 답변 생성과 분류를 분리하면 각 단계의 오류와 시간을 따로 측정하기도 쉬워집니다. 다만 단계를 늘린 만큼 연동과 장애 처리도 관리해야 합니다.

기존 판단 전용 모델을 다룬 글과 연결되는 변화지만, 이번 소식의 중심은 OpenAI의 정식 제공 전환과 입력·캐싱 조건입니다. 9월 제한적 프리뷰를 거쳤고, GPT-Live 연결도 10월 15일에 먼저 추가됐습니다. 프리뷰 발표 · 변경 이력

400개는 이어지는 작업이 아니라 독립된 질문입니다

베타에서 200개였던 요청당 질문 한도가 400개로 늘었습니다. 구조화된 데이터를 넣는 input_json과 질문별 이미지 입력도 추가됐습니다. 여기서 JSON은 입력 형식이며, 원하는 구조의 JSON을 답으로 생성한다는 뜻은 아닙니다.

한 요청에 묶을 질문은 서로 독립적이어야 합니다. 같은 문의를 놓고 ‘환불 요청인가’, ‘배송 문제인가’를 각각 평가할 수는 있지만, 첫 답을 읽고 다음 질문을 바꿔야 한다면 요청을 나눠야 합니다. 400개라는 숫자를 순차 작업 400단계로 이해하면 설계부터 어긋납니다. 질문 처리 방식과 제한

가상의 쇼핑몰 상담팀을 생각해 보겠습니다. 제품 정보와 처리 규칙은 자주 바뀌지 않고 문의만 계속 들어옵니다. 공통 자료와 개별 문의를 구분해 입력을 구성하면, 같은 앞부분을 반복 사용하는 경우 캐싱을 검토할 수 있습니다. 캐싱은 공통 입력에서 일치하는 앞부분에 적용되며, 이 부분이 1,024토큰 이상이어야 합니다. 질문과 질문별 이미지는 캐시 대상에 포함되지 않습니다. 캐싱 조건

이 예시는 설계 방향을 설명하기 위한 가정입니다. 실제 고객 시스템에 적용하거나 성과를 확인한 사례는 아닙니다.

캐시 단가는 낮지만, 전체 비용은 따로 계산합니다

공식 발표의 기본 입력 가격은 100만 토큰당 0.10달러, 캐시 적중 입력은 0.01달러입니다. 전용 Decisions 엔드포인트에는 출력 토큰 요금이 없습니다. 캐시를 저장할 때는 쓰기 단가가 적용됩니다. 이는 일반 입력 요금에 추가로 붙는 수수료는 아닙니다. 긴 입력이나 처리 지역에 따라서도 가격이 달라질 수 있습니다. 캐시 적중 단가만 보고 전체 비용이 90% 줄어든다고 말할 수는 없습니다. 가격 조건 · 캐시 쓰기 과금

현재 엔드포인트 문서에서 지원하는 캐시 유지 시간 설정값은 30분뿐입니다. 일반 가격 안내에 다른 유지 시간이 보이더라도 이 API에서 그대로 쓸 수 있다고 가정하지 않는 편이 안전합니다. 엔드포인트 명세

도입 여부는 반복 판단 하나로 비교하면 됩니다. 정답을 정리한 문의 표본을 기존 방식과 새 경로에 똑같이 넣고, 오분류·응답 시간·재시도·사람에게 넘긴 비율·전체 비용을 함께 봅니다. OpenAI의 ‘최대 10배 빠르다’는 설명은 같은 Luna 모델의 Responses API 대비 회사 측 비교이며, 모든 업무에서 같은 결과를 보장하지 않습니다. 공식 성능 설명

처음부터 환불 승인이나 결제 같은 조치를 자동 실행하기보다는 문의 분류처럼 되돌리기 쉬운 단계부터 평가하는 편이 낫습니다. 틀린 분류를 사람이 잡아낼 경로까지 준비됐을 때, 짧은 판단을 분리한 이점도 실제 운영 결과로 확인할 수 있습니다.

반복 분류와 답변 생성을 나누면 각 단계의 오류·시간·비용을 비교하기 쉬워집니다. 전체 효율은 연동과 사람 검토까지 포함해 실제 업무 표본으로 판단해야 합니다.