AI와 한 번 일하는 데 얼마가 들었을까? Vercel AI Gateway Sessions 공개

Vercel AI Gateway에 여러 요청을 대화 단위로 묶어 보는 Sessions 화면이 추가됐습니다. 세션별 비용과 캐시 활용, 모델·공급자 경로를 함께 확인하는 기능입니다.

• 요청 하나의 가격과 한 대화에 누적된 비용을 구분해 볼 수 있습니다.
• 같은 대화에서 공급자 경로가 어떻게 이어졌는지 살펴볼 수 있습니다.
• 이 글은 공식 발표와 문서를 바탕으로 정리했습니다. 직접 사용하거나 성능을 측정한 후기는 아닙니다.

Sessions 화면에서는 무엇을 볼 수 있을까요?

공식 발표에 따르면 목록에는 세션을 실행한 앱이나 코딩 에이전트, 비용, 모델, 공급자, 입력 캐시 활용 정보가 표시됩니다. 세션을 열면 캐시 적중률과 지속 시간, 각 턴의 모델·처리 시간과 공급자 경로를 살펴볼 수 있습니다.

턴 수, 클라이언트, 모델, 공급자, 인증, 비용으로 필터링할 수 있습니다. 한 번의 요청으로 끝난 세션은 기본 필터에서 숨겨지므로, 확인하려면 최소 턴 수 필터를 해제해야 합니다. Vercel 공식 발표

여러 요청을 세션으로 묶어 비용·캐시·공급자 경로를 살펴보는 개념도입니다. 실제 제품 화면이 아닙니다.

출처: VECTORLOG · AI 생성 편집 일러스트

왜 공급자 경로와 캐시를 함께 보여줄까요?

공식 문서에서 설명하는 session affinity는 같은 대화의 다음 요청에서 앞선 요청을 처리한 공급자를 우선 시도하는 방식입니다. 프롬프트 캐시를 활용하기 위한 구조이며, 텍스트·채팅 요청에 기본으로 적용됩니다. 임베딩·이미지·실시간 세션에는 적용되지 않습니다.

공급자를 영구적으로 고정하는 방식은 아닙니다. 허용된 공급자 목록과 보안 관련 필터를 먼저 적용하고, 이전 공급자가 실패하면 다른 공급자를 시도합니다. 따라서 공급자 경로를 읽을 때는 대체 공급자로 넘어간 흐름도 함께 살펴볼 필요가 있습니다. Session affinity 공식 문서

대화를 구분하려면 무엇을 준비해야 할까요?

Vercel은 하나의 대화나 에이전트 실행에 속하는 요청에 동일한 세션 ID를 보내도록 권장합니다. 개인정보를 담지 않은 값을 사용하고, 관련 없는 작업에 같은 ID를 재사용하지 말라고 안내합니다. 세션 식별 설정

업무에 적용할 때는 무엇을 함께 기록하면 좋을까요?

다음은 기능에 대한 편집 의견입니다. 비용·경로 기록 옆에 결과물의 검증 여부를 함께 적어두는 방법을 제안합니다.

예를 들어 문의 폼을 만드는 가상의 작업이라면, 세션 기록 옆에 처음 요청한 범위와 테스트 통과 여부, 사람이 추가로 수정한 부분을 남길 수 있습니다. 이는 제품의 자동 평가 기능을 설명한 것이 아니라, 독자가 별도로 남길 수 있는 작업 기록의 예시입니다.

이렇게 기록하면 비용을 비교할 때 결과물이 같은 기준을 충족했는지도 함께 검토할 수 있습니다. 자주 반복하는 작업 하나부터 적용해 보고, 무엇을 하나의 작업으로 볼지와 완료 기준을 먼저 정해보면 좋겠습니다.

도입 전에는 이용 중인 계정의 Sessions 접근 조건과 제공 범위를 확인해 주세요. 이 글에서는 실제 운영 결과를 측정하지 않았습니다.

출처

• Vercel Changelog: AI Gateway logs now show session affinity
• Vercel Docs: AI Gateway Session Affinity