AI를 많이 쓰기 시작하면 모델 선택 기준이 달라진다

AI를 처음 본격적으로 쓰기 시작했을 때는 기준이 단순했다.

가장 좋은 모델이 뭘까?

같은 일을 시킬 거라면 성능이 가장 높은 모델을 쓰는 게 낫다고 생각했다. 결과물이 더 잘 나오고, 한 번에 끝날 가능성도 높아 보였기 때문이다.

그런데 AI를 쓰는 양이 늘어나면서 이 기준이 조금씩 바뀌었다.

요즘은 모델을 고를 때 성능만 보지 않는다. 이 작업에 얼마나 많은 사용량이 들어갈지, 몇 번이나 다시 돌릴 가능성이 있는지, 빠르게 반복해야 하는 일인지까지 같이 생각한다.

질문 자체가 달라진 셈이다.

어떤 모델이 가장 좋은가?가 아니라 이 작업에는 어느 정도의 모델이면 충분한가?를 먼저 보게 됐다.

가장 강한 모델이 항상 가장 효율적인 건 아니었다

나는 AI를 분석, 콘텐츠 작성, 코딩, 자동화처럼 여러 종류의 작업에 반복적으로 사용한다.

복잡한 분석이나 중요한 결과물을 만들 때는 확실히 강한 모델이 편하다. 긴 맥락을 놓치지 않고 여러 조건을 동시에 맞춰야 할수록 성능 차이가 체감되는 경우가 있다.

그런데 모든 일이 그렇게 어렵지는 않다.

간단한 번역이나 정리, 이미 방향이 정해진 초안, 반복적으로 처리하는 작업까지 매번 가장 강한 모델에 맡기다 보면 다른 문제가 보이기 시작한다.

사용량이 빠르게 늘고, 긴 작업을 여러 번 수정하거나 다시 실행할 때 부담도 커진다. 좋은 모델을 쓰고 있는데도 작업 전체가 반드시 효율적이라는 느낌은 들지 않았다.

그래서 최근에는 작업부터 본다.

이 일이 정말 높은 수준의 추론이 필요한지, 아니면 이미 결정된 방향을 빠르게 실행하는 일인지 구분한다. 분석과 오케스트레이션처럼 판단의 깊이가 중요한 작업과 번역·정리처럼 비교적 명확한 작업에 같은 수준의 모델을 배치할 이유가 없다고 보기 시작했다.

AI 사용량이 늘어날수록 모델 선택은 하나의 최고 모델을 찾는 문제보다 작업별로 적절한 수준의 모델을 배치하는 문제에 가까워진다.

예전에는 AI 모델을 일종의 순위표처럼 봤다. 가장 높은 곳에 있는 모델 하나를 골라두면 된다고 생각했다.

지금은 조금 다르다. 모델 하나를 고르는 게 아니라 작업을 어디에 배치할지 결정하는 문제에 가깝다.

GPT-6 Sol과 Luna 발표가 눈에 들어온 이유

OpenAI는 2026년 9월 22일 GPT-6 Sol과 GPT-6 Luna를 공개했다.

공식 설명에서 두 모델은 GPT-6 Astra 뒤에서 같은 방향의 발전을 더 빠르고 비용 효율적인 형태로 확장하는 모델로 소개된다. 가장 어려운 작업에는 Astra의 깊이가 필요하지만, 모든 일이 같은 규모와 예산을 요구하는 것은 아니라는 설명도 함께 나온다.

이 부분이 흥미로웠다.

신모델 발표라고 하면 흔히 벤치마크 순위부터 보게 된다. 어떤 점수가 올랐고, 경쟁 모델보다 얼마나 높은지가 관심의 중심이 된다.

하지만 실제로 AI를 많이 쓰다 보면 조금 다른 숫자도 중요해진다.

OpenAI API 기준 GPT-6 Sol의 표준 가격은 100만 토큰당 입력 2달러, cached input 0.20달러, 출력 10달러다. GPT-6 Luna는 입력 0.10달러, cached input 0.01달러, 출력 0.50달러다.

중요한 건 단순히 어느 모델이 싸다는 이야기가 아니다.

하나의 최고 모델만 제공하는 것이 아니라 서로 다른 비용과 성능 지점을 가진 모델을 나누어 제공한다는 구조가 더 분명해졌다는 점이다.

물론 나는 아직 GPT-6 Sol과 Luna를 동일한 작업과 동일한 조건으로 직접 비교해보지는 않았다. 그래서 어느 모델이 어떤 업무에서 더 낫다거나, Luna 정도면 특정 작업에 충분하다고 단정할 생각은 없다.

오히려 이번 발표에서 흥미로운 건 모델의 우열보다 모델을 배치하는 방식이다.

AI를 많이 쓸수록 작업당 비용이 보이기 시작한다

AI를 한두 번 질문하는 수준에서는 비용 차이가 크게 와닿지 않는다.

하지만 작업이 길어지면 얘기가 달라진다.

코딩 에이전트를 오래 실행하고, 긴 문서를 읽히고, 결과를 다시 수정하고, 같은 작업을 여러 번 반복하면 한 번의 입력 가격보다 전체 과정에 들어가는 사용량이 중요해진다.

여기에 시간도 들어간다.

호출 가격이 저렴해도 계속 실패해서 세 번 다시 실행해야 한다면 실제 작업비용은 낮다고 보기 어렵다. 반대로 높은 수준의 추론이 필요하지 않은 단순한 일을 비싼 모델로 계속 처리하는 것도 효율적이라고 말하기 어렵다.

그래서 내가 말하는 ‘작업 경제성’은 단순한 토큰 가격 비교가 아니다.

성능, 비용, 실행 시간, 재시도 횟수, 그리고 사람이 다시 손봐야 하는 정도까지 포함한 전체 작업 비용에 가깝다.

실제 작업당 비용 역시 프롬프트 길이, 캐시 사용 여부, 작업 난도와 재시도 횟수에 따라 달라진다. 가격표 하나만 보고 가장 경제적인 모델을 정할 수 없는 이유다.

싸게 호출할 수 있는 모델과 일을 싸게 끝낼 수 있는 모델은 같은 개념이 아닐 수 있다.

최고 성능 모델은 기본값이 아니라 중요한 자원이 된다

이렇게 생각하기 시작하면 가장 강한 모델을 보는 관점도 달라진다.

예전에는 최고 성능 모델을 기본값으로 놓고 나머지를 대안처럼 생각했다면, 지금은 오히려 어떤 순간에 강한 모델을 투입해야 하는지를 따로 판단한다.

여러 조건을 동시에 맞춰야 하거나, 중요한 판단이 필요하거나, 한 번 실패했을 때 재작업 비용이 큰 일에는 강한 모델을 쓴다.

반면 방향이 명확하고 반복이 많은 업무에서는 더 가벼운 모델로 내려갈 수 있다.

나 역시 분석·오케스트레이션, 집중 작업, 번역이나 단순 업무를 완전히 같은 기준으로 보지 않는다. 작업 성격에 따라 모델을 나눠 쓰다 보니 어느 순간부터 ‘최고 모델을 쓰고 있는가’보다 ‘이 일에 필요한 수준보다 과한 모델을 쓰고 있지는 않은가’를 더 자주 생각하게 됐다.

이건 AI를 적게 사용할 때는 잘 보이지 않았던 문제다.

사용량이 커지고, 반복 업무와 자동화가 늘어날수록 훨씬 선명해진다.

앞으로 중요한 건 모델 선택보다 모델 배치일 수 있다

모델 성능은 앞으로도 계속 좋아질 것이다.

그렇다고 모든 사람이 모든 작업에 가장 강한 모델만 쓰게 될 것 같지는 않다.

AI가 업무의 더 많은 부분에 들어갈수록 하루 동안 처리하는 AI 작업의 수 자체가 늘어난다. 그러면 모든 작업에 같은 수준의 모델을 투입하는 방식보다 중요한 문제에는 강한 모델을 집중하고, 반복적이고 명확한 일은 더 적절한 모델로 분산하는 방식이 자연스러워진다.

그래서 모델을 평가할 때 벤치마크 순위 외에 하나를 더 물어볼 필요가 있다.

이 모델을 내 실제 작업에 넣었을 때 일을 얼마나 경제적으로 끝낼 수 있는가?

AI를 많이 쓰기 시작하면서 내가 가장 크게 바꾼 기준도 이것이다.

최고의 모델을 찾는 것보다 지금 하려는 일에 맞는 모델을 고르는 것.

결국 AI를 운영하는 능력은 모델 이름을 많이 아는 것보다 어떤 작업에 어느 수준의 지능을 배치할지 판단하는 능력에 더 가까워지고 있다.