토큰당 싼 모델이 작업당 더 비쌀 수 있다

예산별로 가장 점수 높은 모델을 보여주는 표가 매일 갱신된다. 유용한 도구인데, 결정에 쓰면 틀린다.

이유는 단순하다. 그 표가 답하는 질문은 토큰당 얼마이고, 내가 물어야 할 건 작업당 얼마다. 같은 결과를 내는 데 어떤 모델은 토큰을 훨씬 많이 쓴다.

그래서 쓰임을 정해두는 게 맞다. 이 표로 후보를 줄이고, 결정은 내 데이터로 한다.

출처: Best Model For Your Budget

확인된 것

사이트에서 직접 확인한 것만 적는다.

• 모델을 API 비용 대비 점수로 찍어 가치 프런티어를 그린다. 그 선 위의 모델은 "더 싼 것 중에 이만큼 똑똑한 게 없고, 더 똑똑한 것 중에 이만큼 싼 게 없는" 지점이다.

• 가격 계산 방식이 명시돼 있다.

  Blended cost per 1M tokens (3:1 input:output, log scale)

  입력을 출력의 3배로 가중한 혼합 단가다.

• 점수는 Artificial Analysis Intelligence Index(지능·코딩·수학 3축)에서 가져오고, GitHub Actions 크론으로 매일 갱신한다.

• 필터: 최소 점수(기본 30), 모델당 한 행 / 전체 변형, 제작사, 프런티어만 보기, 라벨 밀도.

• 사이트가 스스로 제외 항목을 밝힌다.

  Cached-input discounts, batch pricing and fast modes are not included.

• 그리고 벤치마크 버전이 바뀌면 점수가 움직이니(Scores move) 과거 스냅샷과 비교하지 말고 이 사이트를 기준으로 보라고 적는다.

판단

1. 토큰 단가가 싼 모델이 작업 단가로는 비쌀 수 있다

토론에서 나온 지적이 이 도구의 한계를 정확히 짚는다 — 같은 결과에 도달하는 데 필요한 토큰 수가 모델마다 다르다. 덜 똑똑한 모델은 더 길게 돌고, 더 자주 되돌아오고, 틀려서 다시 시킨다.

그러면 토큰 단가가 절반인 모델이 작업 단가로는 더 비쌀 수 있다. 표에는 그 항이 없다.

→ 실행: 프런티어 위에서 후보를 두셋 고른 뒤, 내가 실제로 시키는 작업 다섯 개를 각각에 돌려 총 토큰 수를 기록한다. 단가 × 실제 토큰이 내 비용이고, 그 계산에서 순위가 뒤집히는 경우가 드물지 않다.

하네스를 비교한 연구에서 같은 자리를 봤다. 거기선 모델이 같아도 하네스에 따라 비용이 2배 갈렸다. 모델 단가표는 그 축을 아예 담지 못한다.

2. 제외된 항목이 코딩 작업에서는 가장 큰 변수다

캐시된 입력 할인, 배치 가격, 빠른 모드가 계산에 없다고 사이트가 직접 밝힌다. 밝힌 건 좋은데, 그 셋 중 첫 번째가 코딩 에이전트에서는 지배적이다.

에이전트는 같은 저장소 컨텍스트를 반복해서 올린다. 캐시 할인이 적용되느냐 아니냐가 실제 청구서를 좌우하고, 그 할인율은 벤더마다 다르다. 이 표는 캐시를 못 쓰는 일회성 호출에 가장 정확하고, 반복 컨텍스트가 있는 작업에서는 순위가 달라진다.

3:1 가중치도 같은 종류의 가정이다. 내 작업이 긴 문서를 요약하는 쪽이면 입력 비중이 그보다 크고, 초안을 길게 뽑는 쪽이면 출력 비중이 크다. → 내 로그에서 실제 입출력 비율을 한 번 계산해보고, 3:1과 크게 다르면 이 표의 순서를 그대로 믿지 않는다.

3. 이런 도구의 값어치는 정답이 아니라 탐색 공간 축소다

위 두 가지를 이유로 이 표를 버리는 건 과한 반응이다. 정확한 비용은 어차피 내 데이터로만 나오고, 그 측정을 수십 개 모델에 다 할 수는 없다.

그래서 쓰임을 나눠두면 된다. 표로 후보를 3개로 줄이고, 실측으로 하나를 고른다. 프런티어 위만 보면 선택지가 수십에서 서넛으로 준다. 그게 이 도구가 실제로 해주는 일이고, 충분히 값을 한다.

이번 주에 같은 형태를 여러 번 썼다. 남의 벤치마크는 질문을 좁히는 데 쓰고 답은 내 작업에서 얻는다. 표를 결정에 쓰면 틀리고 후보 선정에 쓰면 시간을 아낀다.

4. 매일 갱신되는데 시계열로는 쓸 수 없다

사이트가 밝힌 두 번째 단서가 더 조용하다. 벤치마크 버전이 바뀌면 점수가 움직인다.

그 말은 어제의 표와 오늘의 표가 같은 자로 잰 게 아닐 수 있다는 뜻이다. "지난달보다 이 모델이 싸졌다"거나 "점수가 올랐다"를 여기서 읽으면 안 된다. 가격은 실제로 변했을 수 있지만 점수 축이 함께 움직였는지 알 수 없다.

→ 매일 갱신을 신선함으로만 읽지 말 것. 스냅샷으로는 쓰되 추세로는 쓰지 않는다. 추세가 필요하면 내가 직접 같은 작업을 같은 방식으로 주기적으로 돌려서 기록하는 수밖에 없다.

모르는 것

• 직접 써보지 않았다. 사이트 설명과 토론을 읽은 결과다.
• "같은 결과에 2~3배 토큰"은 토론에서 나온 주장이고 수치 근거를 확인하지 못했다. 방향은 납득되지만 배수는 내가 검증한 게 아니다. 1번의 논지는 방향에 기대고 있고 배수에 기대지 않는다.
• Artificial Analysis Intelligence Index의 세부 구성과 세 축의 가중치를 확인하지 않았다.
• 3:1 비율의 근거를 모른다. 업계 관행인지 이 사이트의 선택인지 확인하지 못했다.
• 한국어 작업의 토큰 효율 차이가 이 표에 반영되지 않는다. 같은 문장도 모델·토크나이저에 따라 토큰 수가 꽤 갈리는데, 영어 기준 단가표에는 그 항이 없다. 한국어로 대량 처리하는 사람에게는 이게 가장 큰 공백이다.
• 구독제와 API의 손익분기를 다루지 않는다. 토론에서도 갈렸고 결론이 없었다.