같은 벤치마크 두 버전에서 92.8%와 27.3%

Cognition이 코딩 모델 SWE-2를 냈다. 발표에서 가장 중요한 숫자는 1위를 찍은 항목이 아니라, 같은 벤치마크의 다음 버전에서 무너진 숫자다.

• Terminal-Bench 2.1 — SWE-2 92.8%, Fable 5.1 91.4%, GPT-6 Astra 89.9%
• Terminal-Bench 4 — SWE-2 27.3%, Fable 5.1 55.8%, GPT-6 Astra 57.9%

이름이 같은 벤치마크다. 한 버전에서 1등, 다음 버전에서 경쟁 모델의 절반 이하. 모델을 고를 때 벤치마크 이름만 보고 버전을 안 보면, 위 표에서 정확히 반대 결론을 낼 수 있다.

확인된 것

Cognition 발표 기준으로 정리한다.

• FrontierCode 1.1 Main 50.0% (Fable 5.1 50.9%, GPT-6 Astra 53.3%), DeepSWE 1.1 73.0%.
• 비용: "within one point of Fable 5.1 while being 64% cheaper."
• 속도: SWE-2 medium은 첫 실질적인 코드 수정까지 중앙값 18단계. 이전 모델 SWE-1.7은 48단계였다.
• 학습: Kimi K3(2.8T 파라미터)를 후처리 학습했고, 보상 함수는 R = S − λₑC — 성공에서 비용 페널티를 뺀다.
• 제공: Devin Desktop과 CLI에서 오늘부터. Web과 Fusion에 순차 적용. 공개 API는 없다. 가중치도 비공개다.

내 판단

1. 저렴함과 27.3%는 같은 설계 결정의 양면일 수 있다.

이건 추측이다. Cognition이 그렇게 말한 적은 없다. 다만 보상 함수에 비용 페널티를 직접 넣었고, 그 결과가 "첫 수정까지 48단계 → 18단계"로 나타났다. 빨리 손대고 적게 쓰도록 학습된 정책이다. 짧은 과제에서는 이게 그대로 이득이다. 길고 탐색이 필요한 과제에서는 손해가 된다 — 탐색을 줄이는 게 페널티를 피하는 방법이기 때문이다.

Terminal-Bench 4가 2.1보다 길고 어려운 과제 위주라면 27.3%는 버그가 아니라 설계의 결과다. 64% 저렴한 것과 같은 이유로 저 점수가 나온 것일 수 있다.

2. 그래서 총점이 아니라 작업 길이로 나눠야 한다.

테스트 고치기, 작은 리팩터링, 반복적인 보일러플레이트처럼 범위가 이미 정해진 짧은 작업이면 SWE-2의 비용 구조가 정확히 거기에 맞춰져 있다. 반대로 원인을 모르는 버그를 파고들거나 여러 파일에 걸친 변경을 맡길 거라면, 벤치마크가 이미 경고를 줬다.

오늘 아침에 쓴 Real-SWE 글과 겹쳐 읽으면 방향이 반대처럼 보인다. 거기선 "길게 돌려도 나아지지 않는다"였고 여기선 "짧게 돌도록 학습한 모델이 긴 과제에서 무너진다"다. 충돌이 아니다. 둘 다 작업 길이가 모델 선택의 축이라는 같은 말이다. 총점 순위는 그 축을 지운다.

3. 64% 절감은 Devin 안에서만 쓰는 통화다.

API가 없다. 가중치도 없다. SWE-2를 쓰려면 Devin Desktop이나 CLI를 써야 한다. 비용이 실제로 64% 줄어든다 해도, 그 할인은 플랫폼 밖으로 들고 나갈 수 없다.

혼자 만드는 입장에서 이런 도구를 넣기 전에 확인할 건 성능이 아니라 나가는 길이다. 내 프롬프트와 설정을 파일로 뽑을 수 있나. 실행 로그를 가져올 수 있나. 내일 이 모델이 없어지면 그대로 다른 도구에 붙일 수 있는 형태로 남나. 답이 "아니오"인데 64%가 이유가 된다면, 그건 절감이 아니라 나중에 낼 이사 비용을 당겨 쓴 것이다.

모르는 것

• Terminal-Bench 4가 2.1과 과제 구성·길이에서 정확히 어떻게 다른지는 발표에 설명이 없다. 위 1번 가설을 검증할 수 없다.
• λₑ 값이 얼마인지, 추론 수준(medium/high/max)별로 다른지 공개되지 않았다.
• SWE-2를 직접 써보지 않았다. 위 숫자는 전부 Cognition이 낸 것이고, 벤더 자체 발표다.