8MB 모델에서 먼저 읽을 것은 벤치마크가 아니라 LICENSE 2항이다

라즈베리파이에서 초당 4,000토큰을 내는 8MB 모델이 나왔다. 도입을 검토한다면 벤치마크보다 먼저 볼 것이 있다. LICENSE 파일 2항이다.

이 모델의 엔진 저장소는 GitHub가 라이선스를 식별하지 못해 NOASSERTION으로 표시된다. 열어보면 MIT처럼 시작하다가 조건이 붙는다 — 개인·교육·연구·비영리, 또는 총 조달 200만 달러 미만이면서 연매출도 200만 달러 미만인 조직만 무료다.

1인 개발자에게는 좋은 소식이다. 거의 다 해당된다. 다만 성공하면 종료되는 조건이라는 점은 지금 계산에 넣어야 한다.

출처: cactuscompute.com/needle · github.com/cactus-compute/cactus

확인된 것

제품 페이지와 저장소에서 직접 확인한 것만 적는다.

Needle 3은 모바일·웨어러블·로봇·스마트홈·차량·마이크로컨트롤러를 대상으로 하는 모델이다. 구조가 특이하다.

every layer of Needle 3 is a sub-network with monotonically increasing capacity

그래서 2층에서 20층까지 골라 쓴다. 전체 모델은 29~121M 파라미터, CQ2 양자화 기준 바이너리가 8~29MB. Simple Attention Networks 기반, 독자 구조화 데이터셋 360B 토큰 학습.
라즈베리파이 5에서 디코드 400~4,000 tok/s, 프리필 1~10k tok/s.
잘하는 일 세 가지로 도구 호출, 구조화 추출, 로컬 시맨틱 검색용 임베딩을 든다. 일반 대화가 아니다.
성능 주장에는 조건절이 붙어 있다.

from 4 layers up the tuned subnetwork passes DeepSeek V4 Flash, starting at 29M parameters

튜닝한 서브네트워크 기준이다. LoRA로 파인튜닝하는 경로를 제공한다.
배포 대상은 iOS·Android·Linux·macOS·Windows·WebAssembly.
라이선스는 오픈소스가 아니다. 엔진 저장소 cactus-compute/cactus(별 6,032, 포크 505)의 LICENSE는 사용 허가를 이렇게 제한한다.

(b) Organizations … with both: (i) Less than $2,000,000 USD in total funding … AND (ii) Less than $2,000,000 USD in gross annual revenue

기준을 넘기면 허가가 자동 종료되고 30일 안에 상용 라이선스를 받아야 한다는 조항(4항)도 있다.
제품 페이지는 저장소 별을 "4,200+"로 적는데 실제 값은 6,032다. 벤더가 자기 숫자를 낮게 적어둔 경우다.

판단

1. 임베디드에 들어가는 의존성의 라이선스는 다른 무게를 갖는다

조건 자체는 관대하다. 개인 프로젝트, 사이드 프로젝트, 매출 없는 초기 제품은 전부 무료 구간이다. 문제는 그 구간을 벗어나는 사건이 곧 성공이라는 점이다.

라이브러리라면 나중에 갈아끼우면 된다. 그런데 이건 기기에 올라가는 모델이다. 펌웨어로 나갔거나 앱 번들에 들어갔거나, 더 나쁘게는 내 도구 집합에 맞춰 LoRA로 튜닝해둔 상태라면 교체는 코드 수정이 아니라 재학습과 재배포다.

→ 그래서 지금 해둘 계산은 하나다. 200만 달러 선을 넘는 시점에 이 모델을 다른 것으로 바꾸는 데 며칠이 드는가. 그 답이 "모르겠다"면 무료라서 싼 게 아니다. 어제 Agent-Native 글에서도 라이선스가 확인 항목으로 나왔는데, 이틀 연속 같은 자리에서 걸렸다. 저장소를 볼 때 README보다 LICENSE를 먼저 여는 게 낫다.

2. "10배 큰 모델을 이긴다"의 주어는 튜닝된 모델이다

받아서 꽂으면 그 성능이 나오는 게 아니다. 원문이 명시하는 조건은 4층 이상의 튜닝된 서브네트워크다. 기성품 상태의 성능은 이 문장으로는 알 수 없다.

그러면 필요한 준비물이 바뀐다. 모델이 아니라 데이터다. 내 앱에 실제로 들어온 자연어 명령과, 그때 불렸어야 할 함수·인자 쌍. 수백 개면 시작할 수 있고, 그게 없으면 이 모델의 숫자는 내 것이 아니다.

→ 순서: 모델을 먼저 받지 말고 로그부터 뒤져라. 지금 프런티어 모델로 도구 호출을 처리하고 있다면 그 호출 기록이 이미 학습 데이터다.

3. 작은 모델을 쓴다는 건 도구 설명을 공들여 쓴다는 뜻이다

토론에서 한 테스터가 욕실 조명을 요청했더니 청소기와 음악과 커피머신이 켜졌다고 보고했다. 벤더 수치와 정면으로 어긋나는 관찰이다.

그런데 그 토론의 결론이 "모델이 나쁘다"가 아니라 "도구와 도구 설명을 직접 고칠 수 있고 성패는 거기서 갈린다" 쪽이었다는 게 더 중요하다. 이건 어제 읽은 하네스 실증 연구와 같은 방향이다. 거기서도 작은 모델에서는 사전 정의 도구가 성공률을 두 자릿수로 올렸다.

정리하면 이렇다. 큰 모델은 모호한 도구 설명을 견디고, 작은 모델은 못 견딘다. 모델에서 아낀 비용을 설명 쓰는 시간으로 낸다. 그게 손해라는 뜻은 아니다 — 잘 쓴 도구 설명은 모델을 바꿔도 남는 자산이고, 모델 요금은 매달 나간다.

4. 400에서 4,000까지의 폭이 벤치마크보다 중요한 숫자다

층 수를 2에서 20까지 고를 수 있으니 속도가 10배 갈린다. 이건 "빠르다"는 자랑이 아니라 선택을 내게 넘긴다는 설계다.

그래서 읽을 숫자는 최고 속도가 아니라 내 작업이 성립하는 최소 층 수다. 4층부터 시작해 내 도구 집합에서 틀리는 지점을 찾고, 거기서 한 단계씩 올리는 게 맞는 순서다. 20층으로 시작하면 처음부터 8MB를 고른 이유가 사라진다.

모르는 것

직접 돌려보지 않았다. 제품 페이지와 저장소 LICENSE를 읽은 결과다.
모델 가중치의 라이선스가 엔진 코드의 라이선스와 같은지 확인하지 못했다. 위에서 인용한 조항은 cactus-compute/cactus 저장소의 것이고, Needle 3 가중치 배포 조건은 별도일 수 있다. 상업적 사용을 검토한다면 이건 반드시 따로 확인할 항목이다.
DeepSeek V4 Flash와 비교한 벤치마크의 이름과 조건을 확인하지 못했다.
CQ2 양자화가 정확도에 주는 영향 수치가 없다.
360B 토큰 데이터셋의 구성은 공개되지 않았다.
커뮤니티의 오작동 보고는 개별 사례다. 어떤 도구 설정에서 재현되는지 모른다.
엔진 저장소의 마지막 푸시는 2026-09-08인데 Needle 3 발표는 그 이후다. 가중치가 별도 경로로 배포되는 것으로 보이지만 확인하지 못했다.