매그넷 링크는 파일이 아니다 — 모델이 사라질 때 실제로 필요한 것

오픈 모델을 토렌트로 미러링하는 서비스가 나왔다. 구조는 영리한데, 도입 판단은 한 문장으로 끝난다. 매그넷 링크는 파일이 아니다.

이걸 백업으로 취급하면 안 된다. 배포 경로 이중화로 취급해야 한다. 그 차이가 실제로 사고가 났을 때 갈린다.

확인된 것

사이트에서 직접 확인한 것만 적는다.

Hugging Face의 오픈 모델을 체크섬 검증된 토렌트로 만든다. 내건 문장은 이렇다.

Open models - LLMs, image, audio, datasets - as 🧲 magnet links that can never be taken down.
핵심은 웹 시드다. 토렌트 안에 HF의 파일 URL이 평범한 HTTPS 주소로 박혀 있어서, 평소에는 HF에서 같은 속도로 받는다. 피어가 하나도 없어도 받아진다.

The day HF removes it: the web-seed dies and the download falls back to the peer-to-peer swarm.
대상은 "669k+ eligible models" 로 표기된다.
라이선스 제한이 있다. Apache-2.0, MIT, 그리고 승인된 예외(Kimi-K3)만 받는다.
직접 업로드는 아직 안 된다. 이미 HF에 있는 모델만 미러링 대상이다.
무료이고 계정은 선택이다. 운영 주체는 사이트에 밝혀져 있지 않고, @ThePirateFace라는 X 계정만 언급된다.

모델을 미리 받아두는 건 누구나 wget 한 줄로 한다. 이 서비스가 다른 점은 다운로드 주소를 바꾸지 않아도 된다는 쪽이다.

평소에는 매그넷 링크가 HF에서 바이트를 끌어오고, HF에서 사라지는 날 같은 링크가 스웜으로 넘어간다. 내 빌드 스크립트, 내 Dockerfile, 내 문서에 적힌 주소는 그대로다. 장애 대응을 사후에 하지 않아도 되는 구조라는 게 실제 이점이다.

다만 그 전환이 성립하려면 조건이 하나 붙는다. 그날 시딩하고 있는 피어가 있어야 한다. 이 서비스의 약속은 기술이 아니라 사람 수에 달려 있다.

"절대 내려갈 수 없다"는 검증할 수 없는 종류의 문장이다. 그리고 공개 토렌트는 시간이 지나면 시더가 빠진다.

여기서 방향이 어긋난다. 유명한 모델은 시더가 많아 살아남고, 내가 쓰는 덜 유명한 미세조정 모델이 먼저 죽는다. 그런데 백업이 정말 필요한 건 후자다. 유명 모델은 어차피 여러 곳에 복제돼 있다.

→ 그래서 이걸 백업으로 세면 안 된다. 진짜 백업은 내가 가진 디스크에 있는 바이트다. 이 서비스는 그 위에 얹는 이중화 경로이고, 그 자리에서는 값을 한다.

Apache-2.0, MIT, 승인된 예외만 받는다. 그러면 조건부 라이선스 모델은 여기서 구제되지 않는다.

어제 쓴 온디바이스 모델이 딱 그런 경우였다. 매출 임계를 넘으면 상용 라이선스가 필요한 조건이라 OSI 의미의 오픈소스가 아니고, 그러면 이런 미러링 인프라의 대상도 아니다.

정리하면 이렇다. 제약이 많은 모델일수록 사라졌을 때 대안이 없는데, 보존 인프라도 그쪽은 받지 않는다. 둘 다 같은 이유(라이선스) 때문이다.

→ 모델을 고를 때 항목 하나를 추가할 만하다. 이 가중치가 내일 사라지면 나는 어디서 받나. 답이 "공식 배포처 하나"라면 그건 단일 장애점이고, 라이선스가 제한적이면 그 단일 장애점을 우회할 방법도 없다.

실무에서 겪는 모델 사고는 "어느 날 페이지가 사라짐"이 아니다. 조용한 가중치 교체, 리포 이름 변경, 라이선스 변경, 같은 태그에 다른 파일. 앱은 계속 돌고 결과만 달라진다.

그래서 체크섬 검증 미러의 진짜 값어치는 재난 대비보다 내가 쓰던 그 바이트가 그 바이트였음을 나중에 증명할 수 있다는 쪽에 가깝다고 본다. 이건 사이트가 내세우는 논지가 아니라 내 판단이다.

→ 서비스를 쓰든 안 쓰든 오늘 할 수 있는 일이 있다. 프로덕션에 올리는 가중치의 파일 해시를 커밋에 적어둬라. 한 줄이면 되고, "지난주엔 됐는데" 유형의 재현 불가 사고를 가장 싸게 막는다.

직접 써보지 않았다. 다운로드나 시딩을 검증하지 않았고, 위 내용은 사이트를 읽은 결과다.
운영 주체가 밝혀져 있지 않다. X 계정 외에 조직도 자금 출처도 모른다. 보존을 표방하는 서비스에서 운영 주체의 지속 가능성이 곧 서비스의 지속 가능성인데, 그걸 판단할 근거가 없다.
669k+는 대상(eligible) 수치다. 실제로 미러링이 끝난 모델 수는 확인하지 못했다.
현재 시더 수와 스웜 건강도를 확인하지 못했다. 위 2번은 토렌트의 일반적 성질에서 나온 추론이지 이 서비스에 대한 측정이 아니다.
토론에서 X 계정이 필요하다는 불만이 나왔는데 사이트는 계정이 선택이라고 쓴다. 어느 쪽이 맞는지 확인하지 못했다.
체크섬은 "HF 원본과 같다"만 보장한다. 원본이 안전하다는 보장이 아니다. 악성 코드가 포함된 모델 이야기가 토론에 있었는데, 그건 미러링으로 해결되는 문제가 아니다.