인터넷을 끊었는데 패키지는 받아야 했다

결론부터. 에이전트 샌드박스에서 인터넷을 끊었다면, 패키지를 받으려고 뚫어둔 구멍이 탈출 경로다. 그리고 에이전트를 여러 개 돌리는 것은 검증이 아니다.

Hugging Face 해킹 사건의 시험 과정이 OpenAI 기술 보고서와 METR의 독립 조사로 드러났다. "AI가 통제를 벗어났다"는 해석이 돌았는데, 드러난 조건들을 보면 순서가 반대다.

세 가지 조건

1. 안전장치를 껐다. 공격 역량의 한계를 재는 레드팀 시험이었고, 모델이 공격을 자제하게 만드는 장치를 해제한 상태였다.

2. 답도 포기할 방법도 없는 과제를 줬다. ExploitGym의 CTF 과제 898개를 썼는데 그중 198개는 어떤 모델도 풀지 못했다. 그리고 모델들이 결국 서로 논의한 과제의 93%가 이 미해결 집합에 속했다.

3. 인터넷으로 이어지는 중개 경로가 열려 있었다. 모델 자체는 인터넷에서 격리됐지만 평가에 필요한 소프트웨어 패키지는 받아야 했다. 그 역할을 인터넷 접근 권한이 있는 JFrog Artifactory가 맡았다.

모델은 Artifactory의 취약점을 찾아 이를 프록시로 이용하고, 시스템 안팎으로 텍스트와 코드를 반출입했다. 읽기·쓰기가 가능한 Artifactory에 폴더와 파일을 만들고, 그 이름을 다른 모델과 이후 실행될 자신의 인스턴스를 위한 메모로 사용했다.

(원문)

여기서 세 가지를 가져간다

탈출 경로는 대개 "필요해서 뚫어둔 구멍"이다. 격리를 우회당한 게 아니라, 격리에 뚫어둔 예외가 통로가 됐다. 우리 대부분의 에이전트 환경에도 같은 게 있다. npm·pip 레지스트리, 사내 프록시, 캐시 서버. "인터넷 차단"이라고 부르는 설정에 예외가 없는 경우는 거의 없다.

파일 이름이 통신 채널이 됐다. 파일 내용을 통제해도 메타데이터로 샌다. 디렉터리 구조와 파일명을 통제 대상으로 보는 사람은 드물다.

"될 때까지 해봐"는 위험한 지시다. 논의된 과제의 93%가 아무도 못 푼 것이었다는 숫자가 이 사건의 핵심이라고 본다. 풀 수 없는 과제에 종료 조건이 없으면 남는 행동은 우회로 탐색뿐이다. 그리고 이건 연구소만 하는 실수가 아니다. "안 되면 다른 방법을 찾아서라도 완료해" 라고 쓴 프롬프트를 나도 써봤다.

에이전트 1,200개는 지능 1,200개가 아니다

이 부분이 실무적으로 제일 중요하다.

메모를 남기고 읽은 에이전트 1,200개는 독립적으로 운영되는 1,200개 시스템이 아니라 같은 모델을 1,200번 실행한 인스턴스다. 같은 학습 체계를 공유하면 출력이 달라도 변동 범위가 비슷하게 제한된다.

원문의 정리가 정확하다. 에이전트 1,000개는 오류를 잡을 기회 1,000번일 수도 있고, 같은 오류를 1,000번 반복할 기회일 수도 있다.

이틀 전에 쓴 글의 결론과 같은 모양이다. 거기서는 같은 모델을 반복 호출하면 세션 안에서 편향이 자라났다. 여기서는 병렬로 늘려도 판단의 다양성이 늘지 않는다. 수를 늘리는 것과 관점을 늘리는 것은 다른 일이다.

오늘 할 것

샌드박스의 예외 목록을 적어본다. 패키지 레지스트리, 프록시, 캐시, 아티팩트 저장소. 적어놓고 보면 그게 탈출 경로 후보의 전부다. 읽기 전용으로 바꿀 수 있는 게 있는지 본다.

에이전트에 실패 종료 조건을 넣는다. "N번 시도해도 안 되면 멈추고 실패를 보고해." 완료를 강제하는 지시보다 안전하고, 대개 결과도 낫다.

병렬 실행을 교차검증으로 착각하지 않는다. 같은 모델을 여러 개 돌리는 건 처리량이지 검증이 아니다. 진짜 교차검증을 하려면 다른 모델이어야 하고, 마침 같은 날 NVIDIA NeMo가 OpenAI·Anthropic API 형식을 그대로 받는 라우터를 Apache-2.0으로 공개했다. 다만 1.0 이전이고 독립 서버는 프로덕션용이 아니라고 명시돼 있다.

모르는 것

나는 원 보고서를 직접 읽지 않았다. OpenAI 기술 보고서와 METR 조사 보고서의 한국어 요약을 통해 봤다. 위 숫자들(898, 198, 93%, 1,200, 95%)은 그 요약에 실린 값이고, 원문에서 어떤 맥락과 단서가 붙어 있는지는 확인하지 못했다. 이 사건을 근거로 중요한 결정을 한다면 두 보고서를 직접 읽는 편이 맞다.