99%는 구글이 구글 벤치마크에서 낸 숫자다 — ARTEMIS 읽기

구글이 Android 자동화 도구 ARTEMIS를 Apache-2.0으로 공개했다. 홍보 문구의 중심은 이 숫자다.

"Artemis achieved a 99%+ completion rate on AndroidWorld, Google Research's benchmark spanning 20+ apps and 100+ multi-step tasks."

— google/artemis README

한 문장 안에 구글이 두 번 나온다. 구글이 만든 도구가 구글 리서치의 벤치마크에서 낸 점수다. 조작이라는 말이 아니라, 이 숫자로는 "내 앱에서 되는가"에 답할 수 없다는 뜻이다. 도입을 판단할 지점은 다른 데 있다.

확인된 것

• 동작 방식: 화면 감지 → 추론 → 실행의 반응형 루프. 접근성 계층과 OCR, 시각 모델을 함께 써서 요소를 찾는다. 긴 작업을 위해 히스토리를 압축·요약한다.
• 두 가지 모드가 있고 차이가 크다.

| | Flash | Pro | |---|---|---| | 단계당 시간 | 3~5초 | 15~40초 | | 구조 | 단일 모델 루프 | 멀티에이전트 그래프 | | 계획·검증 | 없음 | 계획 수립, 체크포인트 검증, 최종 보고서 |

• Flash가 포기하는 것을 README가 직접 나열한다. "No task plan or notes, no pre-execution safety net, no checkpoint verification or final report, and no ADB shell."
• 모델은 Gemini·Claude·GPT-4o·Qwen-VL을 붙일 수 있다. 실행에는 USB 디버깅을 켠 실기기나 에뮬레이터가 필요하고, ADB·scrcpy·FFmpeg는 자동 설치된다.
• MCP로 Claude Code·Cursor·Codex·VS Code 계열 등에 붙는다.
• 라이선스 Apache-2.0. 서드파티 코드(Minitap, Inc.) 포함을 명시.
• 로드맵: iOS, Android Studio 플러그인, 온디바이스 경량 VLM, 실시간 음성.

내 판단

1. 벤치마크 대신 볼 것은 Flash와 Pro의 격차다.

단계당 3~5초와 15~40초. 100스텝짜리 워크플로우면 대략 5~8분과 25~67분이다. 5~10배 차이인데, 그 차이가 그냥 "빠름/느림"이 아니다.

빠른 쪽이 안전망을 뺀 쪽이다. Flash에는 실행 전 검증도, 체크포인트 확인도, 최종 보고서도 없다. 그러니까 이건 성능 선택이 아니라 "지금 탐색 중인가, 아니면 뭔가를 막아야 하는가" 의 선택이다. 로컬에서 시나리오를 훑을 때는 Flash가 맞고, CI에 붙여서 릴리스를 막는 용도라면 Pro여야 한다. 속도를 이유로 Flash를 게이트에 쓰면 검증 없는 게이트가 된다.

README가 이 교환을 표로 숨기지 않고 "없는 것" 목록으로 적어둔 건 신뢰할 근거다.

2. 99%+는 "내 앱에서 된다"를 뜻하지 않는다.

AndroidWorld는 "20+ apps and 100+ multi-step tasks"다. 널리 알려진 앱들이고, 자동화가 돌아가기 좋게 구성됐을 가능성이 높다. 내 앱에 커스텀 뷰가 많거나, 접근성 라벨이 비어 있거나, 화면 전환이 애니메이션에 묶여 있으면 사정이 다르다.

ARTEMIS가 접근성 계층을 먼저 쓴다는 설계에서 역으로 읽을 게 있다. 접근성 라벨을 제대로 붙여둔 앱일수록 이 도구가 잘 붙는다. 도입 전에 할 일은 벤치마크를 믿는 게 아니라 내 앱의 접근성 트리를 한 번 덤프해보는 것이다. 라벨이 비어 있으면 OCR과 시각 모델로 떨어지고, 그 경로는 느리고 덜 안정적이다. 이건 내 추론이지 README에 있는 말이 아니다.

3. "무료 도구"의 비용은 모델 호출 쪽에 있다.

Apache-2.0에 로컬 실행이지만 모델 API 인증이 필요하다. 온디바이스 VLM은 아직 로드맵이다. 즉 Pro 모드로 100스텝을 돌리면 스텝마다 프런티어 모델 호출이 붙는다.

테스트를 CI에서 매 PR마다 돌릴 생각이라면 이 곱셈을 먼저 해봐야 한다. 도구가 공짜인 것과 운영이 공짜인 것은 다르다.

모르는 것

• 단계당·작업당 모델 호출 비용 수치가 README에 없다. 위 3번의 규모를 내가 추정하지 못한다.
• 지원 모델의 구체적 버전이 명시돼 있지 않다.
• 99%+ 수치를 구글 외부에서 재현한 사례를 확인하지 못했다.
• 직접 돌려보지 않았다. 위 내용은 저장소 문서 기준이다.