쉬운 장애를 전부 넘기면 어려운 것만 남는다

결론부터. 에이전트에게 쉬운 장애를 전부 넘기면, 언젠가 당신에게 남는 건 에이전트가 못 고친 것뿐이다. 그리고 그때 당신은 예전보다 연습이 덜 된 상태다.

1983년에 나온 진단

AI 보조 인시던트 대응 도구가 경보를 조사하고, 가설을 세우고, 텔레메트리를 조회하고, 최근 배포와 장애 신호를 연결하고, 수정까지 구현한다. 평균 복구 시간은 줄어든다.

문제는 일상적인 인시던트가 비교적 안전하게 시스템을 체득하는 기회이기도 했다는 것이다.

이름도 오래전에 붙었다. 인간공학 연구자 Lisanne Bainbridge가 1983년 「The Ironies of Automation」에서 정리한 자동화의 역설이다.

자동화는 운영자가 일상 업무를 연습할 기회를 줄인다. 새롭고 비정상적인 상황에 대한 책임은 계속 사람에게 남는다. 따라서 운영자는 자동화 이전보다 더 숙련돼야 하며 더 많은 훈련을 받아야 한다.

(원문)

원문이 든 항공 사례가 구체적이다. 현대 터빈 엔진의 비행 중 정지는 10만 시간당 1회 미만이라 상업 조종사가 평생 시뮬레이터 밖에서 한 번도 안 겪을 수 있다. TransAsia 235에서는 이륙 직후 오른쪽 엔진 프로펠러가 자동 페더링됐고, 항공기는 왼쪽 엔진만으로 날 수 있게 설계돼 있었지만 승무원이 문제를 잘못 식별했다. 첫 경고 후 117초 만에 실속해 추락했다. 그래서 FAA는 기장에게 6개월마다 반복 교육이나 숙련도 검사를 요구한다.

이해관계 표시: 이 글의 필자는 장애 관리 제품을 파는 회사(Rootly) 소속이고, 본문에서 자사가 만든 장애 시뮬레이터를 소개한다. 처방이 자기 제품 쪽을 향한다는 점을 감안하고 읽어야 한다. 다만 Bainbridge의 진단과 항공 사례 자체는 회사와 무관하게 검증 가능하다.

1인 개발자에게는 더 나쁘다

이 글은 SRE 팀을 상정하고 쓰였다. 혼자 굴리는 쪽이 조건이 나쁘다.

팀은 시스템 감각을 잃어도 여러 명 중 누군가는 남아 있다. 혼자면 아는 사람이 0명이 된다. 게다가 원문의 처방은 전부 조직 전제다. 시뮬레이터를 사고, 테이블톱 훈련을 돌리고, 6개월마다 숙련도 검사를 한다. 1인 개발자는 그걸 못 산다.

그렇다고 "그러니 에이전트를 쓰지 마라"는 결론은 틀렸다. 새벽 3시에 대신 일어나 주는 걸 포기할 이유가 없다.

살 수 없다면 설계로 대신한다

넘기는 범위를 의도적으로 자른다. 전부 자동 수정하게 두지 않는다. "진단과 원인 후보 제시는 에이전트, 실제 수정은 사람"처럼 경계를 정한다. 이건 성능을 포기하는 게 아니라 연습 기회를 예산으로 잡는 것이다.

에이전트가 고친 것을 사후에 직접 재현한다. 원문의 표현이 정확하다. Serena Williams의 경기를 보며 일부는 배울 수 있지만 그게 테니스 연습은 아니다. 에이전트의 진단 로그를 읽는 것과 같은 장애를 내 손으로 따라가 보는 것은 다른 활동이다. 매번 할 필요는 없고, 새로운 유형이 나왔을 때만 하면 된다.

일부러 깨뜨려 본다. 카오스 엔지니어링이라고 하면 거창한데, 1인 개발자 버전은 작다. 스테이징에서 DB 커넥션을 끊고 내 알림이 실제로 오는지 본다. 크론을 하나 죽여놓고 며칠 뒤 내가 눈치채는지 본다. 감시가 살아 있는지 확인하는 일과 내 감각이 살아 있는지 확인하는 일은 같은 작업으로 묶인다.

진짜 위험은 지표가 좋아 보인다는 것

평균 복구 시간은 개선된다. 대시보드는 좋아진다. 쌓이는 건 원문이 이해 부채(comprehension debt) 라고 부른 것 — 시스템의 실제 동작과 내 이해 사이의 격차다. 기술 부채와 달리 이건 백로그에 안 올라간다. 티켓이 없다.

그리고 이 부채는 평소에 비용을 청구하지 않는다. 에이전트가 실패하는 날 한 번에 청구한다.

원문의 마지막 문장이 이 글에서 가장 중요한 부분이다.

자동화가 성공적으로 작동할수록, 자동화가 실패하는 순간에는 인간이 오히려 덜 준비된 상태일 수 있다.

모르는 것: 1인 개발자 규모에서 어느 정도의 의도적 연습이 충분한지 나는 모른다. 항공업계에는 6개월이라는 숫자가 있지만 그건 사고 데이터가 쌓여서 나온 값이고, 여기엔 그런 데이터가 없다. 위의 세 가지는 원칙이지 검증된 주기가 아니다.