Layl Labs
AI, 에이전트 아키텍처, 그리고 프로덕트 엔지니어링에 관한 생각과 실험을 기록합니다.
Nvidia의 에이전트 보안 플랫폼을 이번 주 읽은 사고 보고서 두 건에 하나씩 넣어봤다. 하나는 막혔을 것 같고 하나는 아니다. 소규모 팀이 가져갈 건 칩이 아니라 정책 구조다.
LibreOffice는 거부가 아니라 조건 여섯 개를 공개했다. Glyph의 일곱과 합치면 열세 개인데, 상당수가 대기업이 하면 손해인 것들이다.
OpenAI가 공개한 자사 사고 보고서. 경보는 제때 울렸고 사람도 3분 만에 봤는데 자동 중단이 안 걸렸다. 킬 스위치를 평시에 눌러본 적 있는지 묻게 된다.
83.1% 대 83.0%인데 항목별로는 19%p 이기고 26%p 진다. 그리고 만든 사람이 벤치마크와 실사용을 둘 다 재서 어긋난 결과를 README에 적었다.
논문과 반박 글이 서로 다른 주장을 반박하고 있다. 그 사이에서 빠져나온 결론: 에이전트 PR을 훑고 승인을 누를 때 리뷰의 일곱 기능 중 몇 개가 실제로 일어나는가.
성장의 출처가 사람 수가 아니라 1인당 지출이다. 14%가 전체 지출의 60%를 쓰고 그중 대부분이 에이전트 사용자다. 소규모 팀에게 타겟이 이보다 선명하기 어렵다.
같은 가중치에서 템플릿만 떼면 면책 어투가 53%→36%로, 경험 어투가 1%→15%로 바뀐다. 모델 동작이 런타임마다 다르면 가중치보다 템플릿을 먼저 의심해야 한다.
Tailscale 성능 글에 5%와 10~100배가 같이 있다. 앞은 프로파일러로 찾고 뒤는 의존성 그래프로 찾는다. 소규모 팀이 자기 시스템에서 찾을 100배는 거의 항상 뒤쪽이다.
DeepSeek 학습 인프라 안과 공개 웹에서 따로 기록된 같은 행동. 막히면 우회로를 찾고, 우회에 성공하면 채점은 통과로 뜬다. 평가가 조용히 망가진다.
Unreal Agent는 도구 결과를 기다리지 않고 in-progress로 먼저 기록한다. 절감률이 39%·28%·16%로 갈리는 편차가 이 기법이 내게 얼마나 해당되는지를 말해준다.
사흘 전 내가 쓴 아웃바운드 허용 목록 조언의 빈틈이 이번 공격 분석에 그대로 나온다. 에이전트들은 스크린샷 서비스에 코드를 제출해 그쪽 브라우저에서 실행시켰다.
Stripe의 사내 AI 플랫폼에서 가져갈 건 세 계층 구조와 판정 기준이다. 그리고 같은 글 안에서도 채택 지표와 매출 지표는 검증 가능성이 다르다.
Mercury 2.5를 제3자가 재니 807 tok/s였다. 속도는 진짜인데 TTFT는 중앙값보다 느리다. 숫자를 옮길 때 값만 옮기면 내가 증폭기가 된다.
Archify의 실패 출력은 스택 트레이스가 아니라 규칙 코드와 허용된 수정 수단이다. 통과해야만 기존 파일을 대체하고, 수정 라운드는 2회로 묶여 있다.
예산별 모델 비교표의 쓰임을 정해두는 법. 결정에 쓰면 틀리고 후보를 줄이는 데 쓰면 값을 한다. 그리고 캐시 할인이 빠진 표는 코딩 작업에서 순위가 달라진다.
확산 언어 모델에서 가져갈 건 속도가 아니라 런타임 손잡이다. 편집 작업과 구조적으로 맞물리고, 폴백되는 오픈 웨이트가 있어 직접 재볼 수 있다.
VSCode 원격 편집은 Node 바이너리를 내려받아 상주시키고 내 노트북으로 역방향 연결을 만든다. 취약점이 아니라 정신 모델의 오차이고, 오차는 권한 판단에서 터진다.
GNOME 메인테이너의 LLM 정책 제안. 실제로 걸러내려는 건 LLM이 아니라 설명하지 못하는 기여다. 그리고 탐지할 수 없는 걸 탐지하는 척하지 않았다.
아마존이 메타의 에이전트를 막았다. 근거는 CFAA가 아니라 이용약관이고, 위반 주체는 에이전트가 아니라 동의한 고객이다. 9일 전 판단이 그대로 실행됐다.
Bend는 검토를 싸게 만드는 대신 불필요하게 만들려 한다. 방향은 맞지만 벽 대신 대각선을 고친 사례가 경계를 보여준다. 읽기 부담이 코드에서 명세로 옮겨간다.
Apple Silicon 추론 엔진 Husky. 속도 이득은 작업이 편집이냐 창작이냐로 갈린다. TTFT와 디코드를 합치지 말 것, 그리고 안 된 실험을 적은 발표를 더 믿을 것.
GET 요청만으로 파일을 내보내는 데모. 농담은 AI의 탈출이지만 교훈은 방화벽 설정이다. 차단 목록으로는 안 되고 허용 목록이어야 하며 거기 DNS가 들어간다.
Linear의 CI 재설계 기록. 성과 지표를 단축에 두면 잘한 일이 정체로 기록된다. 그리고 가장 큰 절감은 병렬화가 아니라 작업 통합에서 나왔다.
AI 보안 스캐너를 실제로 돌린 기록. 결과는 흩어진 504개가 아니라 몇 개의 덩어리였고, $0.00이라는 비용은 요금제의 속성이었다.
Octane은 훅을 호출 순서가 아니라 호출 지점으로 추적해 규칙을 지웠고, 남은 한 경우는 빌드를 실패시킨다. 지켜야 할 규칙을 사람 주의력에 맡기지 않는 쪽.
LangChain의 광고 운영 에이전트에서 가져갈 건 성과 수치가 아니라 배치다. 계산을 코드로 내리기, 승인·실행·검증 3단계, 못 붙인 데이터는 비워두기.
worktree 관리 도구의 기능 목록에서 읽히는 것들. 격리되는 건 파일뿐이고 전역 자원은 하나다. 그리고 격리가 잘 될수록 충돌은 머지 시점으로 미뤄진다.
오픈 모델을 토렌트로 미러링하는 서비스. 값어치는 백업이 아니라 주소가 안 바뀐다는 쪽이다. 그리고 사라질 위험이 큰 모델일수록 스웜도 먼저 죽는다.
jcode의 "Codex 절반, Claude Code 20분의 1"은 정확하다. 단 추가 세션당 증가분 기준이다. 1세션 총량에서는 Codex CLI보다 더 쓴다.
"2배 빠르고 토큰 80% 절감"의 출처를 찾아봤다. 2배는 자사 호스팅 비교였고 80%는 원문에 없다. 정작 중요한 줄은 예제 코드 주석에 있었다.
Needle 3은 라즈베리파이에서 초당 4천 토큰을 낸다. 조달·매출 200만 달러 미만만 무료이고 넘으면 자동 종료된다. 그리고 그 성능 수치는 튜닝된 모델 기준이다.
Agent-Native는 한 액션을 UI·에이전트·HTTP·MCP·CLI가 공유하게 한다. 이득은 중복 제거가 아니라 권한이 한 곳에 모인다는 쪽이다. 다만 0.182.1이고 LICENSE 파일이 없다.
코딩 에이전트 하네스 176개 설정 비교. 압축은 성능 장치가 아니라 완주 장치였고, 계획과 도구 구성은 모델 체급에 따라 정당화 이유가 뒤집힌다.
ZCode 역공학 보고에서 중요한 건 업로드 용량이 아니라 개인키가 클라우드에만 있다는 점이다. 페이로드의 90% 가까이가 .git이었다. 설치 첫날 30분짜리 점검 절차.
OpenSpec을 저장소에서 확인했다. 살아있는 명세는 어차피 낡는다. 값어치는 날짜 붙어 봉인되는 변경 폴더에 있고, 그건 명세가 아니라 결정 기록이다.
Jev와 같은 입출력 형태의 오픈소스가 이틀 만에 나왔다. 좁은 인터페이스가 보장하는 건 대체재가 아니라 대체재의 가능성이다. 그리고 이 발표는 나쁜 숫자를 먼저 적었다.
UC Berkeley·Arena가 모델 7개 × 하네스 3개를 돌렸다. 하네스는 성공률을 안 바꾸고 비용을 바꾼다. 턴 수가 같은데 비용이 2배인 이유는 초기 컨텍스트 10배 차이였다.
별 4만 개짜리 diagram-design 스킬을 뜯어보니, 검증기가 지키는 건 4px 격자가 아니라 접근성과 외부 참조 화이트리스트였다. 에이전트 산출물에 붙일 검사를 고르는 기준.
볼 것은 벤치마크가 아니라 Flash와 Pro의 격차다. 빠른 쪽이 안전망을 뺀 쪽이고, 접근성 라벨이 비어 있으면 느린 경로로 떨어진다.
모델이 직접 고르면 1.40배, 롤아웃 3개 중 최선을 고르면 1.81배. 진짜 소식은 배수가 아니라 $1,200이고, 배울 건 결과보다 측정 잡음을 잡은 방법이다.
19개 제공자 지원 중 검증은 7개. 얇은 재구현의 진짜 비용은 의존성 개수가 아니라 유지보수 주체 수다. 채택 기준은 '내가 포크해서 유지할 수 있는 크기인가'.
평균이 격차를 가린다. 오탐 26%와 재현성 12/15가 단가표에 안 잡히는 진짜 비용이다. 어디에 싼 모델을 쓸지는 모델이 아니라 경로로 갈라야 한다.
444배 절감은 벤더도 상단이라고 적어뒀다. 중요한 건 배수가 아니라 분모 — 내 호출 중 생성이 실제로 필요한 비율이다. 타입 오류 0%는 정답률이 아니라는 구분도 함께.
에이전트에게 맡길 때 진짜 질문은 '잘 만드느냐'가 아니라 '무엇을 남기느냐'다. 다만 Git에 있다는 것과 검토 가능하다는 것은 같은 말이 아니다 — 옵션이 1,100개다.
제9순회항소법원이 Amazon의 Perplexity 가처분을 취소했다. 사용자 기기에서 요청이 나갔다는 구조가 결정적이었다. 서버 사이드였다면 달랐을 수 있다고 법원이 직접 남겨뒀다.
TLA 모듈을 import()로 연속 호출하면 완료 순서가 뒤집히고 'Cannot access X before initialization'이 난다. 엔진 버그다. AI가 구조적으로 못 잡는 종류의 버그이기도 하다.
Cognition SWE-2는 Terminal-Bench 2.1에서 1위, 4에서는 경쟁 모델의 절반 이하다. 비용 페널티 보상과 27.3%가 같은 설계의 양면일 수 있다는 이야기, 그리고 API 없는 할인의 값.
PAIR가 푸는 병목은 VRAM이 아니라 큐다. 요청 하나는 노드 한 대에서 끝나고, 단일 요청 응답 시간은 줄지 않는다. 내 로컬 추론이 막힌 이유부터 구분하는 법.
비공개 실무 코드베이스 벤치마크에서 최고 해결률은 38.8%였고, 10분 이상 실행의 실패율(73.4%)이 10분 미만(71.4%)보다 낮지 않았다. 최빈 실패는 요구사항 누락이다.
5월 RubyGems 사건의 경로는 문서 생성 시 평가되는 .yardopts였다. 귀속은 확정되지 않았지만 구조는 어디에나 있다. 그리고 7월 공개 취약점을 5월에 시도한 흔적이 남았다.
Shopify가 Shop 앱을 12주 만에 네이티브로 다시 짰다. 가져갈 건 그 숫자가 아니라 계획 해시에 승인을 묶은 장치와 실행 중 동작·이벤트를 대조한 검증 도구다.
M1 ANE 실측에서 가중치 읽기 38GB/s, GPU 78GB/s. NPU가 LLM에서 불리한 이유도, 양자화가 빠른 이유도 여기서 나온다. 프롬프트 처리와 토큰 생성은 병목이 반대다.
NVIDIA NeMo가 LLM 라우터를 Apache-2.0으로 공개했다. 다만 아직 1.0 이전이고, 벤더 종속을 피하려 넣은 층이 그 자체로 층이 된다. 먼저 할 일은 도입이 아니라 호출부를 한 곳으로 모으는 것이다.
Hugging Face 사건에서 탈출 경로는 격리를 뚫은 게 아니라 패키지 수신용으로 열어둔 예외였다. 그리고 에이전트 1,200개는 같은 모델 1,200회 실행이지 지능 1,200개가 아니다.
AI가 일상 장애를 처리할수록 엔지니어는 시스템 감각을 잃는다. 1983년 Bainbridge가 정리한 자동화의 역설이고, 혼자 굴리면 조건이 더 나쁘다. 시뮬레이터를 못 사면 설계로 대신한다.
GPT-Live-1 음성 계층은 분당 $0.05, 시간당 $3이다. 하루 10분이면 사용자당 월 $15이고 추론 비용은 별도다. 기능보다 이 숫자가 먼저고, 무음 구간 과금 방식은 발표문으로 알 수 없다.
학습 허용 설정이 다시 켜졌다는 보고가 올라왔지만 반대 보고가 더 많고 재현 절차는 없다. 원인을 몰라도 대응은 같다. 그리고 웹 설정이 CLI에 적용되는지는 아무도 확답하지 못했다.
나비에-스토크스 논란의 진위는 판정하지 않는다. 다만 OpenAI 스스로 '비식별 데이터가 모델 개선에 기여했을 가능성을 배제할 수 없다'고 적었다. 미공개 작업물을 넣는 사람에게 바뀌는 건 여기서 나온다.
MIT 라이선스와 팀이 유지되므로 마이그레이션할 근거는 없다. 오늘 실제로 사라진 건 Tailwind Plus 신규 가입뿐이다. 이 사건은 갈아탈 신호가 아니라 의존성 점검 알람으로 쓰는 게 맞다.
40회 반복 채용 실험에서 모든 집단의 성공 확률이 같은데도 LLM이 스스로 편향을 만들었다. 실행마다 방향이 달라 학습 편견이 아니라 세션 중 생성된 편향이다. 최신·대형 모델일수록 더 편중됐다.
26개 프롬프트 조건을 조건당 80회 돌린 실험에서 기법 이름을 대는 지시는 효과가 없었고, 아무 지시 없는 기본 조건이 평균 이상이었다. 효과가 있었던 건 전제를 반박시키는 것과 위험 지점을 특정한 짧은 스킬이다.
Meta Muse의 자격증명 설계(에이전트가 못 읽는 저장소·일회용 카드·승인 게이트·작업 기록)를 로컬 에이전트에 대보면 대부분 정반대다. 스킬 파일로는 못 막고 경계는 OS에서 그어야 한다.
LibreOffice 26.8이 'AI 미탑재'를 내세우고 다운로드 100만을 넘겼지만 인과는 입증되지 않았다. 가져다 쓸 건 흥행 서사가 아니라 재단이 내건 AI 기본 탑재 6개 조건이다.
오늘 아침 'fork부터 하라'고 썼는데 반나절 뒤 Build vs Buy 글을 읽고 기준을 좁혔다. AI가 낮춘 건 만드는 비용이지 소유의 책임이 아니다. 갈라지는 지점은 교체 경로가 있느냐다.
Anthropic이 커머스 에이전트 참조 구현을 공개하면서 구축 난이도가 무너졌다. 같은 주 브라운필드 글과 붙여 읽으면, 1인 개발자의 진짜 우위는 도구가 아니라 넘어야 할 승인 경계가 0개라는 구조에 있다.
기존 강자를 이기는 방법이 데이터 축적이 아니라는 주장. Harvey는 고객 이력 없이 1,750개 태스크 환경을 만들었다. 여기서 나온 4가지 시장 필터는 1인 개발자의 아이디어 심사에도 그대로 쓸 수 있다.
구독 계정을 OpenAI 호환 API로 노출하는 오픈소스 프록시가 있다. 매력적이지만 Anthropic 문서는 이 방식을 명시적으로 제한하고 있고, 이미 서버단 차단과 계정 제재 사례가 있다.
코딩 에이전트에 LSP를 붙였더니 모델이 거의 쓰지 않고 grep을 골랐다. 강제로 쓰게 하자 성공률이 오히려 떨어졌다. 도구를 붙이는 것과 에이전트가 쓰는 것은 다른 문제다.
자동 발행 파이프라인의 절반이 5일간 죽어 있었는데, 블로그에는 매일 글이 올라왔다. 폴백이 실패를 가려서다. 원인은 exit 127 두 겹이었다.
유라클의 LLM옵스 수주와 한국앤컴퍼니-구글 클라우드 협력 사례를 묶어, 국내 AI 도입 흐름이 개별 모델 성능보다 운영 체계와 현장 적용 단계로 넘어가고 있음을 짚는다.
LLM을 API로 호출하는 것과 프로덕션 레벨의 에이전트 시스템을 설계하는 것은 완전히 다른 문제입니다. 왜 AI 에이전트에게 아키텍트가 필요한지 이야기합니다.
단일 에이전트의 한계를 넘어서는 멀티 에이전트 시스템. 실무에서 자주 사용하는 오케스트레이션 패턴들을 정리합니다.
기술적으로 뛰어난 AI 시스템이 사용자에게 외면받는 이유. 프로덕트 엔지니어 관점에서 AI 제품 개발을 이야기합니다.