에이전트가 몇 분짜리 요청을 처리하는 수준을 넘어 몇 시간 동안 혼자 일하려면 좋은 모델만으로는 부족합니다. Lance Martin은 장기 작업의 성패가 모델을 둘러싼 실행 구조에 달려 있다고 봅니다. 추론과 실행을 분리하고, 별도 검증 에이전트를 두며, 기억을 계속 고치고, 개인이 쓰는 도구를 조직이 함께 쓰는 공용 기반으로 넓혀야 합니다.
두뇌와 손을 분리하면 오래 일할 수 있다
Claude는 생각하는 두뇌입니다. 하네스는 실제 환경에서 움직이는 손입니다. 둘을 분리하면 모델이 실수하거나 작업이 멈춰도 실행 환경 전체를 잃지 않습니다. 에이전트는 격리된 원격 환경에서 파일을 만들고 도구를 쓰며 작업을 이어 갈 수 있습니다. 사용자는 에이전트를 자기 컴퓨터에 계속 연결해 둘 필요도 없습니다.
장기 실행에서 중요한 것은 한 번의 긴 응답이 아니라 상태를 보존한 채 여러 번 판단하고 행동할 수 있는 구조입니다. 관리형 에이전트는 실행 환경과 자격 증명, 작업 상태를 모델의 순간적인 문맥과 분리합니다. 모델은 필요한 때에 실행 환경을 살피고 다음 행동을 결정합니다. 두뇌가 잠시 멈춰도 손에 해당하는 환경은 그대로 남습니다. 사용자가 다른 모델로 바꿔도 마찬가지입니다.
문맥도 같은 원리로 다룹니다. 에이전트는 오래된 내용을 덮어쓰지 않고 작업 과정에서 얻은 정보를 이어 붙입니다. 핵심 문맥을 지키면서 기록을 쌓으면 에이전트는 긴 작업에서도 앞선 판단을 되짚어 새 정보와 연결하기 쉽습니다. 이처럼 문맥을 덮어쓰지 않고 기록을 쌓아야 긴 작업에서도 문맥을 잘 관리할 수 있습니다.
작업 에이전트와 검증 에이전트는 서로 다른 문맥을 써야 한다
한 문맥에서 작업과 채점을 모두 맡기면 모델은 자기 판단을 합리화하기 쉽습니다. 이미 만든 답에 끌려가거나 실제로 확인하지 않은 내용을 확인했다고 꾸밀 수도 있습니다. Martin은 작업 에이전트와 검증 에이전트에게 서로 다른 문맥을 주라고 권합니다. 검증 에이전트는 목표나 채점 기준만 보고 결과를 비판적으로 살핍니다.
작업 에이전트가 결과를 만들면 검증 에이전트가 이를 검사합니다. 두 에이전트는 이 과정을 반복합니다. 검증이 실패하면 작업 에이전트는 검증 결과를 받아 다시 시도합니다. 미리 정하고 측정할 수 있는 완료 조건을 충족했을 때만 반복을 끝냅니다. Claude Code의 goal과 관리형 에이전트의 outcome은 이름만 다를 뿐 같은 역할을 합니다.
Martin은 OpenAI의 Parameter Golf 과제로 이 방식을 시험했습니다. 작은 모델을 H100 GPU 8개로 10분 안에 학습시키고 손실을 낮추는 기계 학습 연구 과제입니다. 그는 Opus 4.7과 최전선 모델이 실험 조건을 지키면서 실험을 정확히 20번 반복하도록 outcome을 설정했습니다. 모델은 사람이 매번 방향을 바로잡아 주기를 기다리지 않았습니다. 검증 에이전트는 환경에 신호를 남겼습니다. 모델은 그 신호를 읽고 스스로 실험을 고쳤습니다.
큰 모델이 독립적인 검증 절차를 반복해서 거치면 사람은 매번 개입할 필요가 없습니다. 모델은 환경의 검증 결과를 따라 스스로 개선합니다. 이 구조는 오래 걸리는 비동기 작업에 폭넓게 쓸 수 있습니다. 다만 검증 에이전트가 작업 에이전트의 문맥을 그대로 물려받으면 독립성이 사라집니다. 별도 문맥에는 무엇을 만들었는지가 아니라 무엇을 충족해야 하는지를 담아야 합니다.
기억은 쓰는 일보다 다시 정리하는 일이 중요하다
사람은 하루 동안 겪은 일을 해마에 빠르게 기록합니다. 잠자는 동안에는 중요한 일부를 장기 기억으로 옮깁니다. Claude의 기억도 이와 비슷하게 나눌 수 있습니다. Claude는 작업 도중 파일 시스템의 기억 디렉터리에 정보를 바로 적어 단기 기록을 남깁니다. 여러 작업이 끝나면 기록과 실행 이력을 함께 검토해 기억을 고칩니다. 이 과정이 꿈꾸기에 해당합니다.
Sonnet 3.5가 Pokémon 게임을 한 실험에서 모델은 작업 중에 전술 메모만 남겼습니다. 최근 모델은 같은 도구를 쓰면서도 다음 작업에 다시 쓸 수 있는 전략을 적었고 Pokémon에서도 더 멀리 나아갔습니다. SQL 데이터베이스에 관해 연달아 묻는 Continual Learning Bench에서도 새 세대 모델일수록 작업 사이에 기억을 더 잘 남겼습니다.
차이는 사실을 얼마나 많이 적느냐가 아니었습니다. 더 큰 모델은 한 번의 경험에서 다음 작업에도 적용할 수 있는 원리를 뽑았습니다. 특정 답을 저장하는 데서 그치지 않고 앞으로 비슷한 문제를 어떻게 풀지 기록했습니다. 좋은 기억은 지난 작업을 그대로 복사한 내용이 아니라 다음 판단을 바꾸는 핵심 원리입니다.
하지만 작업 중에 쓴 기억은 당장의 문제에는 맞아도 장기적으로 틀릴 수 있습니다. Pokémon 실험에서 Claude는 위치를 잘못 기억했습니다. 그 결과 Claude로 실험을 다섯 번 반복했지만 매번 같은 함정문에 빠졌습니다. 기억을 쓰지 않은 기준 모델은 거의 앞으로 나아가지 못했습니다. 기존 기억을 그대로 쓴 에이전트는 오히려 계속 뒤로 갔습니다. 반면 꿈꾸기 과정을 거친 에이전트는 이전 실행 이력과 기억 저장소를 함께 살펴 오류를 고친 뒤 다음 단계로 나아갔습니다.
작업이 끝난 뒤 기억을 정리하면 잘못된 내용이 굳는 것을 막을 수 있습니다. 여러 번의 실행을 함께 보면 한 작업 안에서는 보이지 않던 오류와 지나치게 좁은 규칙을 찾을 수 있습니다. 다만 이 과정이 늘 도움이 되는지는 따로 평가해야 합니다. 자신의 작업 환경에서 기억 정리에 들인 추가 연산 비용을 상쇄할 만큼 성능이 좋아지는지 재야 합니다.
개인이 쓰던 에이전트를 조직의 공용 하네스로 넓힌다
기존 에이전트는 대개 한 사람이 자기 컴퓨터에서 쓰는 도구였습니다. 개인의 파일과 설정, 문맥에 맞춘 일인용 하네스입니다. 발표에서 소개한 Claude Tag의 핵심은 Slack에서 부를 수 있다는 점보다 조직 구성원이 함께 쓰는 다인용 하네스라는 데 있습니다.
조직 단위 하네스는 특정 사용자의 계정에 기대지 않고 자체 신원과 자격 증명을 씁니다. 개인이 자기 컴퓨터에 둔 문맥이 아니라 조직 전체의 문맥에 접근합니다. 에이전트는 실험 전에 다른 사람의 작업을 확인하고, 이미 나온 결과를 다시 찾는 수고를 줄이며, 내부 자료도 조사할 수 있습니다. 새 구성원도 입사 첫날부터 조직이 잘 다듬어 둔 도구와 연결 기능을 쓸 수 있습니다. 개인 환경을 몇 주나 몇 달 동안 따로 맞추는 데 드는 시간이 줄어듭니다.
공용 하네스는 개인이 따로 다듬던 에이전트 환경을 조직이 함께 쓰는 기반 시설로 바꿉니다. 여러 사람이 같은 하네스를 동시에 쓸 수 있습니다. 에이전트는 요청에 답하는 데서 그치지 않고 조직의 문맥을 계속 살펴봅니다. 사용자는 알아야 할 변화가 생기면 에이전트가 먼저 알리도록 설정할 수도 있습니다. 그러면 요청에만 반응하던 개인 도구가 조직의 변화를 먼저 알리는 공용 도구가 됩니다.
에이전트가 열두 시간 일하려면 여러 조건이 함께 맞아야 한다
질의응답에서 Martin은 최전선 모델이 METR 같은 장기 작업 평가에서 12시간 넘게 걸리는 과제까지 해내기 시작한 현상을 다뤘습니다. 작은 모델과의 차이가 모델 성능 하나에서 비롯됐다고 보지는 않았습니다. 실제 제품에서 에이전트에게 긴 작업을 안전하게 맡기려면 기억, 실행 구조, 기반 시설, 보안이 함께 좋아져야 합니다.
에이전트는 사용자의 업무 방식과 선호를 기억해야 합니다. 막혔을 때 언제 사람에게 물어볼지도 알아야 합니다. 외부 자료를 오래 다루는 만큼 프롬프트 주입 공격에도 버텨야 합니다. 두뇌와 손을 분리하면 실수와 보안 사고가 실행 환경 전체로 번지는 일을 줄일 수 있습니다. Martin은 최전선 연구소가 이 모든 영역에 함께 투자했기 때문에 장기 작업용 제품에서 격차가 커졌을 수 있다고 설명합니다.
기억을 어디에 저장할지는 부차적인 문제입니다. 파일 시스템도 데이터베이스도 쓸 수 있습니다. 개발자는 모델이 간단한 도구로 기억을 쓰고 읽고 고칠 수 있도록 범용 저장소를 마련해야 합니다. 사람이 기억의 종류와 칸을 미리 촘촘하게 정하면 오히려 성능이 떨어질 수 있습니다. 세대가 바뀔수록 모델은 자기 문맥과 기억 구조를 더 잘 관리하기 때문입니다.
사람이 기억 형식을 미리 정하기보다 모델이 스스로 구조를 만들 수 있는 단순한 바탕을 마련해야 합니다. 한 번의 거대한 추론만으로 장기 작업을 잘하는 에이전트를 만들 수 없습니다. 상태를 보존하는 실행 환경, 독립적인 검증, 스스로 고치는 기억, 조직의 문맥과 보안이 한 구조 안에서 맞물릴 때 비로소 에이전트에게 오래 걸리는 작업을 믿고 맡길 수 있습니다.
https://youtu.be/9QebvrrY3KY
Deep Dive
2026-07-26
기억은 저장소가 아니라 승격 과정이다
에이전트가 다음 세션까지 내용을 보존한다고 해서 곧바로 학습하는 것은 아닙니다. 작업 중 기록한 기억에는 일회성 메모, 낡은 판단, 서로 모순되는 내용이 함께 쌓입니다. 여러 세션의 기록을 다시 살펴 중복을 없애고 잘못된 내용을 고치며, 다음 판단에도 쓸 수 있는 원리만 남겨야 비로소 기억이 학습으로 이어집니다.
프로젝트 안의 기억도 쓰임에 따라 나눠야 합니다. 용어는 GLOSSARY.md, 지속적인 도메인 규칙과 관계 및 상태 변화는 docs/domain/, 되돌리기 어려운 결정의 이유는 결정 기록, 기능별 결정은 스펙, 진행 상태는 작업 파일에 둡니다. 구현 뒤 테스트를 자꾸 빠뜨리는 것처럼 에이전트의 반복되는 실수는 이 파일들에 섞지 않습니다. 세션 기록에 남긴 뒤 여러 기록을 비교하는 회고에서 반복 패턴으로 확인하고, 사람이 검토한 다음에만 AGENTS.md 같은 에이전트 지침으로 올립니다.
이 구분이 없으면 용어집이 규칙 저장소로 부풀고, 결정 기록에는 일상적인 사실이 섞이며, 한 번의 실수가 영구 지침으로 굳습니다. 좋은 기억 구조는 무엇이든 오래 보존하는 구조가 아닙니다. 내용의 성격과 수명에 맞는 곳으로 보내고, 검증과 회고를 통과한 내용만 더 오래가는 층으로 올리는 구조입니다.
Key Insight
장기 기억의 핵심은 기록량이 아니라 승격 규칙입니다. 작업 기록에서 시작해 검증된 도메인 지식과 반복해서 확인된 행동 원리만 알맞은 장기 기억 층으로 올려야 합니다.