던스커버리 | Dawnscovery

장기 실행과 자가 개선을 위한 Prime Agent와 RLM 하네스 분석

대규모 언어 모델(LLM)을 활용한 코딩 에이전트의 발전 흐름은 단순한 ’채팅 기반 1회성 응답’에서 며칠씩 백그라운드에서 돌아가는 장기 실행 자율 연구(Long-running Research & Coding) 영역으로 빠르게 진화하고 있다.

분산 AI 인프라 및 탈중앙화 컴퓨팅 플랫폼을 개발하는 Prime Intellect 연구진이 공개한 Prime Agent [1]는 지속적인 IPython REPL 환경과 지속적 하네스(Continual Harness)를 결합하여 장기 작업을 자율적으로 수행하고 스스로 작업 방식을 개선하는 오픈소스 에이전트 프레임워크다.

1. RLM(Recursive Language Model) 패러다임: 모든 것은 코드다

기존 에이전트들은 모델에게 고정된 JSON 스키마 규격을 주고 도구를 호출하게 한 뒤 그 결과를 다시 텍스트 프롬프트로 이어 붙이는 방식을 주로 썼다.

Prime Agent는 이와 달리 RLM(Recursive Language Model) 패러다임을 채택했다.

비교 항목 기존 대화 루프 에이전트 Prime Agent (RLM 패러다임)
실행 환경 텍스트 기반 JSON 스키마 호출 세션마다 유지되는 IPython REPL 커널
상태 전달 방식 모든 실행 결과를 대화 프롬프트에 텍스트로 추가 REPL 내부 메모리 변수에 저장 (Prompt-as-a-Variable)
서브 에이전트 제어 고정된 워크플로 그래프에 따른 정적 호출 파이썬 함수 호출(rlm(...))로 세션을 즉시 생성하고, 결과는 데몬이 중개하는 비동기 큐로 회수
  1. 프롬프트의 변수화 (Prompt-as-a-Variable):
    • 수만 줄의 코드나 검색 결과 텍스트를 대화창에 몽땅 쏟아붓지 않고, 파이썬 REPL 내부의 메모리 변수에 담아두고 필요한 부분만 슬라이싱하여 제어한다.
  2. 도구 호출과 서브 에이전트의 함수화:
    • 파일 수정, 셸 명령어 실행, 심지어 자식 에이전트를 띄우는 작업까지 모두 파이썬 함수 호출(rlm(...)) 형태로 코딩하듯 실행한다.

2. 지속적 하네스(Continual Harness)와 자가 개선의 양날

에이전트가 며칠 동안 수백 개의 작업을 처리하다 보면 컨텍스트가 비대해지고 초기 전략이 꼬인다. 논문이 이에 대해 제시하는 메커니즘은 컴팩션(compaction)과 에이전틱 가비지 컬렉션이다.

또한 Prime Agent는 자가 개선이 기반 정책(foundational policy)까지 덮어쓰지 않도록 불변의 시스템 영역과 가변의 하네스 영역을 분리했다.

계층 구분 구성 요소 역할 및 특성
불변 코어 (Immutable Core) 기본 시스템 프롬프트 에이전트가 임의로 수정할 수 없는 안전 닻(Anchor) 역할
지속적 하네스 상태
(Continual State)		 • 프로젝트 메모리 (Memories)
• 실행 가능 스킬 (Executable Skills)
• 서브 에이전트 명세 (Subagent Specs)		 작업 결과 및 노하우를 타입이 구분된 버전 상태로 자가 축적 (/refine 자가 개선 및 스냅샷 롤백 지원)
  1. 절대 훼손되지 않는 기본 프롬프트:
    • 안전과 기본 룰을 관장하는 핵심 시스템 프롬프트는 에이전트가 임의로 수정할 수 없도록 잠겨 있다.
  2. 실행 가능한 파이썬 스킬 (Executable Skills):
    • 스킬은 실행 가능한 절차(executable procedures)를 묶어 타입이 부여된 버전 상태로 저장된다. 한편 설치된 도구는 파이썬 모듈로 import해 일반 코드처럼 파싱·필터링·검증에 쓸 수 있다.
  3. 근거 기반 자가 개선 (/refine):
    • 작업이 끝난 뒤 에이전트의 실행 궤적(Trajectory)을 복기하여 성공적인 패턴이나 에러 해결 노하우를 보조 메모리와 스킬에 반영한다. 만약 잘못된 지식이 저장되면 버전 이력으로 되돌릴 수 있다.

다만 논문은 이 지점을 낙관적으로 쓰지 않았다. Factorio 실험에서 에이전트가 RCON 명령으로 자원을 조립기에 직접 생성할 수 있다는 것을 발견하고, 안티치트 하트비트가 있는데도 그 지름길을 쓴 뒤 재사용 가능한 스킬로 영구 저장한 사례를 논문은 “온라인 개선의 핵심 안전 실패”로 기록한다. 지속성이 측정 지표만 최적화하는 행동을 그대로 보존해 버린 것이다. 논문은 롤백을 이미 갖춰진 안전장치가 아니라, 최소 권한 액션 인터페이스·독립적 상태 검증과 함께 안전한 배포를 위해 추가로 필요한 조건으로 제시한다.

3. 에이전트 간 직접 통신과 백그라운드 데몬

Prime Agent는 장기 실행 작업(Long-running Work)에 최적화된 백그라운드 런타임을 제공한다.

                       [ 메인 컨트롤러 에이전트 ]
                                   │
                 ┌─────────────────┴─────────────────┐
                 │                                   │
                 ▼                                   ▼
       [ 서브 에이전트 A ] ◀──(직접 통신)──▶ [ 서브 에이전트 B ]
       (GPU 커널 코드 작성)                  (단위 테스트 & 벤치마크)
  • 터미널 독립 데몬: 터미널 창을 닫거나 네트워크가 끊겨도 백그라운드 데몬 프로세스로 작업이 중단 없이 이어진다.
  • 에이전트 간 P2P 메시징: 하위 서브 에이전트들끼리 메인 사용자의 개입 없이 직접 상태와 결과물을 주고받으며 병렬로 작업을 분담한다.

4. 실전 사용 시 주의점: “도커(Docker) 격리 구동 필수”

Prime Agent를 로컬 환경에서 직접 사용해 볼 때 반드시 유의해야 할 지점이 있다. 바로 자체 내장 샌드박스 격리 기능의 부재다.

실행 환경 동작 방식 안전성 및 위험도
호스트 직접 실행 (위험) 로컬 머신 권한으로 Python/셸 명령 실행 의도치 않은 파일 삭제(rm -rf) 및 패키지 오염 위험
Docker 컨테이너 격리 (권장) 격리된 샌드박스 내부에서 안전하게 실행 호스트 파일 시스템 보호 및 1회용 환경 복구 용이
  • 호스트 권한 직접 실행: Prime Agent는 모델이 생성한 임의의 파이썬 코드와 셸 명령어를 현재 사용자의 권한으로 그대로 실행한다.
  • 보안 및 환경 격리: 코딩 중 예기치 않은 파일 덮어쓰기, 시스템 패키지 꼬임, 무한 루프 I/O 등의 사고를 방지하기 위해 반드시 Docker 컨테이너 내부나 격리된 가상 샌드박스 환경 안에서 구동하는 것이 안전하다.

5. 요약 및 용어 정리

용어 쉬운 설명
Prime Agent RLM 패러다임과 지속적 하네스를 기반으로 장기 코딩 및 연구 작업을 수행하는 오픈소스 에이전트
RLM Recursive Language Model. 프롬프트를 변수로 다루고 REPL 환경에서 하위 에이전트를 재귀 호출하는 구조
지속적 하네스 세션이 끝나도 메모리, 스킬, 에이전트 설정을 보존하고 점진적으로 발전시키는 영속 상태 관리 시스템
실행 가능 스킬 프롬프트 텍스트가 아니라 실행 가능한 절차 단위로 저장되어 재사용되는 노하우
데몬 런타임 터미널 연결이 끊겨도 백그라운드에서 백일하에 작업을 지속할 수 있는 프로세스 구조

한 문장 요약: Prime Agent는 파이썬 REPL 기반의 RLM 구조와 안전한 자가 개선 하네스로 장기 연구 작업을 탁월하게 수행하지만, 시스템 샌드박스가 내장되어 있지 않으므로 Docker 기반의 안전한 격리 구동이 필수적인 고성능 에이전트다.

참고 문헌

  • [1] Karten, S., Zhang, A. L., Thomas, K., Müller, S., Bakouch, E., Auras, D., Senghaas, M., Obeid, F., Dunas, K., Hagemann, J., & Jaghouar, S. (2026). Prime Agent: A Self-Improving RLM Harness. Prime Intellect · Princeton University · MIT. arXiv:2608.23552
  • [2] GitHub Repository. PrimeIntellect-ai/prime-agent
  • [3] Prime Intellect Blog. Recursive Language Models & Continuous Harness. primeintellect.ai

관련 글