핵심 발견: 지속 업데이트 메모리의 신뢰성 저하

연구팀은 LLM(대규모 언어 모델)이 과거 경험을 지속적으로 업데이트하는 '통합 기억(consolidated memory)' 방식이 오히려 기억의 정확성을 저하시킨다는 점을 실험적으로 입증했다. 이 방식은 에이전트가 새로운 상호작용을 통해 기존의 경험을 텍스트 기반 메모리로 재구성하고 지속적으로 수정하는 방식으로, 기존의 파라미터 업데이트 없이 자기 개선을 추구하는 기술적 접근이다. 그러나 실험 결과, 이 방식으로 생성된 기억은 초기에는 성능이 향상되지만, 시간이 지남에 따라 정확도가 하락하며, 일부 경우에서는 메모리 없이도 작동하는 기준 수준보다 낮은 성능을 보였다.

왜 이 문제는 중요한가

이 연구는 현재 AI 에이전트의 핵심 설계 원리 중 하나인 '지속적 기억 업데이트'의 근본적 한계를 지적한다. 기존의 메모리 시스템은 경험의 원시적 흐름(에피소드 기억)을 그대로 보존하는 방식이었지만, 최근의 추세는 이를 텍스트 기반의 추상화된 기억으로 변환하는 방향으로 전환되고 있다. 이 연구는 이러한 추상화 과정이 오히려 정보의 왜곡을 초래할 수 있음을 보여주며, 특히 복잡한 문제 해결 능력이 요구되는 AGI(초지능) 기반의 에이전트 설계에 중대한 도전을 제기한다. 실험에서 GPT-5.4는 기존에 해결했던 ARC-AGI 문제의 54%를 다시 틀렸으며, 이는 메모리의 신뢰성보다는 왜곡된 기억의 영향이 더 크다는 것을 의미한다. 이는 메모리의 질이 에이전트의 전체 성능에 직접적인 영향을 미친다는 점에서 산업적 의미가 크다.

기존 방식과의 비교: 메모리의 성능 흐름

연구팀은 ARC-AGI Stream 환경에서 실험을 수행하며, 메모리의 업데이트 전략이 동일한 경험 데이터를 기반으로 하더라도 결과가 크게 달라짐을 확인했다. 특히, 메모리의 업데이트 주기를 변경하는 것만으로도 기억의 질이 변하는 현상이 나타났으며, 이는 메모리의 신뢰성에 대한 외부 조건의 영향이 크다는 것을 시사한다. 실험에서는 메모리의 업데이트를 완전히 비활성화한 에피소드 중심의 관리 방식이, 지속 업데이트 방식보다 높은 정확도를 유지하는 결과를 얻었다. 이는 메모리의 통합이 필수적인 것이 아니라, 특정 조건 하에서만 유의미할 수 있음을 시사한다.

향후 방향: 메모리의 설계 원칙 재정립

연구팀은 메모리의 설계 원칙을 재정립해야 한다고 주장한다. 기존의 방식은 경험의 원시적 흐름(에피소드)을 우선적으로 보존하고, 메모리의 통합을 명시적으로 제어하는 방식이 필요하다고 제안한다. 즉, 메모리의 업데이트를 모든 상호작용 후 자동으로 수행하는 것이 아니라, 특정 조건 하에서만 실행되도록 설계해야 한다. 이는 메모리의 신뢰성을 높이기 위한 핵심 전략으로, LLM이 자신이 의존하는 증거를 과도하게 덮어쓰지 않도록 하는 것이 핵심이다. 연구는 향후의 신뢰할 수 있는 에이전트 메모리 시스템이 LLM의 통합 능력과 증거의 보존 능력을 동시에 충족해야 한다고 결론지었다.