대규모 언어 모델(LLM) 기반의 에이전트를 단순 텍스트 환경에서 복잡한 멀티모달(Multimodal) 환경으로 확장하는 과정에서 발생하는 인지적 한계를 극복하기 위한 새로운 프레임워크가 공개되었다. PRISM(Perception Reasoning Interleaved for Sequential Decision Making)은 시각 언어 모델(VLM)의 지각 능력과 LLM의 추론 능력을 동적 질의응답(DQA) 파이연으로 결합하여 순차적 의사결정 성능을 높이는 구조를 갖추고 있다.

지각과 추론의 결합: PRISM의 핵심 메커니즘

기존의 독립적인 시각 언어 모델(VLM)은 작업 수행에 필수적인 정보를 간과하는 '지각-추론-의사결정(perception-reasoning-decision)' 간극 문제를 안고 있다. VLM이 제공하는 단순한 이미지 묘사를 LLM이 수동적으로 수용하는 기존 방식과 달리, PRISM은 상호작용 중심의 폐쇄 루프(Closed-loop) 구조를 채택했다.

이 프레임워크 내에서 LLM은 VLM의 초기 설명을 비판적으로 검토한다. 이후 목표 지향적인 질문을 통해 VLM에 다시 질문을 던지는 과정을 거치며, 최종적으로 압축된 형태의 정교한 이미지 설명을 합성해낸다. 이러한 동적 질의응동(DQA) 파이프라인은 에이전트가 장면을 보다 정밀하고 작업 중심적으로 이해할 수 있도록 돕는다.

벤치마크를 통한 성능 검증

PRISM의 성능은 ALFWorld 및 Room-to-Room(R2R) 벤치마크를 통해 입증되었다. 실험 결과, PRISM은 기존의 최첨단(SOTA) 이미지 기반 모델들을 유의미하게 상회하는 성능을 기록했다. 특히 주목할 점은 이 과정이 완전히 자동화되어 있어, 사람이 직접 질문이나 답변을 설계할 필요가 없다는 것이다.

PRISM은 인터랙티브한 목표 지향적 지각 파이프라인을 통해 체계적이고 실질적인 성능 향상을 이끌어냈다.

에이전트 기술의 진화 방향

텍스트 중심의 에이전트 기술은 이제 물리적 환경과 유사한 복잡한 멀티모달 환경으로 확장되는 단계에 있다. PRISM의 등장은 에이전트가 단순히 눈에 보이는 것을 설명하는 수준을 넘어, 의사결정에 필요한 핵심 정보를 능동적으로 찾아내는 능력을 갖추는 데 중요한 이정표가 된다.

해당 연구는 2026년 5월 6일 arXiv를 통해 공개되었다.