핵심 기술 도입

2026년 5월 12일, Nishad Singhi 등 연구진이 발표한 논문 'Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents'는 인공지능(AI) 기반의 신체적 에이전트(embodied agents)의 행동 결정 정확도를 획기적으로 향상시키는 새로운 프레임워크를 제안했다. 연구팀은 다중 모달 대규모 언어 모델(Multimodal Large Language Models, MLLM) 기반의 에이전트가 복잡한 현실 세계 임무를 수행하는 데 있어 외부 분포(out-of-distribution) 상황에서 취약함을 지적하며, 이를 해결하기 위해 검증 기반 행동 선택(Verifier-Guided Action Selection, VeGAS) 기술을 개발했다. VeGAS는 추론 과정 중 단일 행동 결정이 아닌 후보 행동의 집합을 샘플링하고, 생성형 검증기(generative verifier)를 활용해 가장 신뢰할 수 있는 행동을 선별하는 방식으로 작동한다. 이는 기존의 정책(policy)을 수정하지 않고도 성능을 개선할 수 있는 특징을 지닌다.

기술의 핵심 가치

VeGAS의 핵심은 행동 선택의 신뢰도를 높이는 검증 절차의 도입이다. 기존의 체인오브Thought(Chain-of-Thought, CoT) 기반 MLLM 에이전트는 단일 추론 경로에 의존해 행동을 결정하므로, 오류가 발생할 경우 수정이 어렵고, 외부 분포 상황에서의 일반화 능력이 떨어진다. VeGAS는 이 문제를 해결하기 위해 테스트 시간(test-time)에 후보 행동의 다양성을 확보하고, 검증기의 평가를 통해 최적의 행동을 선택함으로써 신뢰성과 내성적 안정성을 높였다. 이는 복잡한 환경에서의 지능적 행동 수행 능력이 크게 향상되었음을 의미한다.

기술의 발전과 비교

이전의 MLLM 기반 에이전트는 추론의 정확도를 높이기 위해 단순히 모델의 크기 확대 또는 데이터 증강에 집중해왔다. 그러나 이러한 접근은 외부 분포 상황에서의 취약성을 해결하지 못했다. VeGAS의 핵심 차별점은 검증기의 훈련 방식에 있다. 연구팀은 오프더숄드(off-the-shelf)의 MLLM을 그대로 검증기로 사용할 경우 성능 향상이 없음을 확인했고, 이를 해결하기 위해 LLM 기반의 데이터 합성 전략을 도입했다. 이 전략은 실패 사례의 다양성을 자동으로 생성해 훈련 중에 검증기가 다양한 오류 패턴을 경험하도록 했다. 이는 기존의 검증기 훈련 방식과는 달리, 실패 사례의 풍부한 분포를 학습할 수 있는 새로운 접근법이다.

향후 방향

VeGAS는 2026년 CVPR(Computer Vision and Pattern Recognition)의 Findings 세션에서 발표되었으며, 관련 연구 결과는 arXiv의 cs.AI 분야에 공개되었다. 연구팀은 VeGAS의 프레임워크가 다른 MLLM 기반 에이전트의 행동 선택 시스템에 적용 가능한 일반화 가능성을 입증했다. 향후 연구는 검증기의 구조 최적화, 다양한 환경에서의 확장성 검증, 그리고 실제 로봇 시스템에의 적용 가능성을 탐색할 예정이다. 이 기술의 상용화 가능성은 복잡한 환경에서의 자율 로봇, 가정용 챗봇, 산업용 자동화 시스템 등에 직접적인 영향을 미칠 것으로 기대된다.