Juanxi Tian과 7명의 공동 저자는 'Auto-Rubric as Reward(ARR)'라는 프레임워크를 통해, 기존의 단순화된 보상 모델이 가진 한계를 극복할 수 있는 방법을 제시했다.

보상 모델의 구조적 한계와 ARR의 등장

기존의 인간 피드백 기반 강화학습(RLHF) 방식은 인간의 복잡하고 다차원적인 판단 구조를 단일 스칼라(Scalar) 값이나 쌍체 비교(Pairwise) 라벨로 축소하여 처리한다. 이러한 방식은 미묘한 선호도 차이를 불투동한 파라미터 대리물(Parametric Proxies)로 붕괴시켜, 보상 해킹(Reward Hacking)과 같은 취약성을 노출시킨다. 최근에는 명시적 기준을 사용하는 Rubrics-as-Reward(RaR) 방식이 시도되었으나, 신뢰성, 확장성, 데이터 효율성을 동시에 갖춘 기준을 생성하는 것은 여전히 해결되지 않은 과제로 남아 있었다.

ARR 프레임워크는 보상 모델링을 암묵적인 가중치 최적화에서 명시적인 기준 기반 분해(Criteria-based Decomposition)로 재정의한다. 이 방식은 쌍체 비교를 수행하기 전, 시각-언어 모델(VLM)이 내재화하고 있는 선호도 지식을 프롬프트별 루브릭(Rubric)으로 외재화한다. 이를 통해 전체적인 의도를 독립적으로 검증 가능한 품질 차원으로 변환한다.

평가 편향 억제 및 학습 안정화

이러한 암묵적 선호도 구조의 외재화는 위치 편향(Positional Bias)을 포함한 평가 편향을 실질적으로 억제한다. ARR은 최소한의 감독만으로도 제로샷(Zero-shot) 배포와 퓨샷(Few-shot) 조건화가 가능하다.

생성 학습 단계로 이 성과를 확장하기 위해, 연구진은 루브릭 정책 최적화(Rubric Policy Optimization, RPO)를 제안한다. RPO는 ARR의 구조화된 다차원 평가를 견고한 이진 보상(Binary Reward)으로 증류(Distill)한다. 이는 불투동한 스칼라 회귀(Scalar Regression)를 루브릭 조건부 선호도 결정으로 대체하여 정책 경사(Policy Gradients)를 안정화하는 역할을 한다.

성능 검증 결과

텍스트-이미지 생성(Text-to-image Generation) 및 이미지 편집(Image Editing) 벤치마크 테스트 결과, ARR-RPO는 기존의 쌍체 보상 모델(Pairwise Reward Models)과 VLM 판사(VLM Judges) 모델의 성능을 상회하는 결과를 나타냈다. 이는 암묵적 선호도 지식을 구조화된 루브릭으로 명시적으로 외재화하는 것이 더욱 신뢰할 수 있고 데이터 효율적인 멀티모달 정렬을 달성하는 방법임을 입증한다. 연구 결과는 멀티모달 정렬의 병목 현상이 지식의 부족이 아니라, 요소화된 인터페이스(Factorized Interface)의 부재에 있음을 시사한다.

연구 요약

본 연구는 멀티모달 모델의 정렬 성능을 높이기 위해 암묵적 지식을 구조화된 기준으로 변환하는 기술적 토대를 마련하였다.