지식 그래프(Knowledge Graph, KG)를 활용해 과학 문헌 내 복잡한 관계를 학습하는 새로운 강화학습 프레를임워크인 SPARK(Self-Play with Asymmetric Reward from Knowledge Graphs)가 공개되었다. 이 프레임워크는 멀티모달(Multi-modal) 요소가 포함된 과학 문헌에서 관계적 추론(Relational Reasoning) 문제를 자동으로 생성하고, 구조화된 사실을 바탕으로 검증 가능한 보상을 계산한다.

지식 그래프 기반의 자기 대전 학습 구조

SPARK는 수학이나 코딩처럼 명확한 규칙이 존재하는 영역에서 효과적인 자기 대전(Self-Play) 강화학습 방식을 과학 문헌 영역으로 확장한다. 기존의 방식은 텍스트 내에 명시되지 않은 문서 간, 요소 간의 관계를 파악하기 어려워 자동 문제 생성과 보상 신호의 신뢰성을 확보하는 데 한계가 있었다.

SPARK는 여러 문서로 구성된 과학 문헌으로부터 통합된 지식 그래프(KG)를 자동으로 구축한다. 이 지식 그래프 내의 멀티모멀 노드(Multimodal Nodes)를 잇는 경로(Path)는 관계적 추론 문제를 생성하는 근거가 되며, 그래프에 저장된 구조화된 사실은 보상 계산의 기초가 된다. 학습 과정에서는 소형 시각-언어 모델(sVLM)이 정보 비대칭(Information Asymmetry) 상태에서 제안자(Proposer)와 해결사(Solver) 역할을 번갈아 수행한다.

기존 방식 대비 추론 성능 우위 확인

SPARK의 성능은 공개 벤치마크와 자체 구축한 문서 간 멀티홉 질의응답(Cross-document Multi-hop QA) 데이터셋을 통해 검증되었다. 실험 결과, SPARK는 단순 텍스트 코퍼스(Flat-corpus) 기반의 자기 대전 베이스라인 모델들을 일관되게 상회하는 성능을 기록했다. 특히 추론해야 하는 단계(Hop count)가 늘어날수록 기존 방식과의 성능 격차가 더욱 벌어지는 양상을 보였다.

이러한 결과는 지식 그래프의 구조적 근거(KG-structure grounding)가 비구조화된 코퍼스 기반 학습이 제공하지 못하는 관계적 멀티홉 추론 능력을 강화하는 데 핵심적인 역할을 한다는 점을 시사한다.

향후 연구 방향

SPARK 프레임워크는 향후 온라인 적응(Online Adaptation)을 향한 자연스러운 확장이 가능하다. 연구진은 이 구조를 발전시켜 실시간으로 변화하는 정보에 대응하는 학습 모델을 개발할 계획이다.