핵심 기술 발표

2026년 5월 12일, arXiv에 게재된 논문 'Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production'은 문서 이해 시스템의 실용적 운영을 위한 마이크로서비스 아키텍처를 제안했다. 연구팀은 Yao Fehlis, Benjamin Bengfort, Zhangzhang Si 등 11명의 연구자로 구성되며, OCR(Optical Character Recognition), 분류 모델, 대규모 언어 모델(LLM) 기반 구조화 필드 추출 파이프라인을 통합한 시스템을 구현했다. 이 아키텍처는 시간당 수천 장의 다페이지 문서를 처리하는 실시간 생산 환경에서 검증되었으며, GPU 기반 추론과 CPU 기반 오케스트레이션을 분리한 설계를 채택했다.

시스템 설계의 핵심 원칙

문서 AI의 실제 운영에서 모델 성능만으로는 충분하지 않다는 점을 강조한다. 연구팀은 추론 지연의 주요 원인을 LLM 파싱이 아니라 OCR 처리에 두었다. 특히, 다중 페이지 문서의 처리에서 OCR이 엔드투엔드 지연의 주요 요소로 작용하며, 이는 모델의 복잡성보다 입력 데이터의 전처리 부담에 기인한다. 또한, 시스템의 동시 처리 한계는 작업자 수가 아니라 공유 GPU 추론 자원의 용량에 의해 결정됨을 확인했다. 이를 바탕으로 연구팀은 비동기 처리를 통한 IO 집약 작업의 효율화, GPU-기반 추론과 CPU-기반 오케스트레이션의 분리, 수평 확장(horizontal scaling) 전략을 도입했다. 이는 자원의 비효율적 사용을 방지하고, 고부하 환경에서도 안정적인 처리 성능을 유지하는 데 기여했다.

기술적 비교 및 성능 특성

이전 문서 처리 시스템과 비교해, 이 아키텍처는 추론 지연의 주요 원인을 정확히 식별하고, 이를 기반으로 자원 배분 전략을 재설계했다. 특히, GPU 자원의 공유 용량이 시스템의 동시 처리 한계를 결정한다는 점은 기존의 작업자 수 기반 확장 전략과는 다른 인사이트를 제공한다. 이는 대규모 문서 처리 시스템 설계 시, 추론 자원의 병목 지점을 정확히 파악해야 함을 시사한다.

향후 운영 및 적용 방향

이 아키텍처는 이미 실시간 생산 환경에서 수천 장의 다페이지 문서를 시간당 처리하는 성능을 입증했다. 연구팀은 이 구조를 기반으로 문서 이해 시스템의 설계 패턴을 공유하며, 실제 운영 환경에서 모델을 효과적으로 구현하는 데 기여할 계획이다. 특히, OCR과 LLM 파이프라인의 분리 설계는 다양한 산업 분야의 문서 처리 요구에 적용 가능하다.