하나의 I로 텍스트·이미지·오디오·영상을 비교한다

멀티모달 임베딩이란 무엇인가

기존 임베딩 모델(embedding model)은 텍스트를 고정 크기 벡터(vector)로 변환하는 데 특화되어 있었다. 멀티모달 임베딩 모델은 이 개념을 확장해 텍스트, 이미지, 오디오, 영상 등 서로 다른 모달리티(modality)의 입력을 단일 임베딩 공간에 투영한다. 결과적으로 텍스트 쿼리로 이미지 문서를 검색하거나, 설명 문장으로 영상 클립을 찾는 작업이 기존 유사도(similarity) 함수 그대로 가능해진다.

리랭커(reranker, Cross Encoder) 모델도 마찬가지다. 기존에는 텍스트 쌍(pair)의 관련성 점수만 계산할 수 있었다면, 이번 업데이트로 이미지-텍스트 혼합 쌍, 텍스트-텍스트+이미지 복합 문서 쌍에 대해서도 관련성 점수를 산출할 수 있다.

설치 및 하드웨어 요구 사항

멀티모달 기능은 모달리티별 추가 의존성 설치가 필요하다.

pip install -U "sentence-transformers[image]"
pip install -U "sentence-transformers[audio]"
pip install -U "sentence-transformers[video]"
pip install -U "sentence-transformers[image,video,train]"

비전-언어 모델(VLM) 기반 모델인 Qwen3-VL-2B 계열을 사용할 경우, 2B 파라미터 모델은 최소 8GB 이상의 VRAM이 필요하며 8B 변형 모델은 약 20GB의 GPU 메모리를 요구한다. CPU 환경에서는 추론 속도가 매우 느리기 때문에, GPU가 없는 환경에서는 구글 코랩(Google Colab) 등 클라우드 GPU 서비스 이용이 권장된다. 텍스트 전용 또는 CLIP 계열 모델은 CPU 환경에서도 비교적 원활하게 동작한다.

이전 버전과 달라진 점

모델 로딩 방식은 이전과 동일하다. SentenceTransformer("Qwen/Qwen3-VL-Embedding-2B")와 같이 모델명만 지정하면 라이브러리가 지원 모달리티를 자동으로 감지한다. 이미지 해상도나 모델 정밀도(precision) 등 세부 설정은 Processor and Model kwargs 옵션으로 제어할 수 있다.

활용 가능한 파이프라인

v5.4가 직접적으로 열어주는 파이프라인은 세 가지로 정리된다.

크로스모달 시맨틱 서치(cross-modal semantic search): 텍스트 쿼리로 이미지·영상 문서를 검색하거나 그 반대 방향으로도 적용 가능하다. 기존 코사인 유사도(cosine similarity) 연산을 그대로 활용할 수 있다.

멀티모달 RAG(Retrieval-Augmented Generation) 파이프라인: 이미지가 포함된 PDF, 슬라이드, 웹페이지 등 시각적 문서를 임베딩 데이터베이스에 색인하고 텍스트 질의로 관련 문서를 검색·재순위화(reranking)하는 구조를 구현할 수 있다.

혼합 모달리티 리랭킹(mixed-modality reranking): 초기 검색(retrieval) 결과로 텍스트와 이미지가 섞인 문서 목록이 반환되더라도 리랭커 모델이 전체 목록에 대해 통합 관련성 점수를 계산한다.

멀티모달 RAG의 실용화 시점이 앞당겨진다

이번 업데이트는 멀티모달 검색 인프라 구축의 진입 장벽을 크게 낮춘다는 점에서 의미가 있다. 그간 멀티모달 RAG는 개념적으로는 주목받았지만 구현 복잡도와 모달리티별 파이프라인 분리 문제로 실제 프로덕션 적용이 더뎠다.

센텐스 트랜스포머스는 이미 파이썬 임베딩 생태계에서 사실상 표준(de facto standard) 위치를 차지하고 있다.

다만 Qwen3-VL-2B 같은 VLM 기반 모델의 GPU 메모리 요구량(최소 8GB)은 로컬 환경에서 실험하려는 개발자에게 여전히 허들이 될 수 있다. 향후 더 경량화된 멀티모달 임베딩 모델이 등장할수록 이 기능의 채택률은 빠르게 높아질 가능성이 있다. 허깅페이스가 별도 블로그 포스트로 멀티모달 모델의 훈련·파인튜닝 방법도 함께 공개한 점은, 단순 추론을 넘어 커스텀 멀티모달 모델 생태계 형성을 적극적으로 지원하겠다는 의도로 해석된다.