Una sola API para comparar texto, imágenes, audio y vídeo

La librería Python Sentence Transformers lanzó su actualización v5.4 el 9 de abril de 2026, incorporando oficialmente capacidades de embeddings y reranking multimodal. Con esta actualización, los desarrolladores pueden utilizar la misma API model.encode() para proyectar texto, imágenes, audio y vídeo en un espacio de embeddings compartido. Según una publicación en el Blog de Hugging Face, las nuevas funciones apuntan directamente a la recuperación de documentos visuales, la búsqueda semántica entre modalidades (cross-modal) y los pipelines de Generación Aumentada por Recuperación (RAG) multimodal.

¿Qué son los modelos multimodales?

Los modelos de embeddings tradicionales convierten texto en vectores de tamaño fijo. Los modelos de embeddings multimodales amplían este concepto proyectando entradas de distintas modalidades —texto, imágenes, audio y vídeo— en un único espacio de embeddings compartido. Esto permite usar una consulta de texto para buscar documentos de imagen, o recuperar clips de vídeo a partir de una descripción, todo con las mismas funciones de similitud coseno ya conocidas.

Lo mismo aplica a los modelos reranker (Cross Encoder). Antes limitados a pares texto-texto, ahora pueden puntuar la relevancia de pares mixtos imagen-texto o documentos que combinan texto e imágenes.

Instalación y requisitos de hardware

Las funciones multimodales requieren dependencias adicionales por modalidad:

pip install -U "sentence-transformers[image]"
pip install -U "sentence-transformers[audio]"
pip install -U "sentence-transformers[video]"
pip install -U "sentence-transformers[image,video,train]"

Los modelos basados en Modelos de Lenguaje Visual (VLM) como Qwen3-VL-2B requieren al menos 8 GB de VRAM para la variante de 2B parámetros, y aproximadamente 20 GB para las variantes de 8B. La inferencia en CPU es extremadamente lenta para estos modelos; se recomiendan modelos solo de texto o basados en CLIP para entornos sin GPU. Para quienes no dispongan de GPU local, se sugieren servicios de GPU en la nube como Google Colab.

¿Qué cambió respecto a versiones anteriores?

La carga de modelos sigue siendo igual. Con solo especificar el nombre del modelo, la librería detecta automáticamente las modalidades soportadas. La configuración avanzada como la resolución de imagen y la precisión del modelo se controla mediante Processor and Model kwargs.

Pipelines habilitados

v5.4 abre tres tipos principales de pipelines:

Búsqueda semántica cross-modal: Busca documentos de imagen y vídeo con consultas de texto, o viceversa, usando operaciones estándar de similitud coseno.

Pipelines RAG multimodal: Indexa documentos visuales como PDFs con imágenes, presentaciones y páginas web en una base de datos de embeddings, y recupera y reordena los resultados con consultas de texto.

Reranking de modalidades mixtas: Cuando la recuperación inicial devuelve una lista mixta de documentos de texto e imagen, el modelo reranker produce una puntuación de relevancia unificada.

[Análisis de expertos] Es probable que la adopción de RAG multimodal se acelere

Esta actualización reduce significativamente la barrera para construir infraestructura de búsqueda multimodal. Aunque el RAG multimodal ha despertado interés conceptual, su adopción en producción ha sido lenta debido a la complejidad de implementación y la necesidad de pipelines separados por modalidad.

Sentence Transformers ya ocupa una posición de estándar de facto en el ecosistema de embeddings en Python. Al mantener la misma interfaz API mientras se amplía a multimodal, es muy probable que los pipelines RAG de solo texto puedan incorporar búsqueda de imágenes con cambios mínimos de código.

Sin embargo, los requisitos de memoria GPU de los modelos basados en VLM —al menos 8 GB para Qwen3-VL-2B— pueden seguir siendo un obstáculo para los desarrolladores que experimentan localmente. A medida que surjan modelos de embeddings multimodales más ligeros, se espera que las tasas de adopción aumenten rápidamente. La publicación simultánea de Hugging Face de una guía de entrenamiento y ajuste fino para modelos multimodales sugiere una intención clara de fomentar un ecosistema más amplio de modelos multimodales personalizados.