NVIDIA presenta 'Nemotron OCR v2', modelo OCR multilingüe

NVIDIA ha lanzado Nemotron OCR v2, un modelo de reconocimiento óptico de caracteres (OCR) multilingüe basado en datos sintéticos. Entrenado con 12 millones de imágenes sintéticas en seis idiomas, el modelo alcanza 34,7 páginas por segundo en una sola GPU A100. Las puntuaciones de Distancia de Edición Normalizada (NED) para idiomas no ingleses mejoraron de 0,56–0,92 a 0,035–0,069. El conjunto de datos está disponible en nvidia/OCR-Synthetic-Multilingual-v1 y el modelo en nvidia/nemotron-ocr-v2 en Hugging Face.

Por qué importa: los datos sintéticos rompen el cuello de botella del OCR

La principal barrera en el desarrollo de modelos OCR siempre ha sido los datos. El entrenamiento de alta calidad requiere pares imagen-texto anotados con cajas delimitadoras precisas a nivel de palabra, línea y párrafo, junto con información del orden de lectura. Hacerlo manualmente a escala de millones de imágenes no es económicamente ni prácticamente viable.

Los conjuntos de datos de referencia existentes como ICDAR y Total-Text ofrecen etiquetas limpias pero tienen escala limitada, sesgados hacia el inglés y el chino. Los PDFs extraídos de la web proporcionan volumen, pero sus capas de texto suelen ser incompletas o contaminadas con resultados OCR de baja calidad.

Los datos sintéticos resuelven ambas limitaciones simultáneamente. Al renderizar texto en imágenes de forma programática, cada caja delimitadora, transcripción y relación de orden de lectura se conoce con exactitud. El desafío clave es el realismo: se requiere suficiente diversidad en fuentes, colores, fondos, diseños y aumentaciones para que el modelo generalice a documentos del mundo real.

Qué cambió: v1 vs. v2

El paso de v1 a v2 consistió fundamentalmente en resolver un problema de datos, no de arquitectura. El equipo de NVIDIA intentó primero ampliar el conjunto de caracteres a 14.244 sin datos de entrenamiento correspondientes: las mejoras fueron marginales. El modelo podía teóricamente producir los caracteres correctos, pero nunca había aprendido cómo se veían.

Hilo histórico: OCR y datos sintéticos

El uso de datos sintéticos en Document AI ganó impulso a mediados de la década de 2010. SynthText de DeepMind (2016) fue pionero en la síntesis de texto en escenas para tareas de detección. SynthDoG de NAVER (2022) introdujo un pipeline de síntesis de imágenes de documentos multilingüe que atrajo gran atención, aunque lograr precisión a nivel real solo con datos sintéticos seguía siendo difícil.

El lanzamiento de NVIDIA demuestra que cuando la diversidad y la aleatorización del motor de renderizado son suficientemente altas, el entrenamiento solo con datos sintéticos puede producir OCR multilingüe viable en la práctica. La explosión de los Modelos de Lenguaje de Gran Escala (LLM) ha acelerado esta tendencia.

[Análisis de expertos] Implicaciones y perspectivas

Destaca que NVIDIA publicó no solo el modelo sino el pipeline en sí. El equipo afirma que el pipeline de datos sintéticos está diseñado para extenderse a cualquier idioma para el que existan fuentes y texto fuente, lo que reduce significativamente las barreras para investigadores que trabajan con idiomas de menor dotación de recursos.

En cuanto a velocidad, 34,7 páginas por segundo en una sola A100 es viable para el procesamiento masivo de documentos empresariales. La arquitectura de backbone compartido —donde los modelos de detección, reconocimiento y relacional reutilizan características— permite este rendimiento eliminando el cómputo redundante.

Persisten limitaciones: la escritura a mano, documentos históricos muy degradados y terminología de dominio especializado representan distribuciones difíciles de cubrir adecuadamente con datos sintéticos. La adopción de Nemotron OCR v2 en procesamiento de documentos empresariales, pipelines de preprocesamiento RAG y construcción de archivos digitales multilingües parece prometedora.