La revolución multimodal en dispositivos de Google DeepMind

Google DeepMind ha lanzado oficialmente la familia de modelos multimodales de código abierto Gemma 4 a través de Hugging Face. Publicados bajo licencia Apache 2.0, los modelos admiten entradas de imagen, texto y audio. El modelo denso de 31B obtuvo una puntuación estimada en LMArena de 1.452 (solo texto), mientras que el modelo de Mezcla de Expertos (MoE) de 26B alcanzó 1.441 con solo 4.000 millones de parámetros activos. El lanzamiento es compatible con los principales motores de inferencia: transformers, llama.cpp, MLX, WebGPU y Rust.

Por qué importa Gemma 4

Gemma 4 no es una simple mejora de rendimiento. Su relevancia radica en llevar inteligencia multimodal de nivel frontera al ecosistema de código abierto, incluyendo la implementación en dispositivos locales.

Mientras que los modelos multimodales de código abierto anteriores se limitaban en su mayoría a entradas de imagen y texto, las variantes más pequeñas de Gemma 4 (E2B, E4B) también admiten audio, lo que permite el procesamiento de voz en tiempo real junto con la generación de texto en dispositivos de borde.

La compatibilidad con proporciones de aspecto variables y cinco niveles de presupuesto de tokens de imagen (70, 140, 280, 560, 1.120) permite a los usuarios ajustar el equilibrio entre velocidad, memoria y calidad, haciendo que la misma familia de modelos sirva desde aplicaciones móviles hasta implementaciones en servidores.

Hugging Face señaló que durante las pruebas previas al lanzamiento, el rendimiento de base era tan bueno que resultaba difícil encontrar ejemplos de fine-tuning significativos.

¿Qué cambió respecto a versiones anteriores?

Tres innovaciones arquitectónicas clave

Embeddings por capa (PLE, Per-Layer Embeddings): En los transformers estándar, cada token recibe un único vector de embedding en la entrada. PLE añade una segunda tabla de embeddings que inyecta una pequeña señal residual en cada capa del decodificador, permitiendo representaciones más ricas dependientes del contexto.

Caché KV compartida (Shared KV Cache): Las últimas N capas reutilizan los estados clave-valor de las capas anteriores, eliminando proyecciones KV redundantes y reduciendo tanto el uso de memoria como la latencia de inferencia.

Configuración dual de RoPE: RoPE estándar para las capas de ventana deslizante y RoPE podado para las capas de atención global, lo que permite un procesamiento eficiente de contextos largos. Los modelos densos pequeños usan ventanas de 512 tokens; los más grandes, de 1.024.

El recorrido de Gemma: la estrategia de código abierto de Google

La entrada seria de Google en el código abierto de IA es relativamente reciente. Tras el explosivo crecimiento de ChatGPT en 2023, las series LLaMA de Meta y los lanzamientos abiertos de Mistral demostraron que los modelos de código abierto podían rivalizar con los propietarios.

Google DeepMind se unió a la carrera del código abierto a principios de 2024 con Gemma 1. Gemma 2 mejoró la eficiencia de parámetros para el mercado de modelos pequeños; Gemma 3 añadió multimodalidad imagen-texto; Gemma 3n se centró en la optimización en dispositivo e introdujo por primera vez PLE y soporte de audio.

Gemma 4 integra todos estos avances en una familia cohesionada, demostrando la tesis de que los modelos de código abierto pueden alcanzar rendimiento de frontera.

¿Qué viene ahora? [Análisis experto]

El lanzamiento de Gemma 4 probablemente reconfigurará el panorama competitivo de la IA de código abierto.

La IA en dispositivo se vuelve mainstream: Con variantes pequeñas capaces de procesar audio localmente, es probable que proliferen rápidamente aplicaciones de IA centradas en la privacidad que reduzcan la dependencia de APIs en la nube.

Nuevo estándar para el despliegue empresarial rentable: La puntuación LMArena de 1.441 del modelo MoE de 26B con solo 4B parámetros activos indica costes de inferencia drásticamente menores, lo que probablemente acelerará la adopción de Gemma 4 entre startups.

Se intensifica la competencia por el estándar multimodal: Es probable que el soporte de proporciones variables y el control de tokens de imagen en cinco niveles presionen a los competidores a adoptar funciones similares en las próximas actualizaciones de GPT-4o, Claude y otros modelos líderes.

Implicaciones estratégicas del Apache 2.0: La licencia comercial completa permite la integración directa en productos, fortaleciendo los vínculos del ecosistema Google Cloud y ampliando la influencia de Google en la comunidad de IA de código abierto.

El ritmo al que la IA de código abierto ha ido alcanzando a los modelos de frontera se ha acelerado notablemente desde 2024. Gemma 4 es probable que se convierta en un hito significativo en esa trayectoria.