All Flavors, Please#

Es mayo del 2024. El chiquitín de GPT-3.5-turbo ya había sido capturado por un modelo open source, y GPT-4-turbo tenía competencia real por parte de un modelo propietario. OpenAI sabía que era hora de desmarcarse nuevamente. Así que abrieron su cajón de los misterios y sacaron uno de sus proyectos más vistosos: GPT-4o, un modelo omni, entrenado directamente en texto, audio e imágenes. De ahí el nombre: GPT-4 omni.¹

Una promesa temprana#

El concepto de la multimodalidad había sido impulsado sobre todo por Google entre 2020 y 2022,³⁴ pero fue OpenAI quien logró ejecutarlo de manera prolija. Por primera vez teníamos un modelo que podía leer, escuchar y ver… y por consiguiente escribir, hablar y dibujar. Una versión de Her más poderosa. Nada de text-to-speech y speech-to-text baratos: eso era tecnología del pasado. El futuro era hoy. O al menos, eso pensamos muchos.

Las demos eran impresionantes:

Un estudiante con problemas en matemáticas podía simplemente abrir ChatGPT, apuntar la cámara al cuaderno y recibir una explicación paso a paso, en voz, viendo exactamente lo que él estaba escribiendo.

Un programador con poca vida social podía abrir ChatGPT y tener, literalmente, a Scarlett Johansson como compañera emocional… bueno, no exactamente, porque la actriz rechazó la oferta de prestar su voz al sistema.⁵

El problema fue que las funciones tardaron demasiado en llegar.
El modo de voz estuvo disponible recién en septiembre (cuatro meses después del anuncio).⁶
El modo de vídeo, en diciembre (siete meses después).⁷
Y la generación de imágenes, en marzo del 2025 (diez meses después).⁸

Tardaron tanto que la startup francesa Kyutai Labs se adelantó y lanzó un modelo open source llamado Moshi.⁹ No soportaba vídeo, solo audio y texto, y era bastante limitado… pero salió antes que el modo de voz de OpenAI. Y además podía correr en una laptop.¹⁰

La pronta realidad#

Volviendo a GPT-4o: como simple LLM, era un poco mejor que GPT-4-turbo, pero nada revolucionario. Terminaría reemplazándolo como modelo por defecto en la línea de productos de OpenAI.

A pesar del enorme hype, la multimodalidad no terminó de calar. Al principio hubo bastante interés por replicarla —con papers como Chameleon o Transfusion—,¹¹¹² pero no surgió nada parecido a la carrera feroz que existía con los LLMs puros:
no hubo una explosión de benchmarks para evaluar y mejorar en estas nuevas capacidades,¹³ ni una academia obsesionada por empujarlos, ni startups construyendo encima de esta tecnología.

Google lanzó su propio modelo “omni” en diciembre,¹⁴ mientras que X.AI tardó un poco más y lo publicó en febrero del 2025.¹⁵ Por parte del OSS, solo hubo un modelo de este tipo que consiguió cierto grado de relevancia: Qwen2.5-Omni.¹⁶

Una razón clave podría ser algo que comentó el CEO de Moonshot AI:
preentrenar en otros tipos de dato, como imágenes o audio, no mejora el rendimiento en texto.¹⁷

Y como casi todo el ecosistema giraba alrededor del texto, la multimodalidad perdió prioridad.

Desde entonces hasta finales del 2025, el área ha estado un poco abandonada en lo que respecta a voz. Incluso muchas empresas de asistencia al cliente siguieron usando un speech-to-text seguido de un text-to-speech: aunque el audio contiene información importante como tono, emoción o velocidad, los modelos seguían siendo más inteligentes, más precisos y más confiables cuando operan únicamente en texto.

Algunas startups continuaron trabajando en modelos de voz —como Sesame o Hume AI—, con enfoque en la naturalidad de la conversación, no en aumentar la “inteligencia” del modelo.¹⁸¹⁹

Pero respecto a las imágenes… esa historia fue muy diferente. Como veremos más adelante.

Referencias#