La reciente publicación de GPT-4 Omni de OpenAI ha introducido un modelo poderoso que puede razonar a través de audio, visión y texto en tiempo real. Este nuevo modelo ofrece varias capacidades impresionantes:

• Interacción Multimodal: GPT-4 Omni puede aceptar entradas en forma de texto, audio, imágenes y video, y generar salidas en cualquier combinación de estas modalidades. Esto permite interacciones más naturales entre humanos y computadoras.

• Respuesta Rápida: El modelo puede responder a entradas de audio en un promedio de solo 232 milisegundos, igualando la velocidad de la conversación humana.

• Mejor Rendimiento: GPT-4 Omni supera a los modelos anteriores en varios puntos de referencia, incluida la evaluación de texto, el reconocimiento automático del habla (ASR) y la traducción de audio.

• Eficiencia de Costos: El nuevo modelo es un 50% más barato que el anterior GPT-4 Turbo, lo que lo hace más accesible para los usuarios de la API. La versión gratuita de ChatGPT ahora usa GPT-4 Omni, permitiendo que más usuarios se beneficien de sus capacidades.

El anuncio de GPT-4 Omni trae mejoras significativas en precios y eficiencia de costos en comparación con los modelos anteriores. Algunos aspectos clave:

• El costo de entrada ha disminuido a $0.005 por cada 1,000 tokens, desde $0.01 para GPT-4 Turbo.
• El costo de salida ahora es de $0.015 por cada 1,000 tokens, reducido de $0.03 para GPT-4 Turbo.
• El precio de la visión también es mucho más barato, lo que hace que el uso general de GPT-4 Omni sea más rentable.
• En comparación con GPT-3.5 Turbo, GPT-4 Omni ofrece una reducción de precio del 50%, lo que lo convierte en una opción más accesible para desarrolladores y usuarios.
• La versión gratuita de ChatGPT ahora usa el modelo GPT-4 Omni, permitiendo que más usuarios se beneficien de las capacidades y el rendimiento mejorados sin costo adicional.

Open AI ha sometido al nuevo modelo GPT-4 Omni a varias pruebas de referencia para evaluar su rendimiento. El modelo se comparó con otros modelos de lenguaje como GPT-4 Turbo, el original GPT-4, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 y LLaMA 3.

Los resultados muestran que GPT-4 Omni supera a casi todos los demás modelos en diferentes categorías de prueba:

• Evaluación de Texto: GPT-4 Omni logra las puntuaciones más altas.
• ASR de Audio (Reconocimiento Automático del Habla): GPT-4 Omni supera a la versión anterior del modelo Whisper 3, con tasas de error más bajas.
• Traducción de Audio: GPT-4 Omni supera a todos los demás modelos en esta prueba.
• Examen M3 Zero-Shot: GPT-4 Omni supera al modelo original GPT-4.
• Evaluaciones de Comprensión Visual: GPT-4 Omni logra las puntuaciones más altas en cada una de estas pruebas.

El artículo señala que una de las razones por las que GPT-4 Omni es más barato es su capacidad para representar los idiomas en menos tokens. Aunque el recuento de tokens para el inglés solo ha disminuido 1.1 veces, cuando se escala a cientos de miles de palabras, esto puede resultar en ahorros significativos.

El artículo explica que la oración completa que antes requería 27 tokens ahora solo necesita 24 tokens. Esta mejor tokenización y representación del lenguaje permite que GPT-4 Omni sea más eficiente en el uso de tokens, lo que lleva a una reducción de costos del 50% en comparación con los modelos anteriores.

El artículo sugiere que esta capacidad mejorada de modelado del lenguaje es un factor clave para hacer que GPT-4 Omni sea una opción más rentable para desarrolladores y usuarios, especialmente para aplicaciones que implican procesar grandes volúmenes de texto en varios idiomas.

Al igual que con todos sus modelos de IA, OpenAI se enfoca mucho en la seguridad y las limitaciones de GPT-4 Omni. El artículo señala que el modelo aún tiene algunas limitaciones, como interrumpir ocasionalmente las conversaciones y necesitar que se le indique manualmente cuando el usuario ha terminado de hablar. Este es un problema que ha persistido incluso con los tiempos de respuesta mejorados de GPT-4 Omni.

El artículo también menciona que el modelo tiene funciones de seguridad y limitaciones incorporadas para abordar el uso indebido potencial o las salidas dañinas. Sin embargo, los detalles específicos de estas medidas de seguridad no se proporcionan en esta sección.

En general, si bien GPT-4 Omni representa un avance significativo en los modelos de lenguaje de OpenAI, la empresa sigue siendo cautelosa y vigilante con respecto a los posibles riesgos y limitaciones de la tecnología. La supervisión y el refinamiento continuos de las funciones de seguridad del modelo probablemente serán una prioridad a medida que se implemente más ampliamente.

GPT-4 Omni, el último modelo insignia de OpenAI, ahora está ampliamente disponible y accesible para los usuarios. Aquí están los detalles clave:

• Los modelos de texto e imagen de GPT-4 Omni ahora están integrados en el nivel gratuito de ChatGPT, permitiendo que todos los usuarios accedan a estas capacidades.
• El nivel gratuito de ChatGPT ahora tiene límites de mensajes 5 veces más altos, lo que lo hace mucho más accesible para los usuarios.
• Se planea lanzar una nueva versión del modo de voz con integración de GPT-4 Omni en las próximas semanas, brindando interacciones fluidas basadas en audio.
• GPT-4 Omni está disponible como un modelo de texto y visión independiente a través de la API de OpenAI, ofreciendo a los desarrolladores el doble de velocidad y la mitad del precio en comparación con el modelo anterior GPT-4 Turbo.
• OpenAI está alentando enérgicamente a todos los desarrolladores a cambiar al modelo GPT-4 Omni, ya que se ha convertido en la opción recomendada sin prácticamente ningún caso de uso para el modelo más antiguo GPT-4 Turbo.
• Los precios de GPT-4 Omni se han reducido significativamente, con el costo de entrada bajando a $0.005 por cada 1,000 tokens y el costo de salida a $0.015 por cada 1,000 tokens, lo que lo hace más accesible para una amplia gama de aplicaciones.

La capacidad de crear personajes consistentes a través de múltiples escenas es una característica clave del nuevo modelo GPT-4 Omni. Al entrenarse con entradas visuales, el modelo ahora puede generar salidas visuales que mantienen los mismos atributos de los personajes, como ropa, accesorios y poses, incluso cuando el personaje se coloca en diferentes escenarios.

En los ejemplos proporcionados, el modelo puede representar de manera consistente al personaje "Sally" como una repartidora de correo sonriente, con su bolsa y uniforme manteniéndose iguales en diferentes escenas. Esta es una mejora significativa con respecto a los modelos anteriores, que tendrían que depender de descripciones textuales para intentar mantener la consistencia de los personajes.

La velocidad y precisión de las salidas visuales de GPT-4 Omni también permiten interacciones más fluidas y naturales, donde el modelo puede responder rápidamente a los indicadores visuales y generar respuestas visuales apropiadas. Esto abre nuevas posibilidades para aplicaciones que requieren una representación consistente de los personajes, como la narración interactiva, los asistentes virtuales e incluso el desarrollo de videojuegos.

Si bien los ejemplos dentro de la interfaz de ChatGPT pueden no mostrar por completo las capacidades del modelo, el potencial de la creación de personajes consistentes con GPT-4 Omni es evidente. Los desarrolladores pueden aprovechar esta función para crear experiencias más atractivas e inmersivas para los usuarios, y explorar aún más las posibilidades de los sistemas de IA multimodales.

El nuevo modelo GPT-4 Omni de OpenAI es un avance significativo en el procesamiento del lenguaje natural, combinando entradas de texto, audio y visual para proporcionar interacciones en tiempo real, similares a las humanas. El impresionante rendimiento del modelo en varios puntos de referencia, así como su menor costo y mayor accesibilidad, lo convierten en una opción atractiva para desarrolladores y usuarios.

Sin embargo, la exploración del autor sobre la capacidad del modelo para mantener representaciones de personajes consistentes a través de múltiples escenas resalta los desafíos continuos en esta área. Si bien los ejemplos proporcionados en el artículo de anuncio sugieren que el modelo puede preservar los detalles visuales, las propias experimentaciones del autor dentro de la interfaz de ChatGPT sugieren que esta capacidad puede no ser tan sólida como se afirma.

La sugerencia del autor de probar la consistencia de los personajes del modelo utilizando la API, en lugar de la interfaz de ChatGPT, es válida, ya que esta última puede estar sujeta a restricciones adicionales de seguridad y moderación que podrían afectar el rendimiento del modelo. En última instancia, se necesitarán más pruebas y experimentación para comprender plenamente el alcance de las capacidades del modelo en este sentido.

En general, el lanzamiento de GPT-4 Omni representa un paso emocionante hacia adelante en el campo de la IA multimodal, y los insights del autor proporcionan una perspectiva valiosa sobre las fortalezas del modelo y las áreas que pueden requerir un mayor refinamiento.