O lançamento recente da OpenAI do GPT-4 Omni introduziu um modelo poderoso que pode raciocinar em áudio, visão e texto em tempo real. Esse novo modelo oferece várias capacidades impressionantes:

• Interação Multimodal: O GPT-4 Omni pode aceitar entradas na forma de texto, áudio, imagens e vídeo, e gerar saídas em qualquer combinação dessas modalidades. Isso permite interações mais naturais entre humanos e computadores.

• Resposta Rápida: O modelo pode responder a entradas de áudio em apenas 232 milissegundos em média, correspondendo à velocidade de uma conversa humana.

• Desempenho Aprimorado: O GPT-4 Omni supera modelos anteriores em vários benchmarks, incluindo avaliação de texto, ASR de áudio e tradução de áudio.

• Eficiência de Custos: O novo modelo é 50% mais barato que o anterior GPT-4 Turbo, tornando-o mais acessível para usuários de API. A versão gratuita do ChatGPT agora usa o GPT-4 Omni, permitindo que mais usuários se beneficiem de suas capacidades.

O anúncio do GPT-4 Omni traz melhorias significativas em preços e eficiência de custos em comparação com modelos anteriores. Alguns destaques-chave:

• O custo de entrada caiu para $0,005 por 1.000 tokens, de $0,01 para o GPT-4 Turbo.
• O custo de saída agora é de $0,015 por 1.000 tokens, reduzido de $0,03 para o GPT-4 Turbo.
• O preço da visão também é muito mais barato, tornando o uso geral do GPT-4 Omni mais econômico.
• Em comparação com o GPT-3.5 Turbo, o GPT-4 Omni oferece uma redução de preço de 50%, tornando-o uma opção mais acessível para desenvolvedores e usuários.
• A versão gratuita do ChatGPT agora usa o modelo GPT-4 Omni, permitindo que mais usuários se beneficiem das capacidades e desempenho aprimorados sem custo adicional.

A Open AI submeteu o novo modelo GPT-4 Omni a vários testes de benchmark para avaliar seu desempenho. O modelo foi comparado a outros modelos de linguagem, como GPT-4 Turbo, o GPT-4 original, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 e LLaMA 3.

Os resultados mostram que o GPT-4 Omni supera quase todos os outros modelos em diferentes categorias de teste:

• Avaliação de Texto: O GPT-4 Omni alcança as maiores pontuações.
• ASR de Áudio (Reconhecimento Automático de Fala): O GPT-4 Omni supera a versão anterior do modelo Whisper 3, com taxas de erro mais baixas.
• Tradução de Áudio: O GPT-4 Omni supera todos os outros modelos neste teste.
• Exame M3 Zero-Shot: O GPT-4 Omni supera o modelo GPT-4 original.
• Avaliações de Compreensão Visual: O GPT-4 Omni alcança as maiores pontuações em cada um desses testes.

O artigo observa que uma das razões pelas quais o GPT-4 Omni é mais barato é sua capacidade de representar idiomas em menos tokens. Embora a contagem de tokens para o inglês tenha caído apenas 1,1 vez, quando escalado em centenas de milhares de palavras, isso pode resultar em economias significativas.

O artigo explica que a frase completa que anteriormente levava 27 tokens agora leva apenas 24 tokens. Essa tokenização e representação de linguagem aprimorada permite que o GPT-4 Omni seja mais eficiente em seu uso de tokens, levando à redução de custo de 50% em comparação com modelos anteriores.

O artigo sugere que essa capacidade aprimorada de modelagem de linguagem é um fator-chave para tornar o GPT-4 Omni uma escolha mais econômica para desenvolvedores e usuários, especialmente para aplicações que envolvem o processamento de grandes volumes de texto em vários idiomas.

Assim como todos os seus modelos de IA, a OpenAI está muito focada na segurança e limitações do GPT-4 Omni. O artigo observa que o modelo ainda tem algumas limitações, como interromper ocasionalmente as conversas e precisar ser informado manualmente quando o usuário terminou de falar. Esse é um problema que persistiu mesmo com os tempos de resposta aprimorados do GPT-4 Omni.

O artigo também menciona que o modelo possui recursos de segurança e limitações incorporados para abordar possíveis abusos ou saídas prejudiciais. No entanto, os detalhes específicos dessas medidas de segurança não são fornecidos nesta seção.

Em geral, embora o GPT-4 Omni represente um avanço significativo nos modelos de linguagem da OpenAI, a empresa permanece cautelosa e vigilante quanto aos riscos e limitações potenciais da tecnologia. O monitoramento e o refinamento contínuos dos recursos de segurança do modelo provavelmente serão uma prioridade à medida que ele for implantado de forma mais ampla.

O GPT-4 Omni, o mais recente modelo emblemático da OpenAI, agora está amplamente disponível e acessível aos usuários. Aqui estão os principais detalhes:

• Os modelos de texto e imagem do GPT-4 Omni agora estão integrados ao nível gratuito do ChatGPT, permitindo que todos os usuários acessem essas capacidades.
• O nível gratuito do ChatGPT agora tem limites de mensagem 5 vezes maiores, tornando-o muito mais acessível para os usuários.
• Uma nova versão do modo de voz com integração do GPT-4 Omni está planejada para ser lançada nas próximas semanas, proporcionando interações baseadas em áudio perfeitas.
• O GPT-4 Omni está disponível como um modelo de texto e visão autônomo por meio da API da OpenAI, oferecendo aos desenvolvedores o dobro da velocidade e metade do preço em comparação com o modelo anterior GPT-4 Turbo.
• A OpenAI está fortemente incentivando todos os desenvolvedores a migrarem para o modelo GPT-4 Omni, pois se tornou a escolha recomendada, com praticamente nenhum caso de uso para o modelo mais antigo GPT-4 Turbo.
• Os preços do GPT-4 Omni foram significativamente reduzidos, com o custo de entrada caindo para $0,005 por 1.000 tokens e o custo de saída em $0,015 por 1.000 tokens, tornando-o mais acessível para uma ampla gama de aplicações.

A capacidade de criar personagens consistentes em múltiplas cenas é uma funcionalidade-chave do novo modelo GPT-4 Omni. Ao treinar em entradas visuais, o modelo agora pode gerar saídas visuais que mantêm os mesmos atributos de personagem, como roupas, acessórios e poses, mesmo quando o personagem é colocado em diferentes cenários.

Nos exemplos fornecidos, o modelo é capaz de representar consistentemente o personagem "Sally" como uma entregadora de correio sorridente, com sua bolsa e uniforme permanecendo os mesmos em diferentes cenas. Essa é uma melhoria significativa em relação a modelos anteriores, que teriam que se basear em descrições textuais para tentar manter a consistência do personagem.

A velocidade e a precisão das saídas visuais do GPT-4 Omni também permitem interações mais perfeitas e naturais, onde o modelo pode responder rapidamente a prompts visuais e gerar respostas visuais apropriadas. Isso abre novas possibilidades para aplicações que exigem representação consistente de personagens, como narrativas interativas, assistentes virtuais e até mesmo o desenvolvimento de jogos.

Embora os exemplos na interface do ChatGPT possam não demonstrar totalmente as capacidades do modelo, o potencial para a criação consistente de personagens com o GPT-4 Omni é evidente. Os desenvolvedores podem aproveitar esse recurso para criar experiências mais envolventes e imersivas para os usuários e explorar ainda mais as possibilidades dos sistemas de IA multimodais.