A Luma AI lançou recentemente sua nova ferramenta de geração de vídeos, o Dream Machine, que visa competir com outras plataformas de criação de vídeos alimentadas por IA, como Soar, Veo, Cling, Pika e Runway. Embora a ferramenta mostre promessa em determinados cenários, ainda possui algumas limitações das quais os usuários devem estar cientes.

Um dos principais problemas do Dream Machine são os longos tempos de espera para a geração de vídeos, especialmente durante períodos de alta demanda. Nos primeiros dias, alguns pedidos levaram até 7 horas para começar a ser processados, o que pode ser bastante frustrante para os usuários. A Luma desde então ampliou sua infraestrutura, mas os tempos de espera ainda podem ser significativos.

Em termos da qualidade dos vídeos gerados, o Dream Machine tem dificuldades com a geração de texto para vídeo. Os exemplos fornecidos na transcrição mostram que a ferramenta tem dificuldade em representar com precisão elementos como um lobo uivando para a lua ou um macaco de patins. Os vídeos gerados muitas vezes apresentam inconsistências, como membros faltando ou posicionamento incorreto de objetos.

No entanto, onde o Dream Machine parece brilhar é no recurso de imagem para vídeo. A transcrição mostra vários exemplos disso, incluindo uma cidade futurista colorida, uma casa de lobo de videogame pixelada e uma cabana na floresta. Essas conversões de imagem para vídeo parecem ser mais realistas e coerentes do que as tentativas de texto para vídeo.

É importante observar que o Dream Machine está atualmente em um estágio de prévia de pesquisa e os usuários podem gerar até 30 vídeos por mês gratuitamente. Após isso, o modelo de preços é de aproximadamente US$ 0,25 por vídeo. À medida que a ferramenta continuar a evoluir, será interessante ver se a Luma consegue abordar as limitações atuais e melhorar a qualidade geral e a consistência dos vídeos gerados.

Em geral, o Dream Machine mostra promessa, mas os usuários devem abordá-lo com expectativas realistas, especialmente quando se trata de geração de texto para vídeo. O recurso de imagem para vídeo parece ser o aspecto mais forte da ferramenta no momento.

O Stable Diffusion 3, a última iteração do popular modelo de geração de imagens de código aberto, finalmente foi disponibilizado ao público. Vamos dar uma olhada mais de perto no que essa nova versão tem a oferecer.

Capacidades Aprimoradas de Texto para Imagem

Uma das principais melhorias no Stable Diffusion 3 é sua capacidade aprimorada de incorporar texto nas imagens geradas. O modelo agora parece melhor em traduzir prompts textuais em representações visuais coerentes e detalhadas. Isso pode ser visto nos exemplos fornecidos, onde os prompts baseados em texto resultam em imagens mais precisas e visualmente atraentes.

Engenharia de Prompts Ainda Necessária

No entanto, vale notar que o Stable Diffusion 3 ainda requer um certo nível de engenharia de prompts para obter os melhores resultados. Embora o modelo tenha melhorado, os usuários podem precisar fornecer prompts mais detalhados e específicos para obter os resultados desejados, especialmente para imagens complexas ou detalhadas. Isso contrasta com alguns outros modelos de geração de imagens por IA que podem produzir resultados de alta qualidade com prompts mais simples.

Qualidade Inconsistente

A qualidade das imagens geradas também pode ser um pouco inconsistente. Enquanto o modelo é capaz de produzir resultados impressionantes em determinados cenários, como o exemplo do "astronauta em uma selva", ainda tem dificuldades com prompts mais simples, como "um macaco de patins". Isso sugere que o Stable Diffusion 3 ainda não atingiu o nível de alguns de seus concorrentes em termos de qualidade geral da imagem e consistência.

Avanços Contínuos Necessários

Em geral, o Stable Diffusion 3 representa um passo adiante na geração de imagens por IA, mas ainda há espaço para melhorias. À medida que a tecnologia continuar a evoluir, podemos esperar ver novos avanços na capacidade do modelo de traduzir texto em imagens de alta qualidade e coerentes, sem a necessidade de extensa engenharia de prompts. Os esforços contínuos da comunidade para refinar e aprimorar o Stable Diffusion serão cruciais para impulsionar essas melhorias.

Deixo claro que sou conselheiro da Leonardo, mas eles não têm nenhum controle sobre o que eu digo. Se algo estiver estranho, vou apontar. Ser conselheiro deles não afeta o que eu realmente digo sobre eles.

Dito isso, a Leonardo acaba de lançar um novo modelo personalizado chamado Leonardo Phoenix. Este é seu próprio modelo fundamental, não uma versão do Stable Diffusion. Os principais recursos deste novo modelo são:

• Aderência aprimorada ao prompt - Ele pode entender e aderir melhor aos prompts fornecidos.
• Texto coerente nas imagens - Ele pode incorporar texto nas imagens de uma maneira mais natural e coerente.
• Qualidade de imagem superior - As imagens geradas têm maior qualidade em comparação com modelos anteriores.
• Mais controle criativo - Você tem mais controle sobre a direção criativa das imagens.

No entanto, alguns recursos como orientação de imagem, elementos e versões fotorrealistas ainda não estão disponíveis. Eles ainda estão trabalhando na implementação desses recursos adicionais.

Vamos dar uma olhada mais de perto no modelo em ação. Vou acessar o site da Leonardo, selecionar o preset Leonardo Phoenix e tentar um prompt simples - "um lobo uivando para a lua".

Aqui estão as imagens que ele gerou:

[Imagem 1] [Imagem 2] [Imagem 3] [Imagem 4]

Não sei você, mas essas são bem mais impressionantes do que o que acabei de ver no Stable Diffusion 3. O modelo parece ter feito um ótimo trabalho em entender o prompt e criar imagens coerentes e de alta qualidade.

Vamos tentar outro exemplo - "um pinguim segurando uma placa que diz Sr. eow".

[Imagem 1] [Imagem 2] [Imagem 3] [Imagem 4]

O texto está corretamente escrito em todas as imagens, e o pinguim segurando a placa parece bastante bom. O modelo lidou muito bem com a integração do texto.

Em geral, o modelo Leonardo Phoenix parece ser um passo à frente do Stable Diffusion 3. Eu recomendo experimentar ambos e ver qual funciona melhor para suas necessidades. As capacidades aprimoradas de aderência ao prompt e integração de texto do modelo Leonardo Phoenix são particularmente impressionantes.

O Sonno, a plataforma de criação de música alimentada por IA, acaba de revelar um recurso revolucionário que permite que os usuários transformem seus próprios registros de áudio em músicas completas. Essa capacidade inovadora, disponível para assinantes premium do Sonno, capacita os criadores a aproveitar o poder da IA para elevar suas ideias musicais.

Eis como funciona:

1. Gravar ou Enviar Áudio: Os usuários podem gravar áudio diretamente na plataforma Sonno ou enviar um arquivo de áudio existente. Isso pode ser um simples riff de guitarra, uma melodia vocal ou qualquer outro fragmento musical.

2. Estender e Aprimorar: Depois que o áudio é enviado, os usuários podem selecionar a opção "Estender". Os algoritmos movidos a IA do Sonno então analisam a entrada e geram automaticamente uma música estendida e totalmente produzida, com instrumentação adicional, harmonias e letras.

3. Opções de Personalização: Os usuários têm a capacidade de refinar ainda mais a música gerada, ajustando parâmetros como o gênero (por exemplo, pop acústico, eletrônico, etc.), a inclusão de uma batida e a geração de letras aleatórias.

Os resultados são frequentemente surpreendentemente impressionantes, com a IA do Sonno mesclando perfeitamente o áudio original do usuário com suas próprias composições musicais. As músicas geradas mantêm a essência da entrada do usuário, elevando-a a um nível de som profissional.

Esse recurso abre novas possibilidades criativas para músicos, compositores e entusiastas. Os usuários podem experimentar diferentes ideias, transformar rapidamente esboços em composições completas e até colaborar com a IA para dar vida a suas visões musicais.

À medida que o Sonno continua a refinar e expandir suas capacidades, esse recurso de extensão de áudio está prestes a se tornar uma ferramenta indispensável no arsenal dos criadores de música modernos. Ao capacitar os usuários a transformar suas ideias brutas em músicas totalmente realizadas, o Sonno está redefinindo a maneira como abordamos a produção e a composição musical.

A Apple fez um grande avanço em IA em seu recente evento WWDC, integrando capacidades de IA em todo o seu ecossistema de dispositivos e serviços. Aqui estão os principais destaques:

IA no iOS, iPadOS e macOS

• A Apple está construindo sua própria IA e a integrando profundamente no iOS, iPadOS e macOS. Isso inclui recursos como:
  • Revisão, reescrita e resumo de texto em aplicativos como Notas, Mail e mais
  • Capacidades de visão alimentadas por IA em aplicativos como Notas e Calculadora para analisar imagens e escrita à mão
  • Priorização e resumo de e-mails e notificações usando IA

Playground de Imagens

• O novo recurso de geração de imagens da Apple, chamado "Playground de Imagens", permite criar ilustrações, animações e esboços usando IA.
• Ele tem uma interface única onde você pode ver os diferentes contextos que a IA irá mesclar.
• A IA é limitada a estilos não realistas para evitar deepfakes.

GenEmoji

• Os usuários podem criar seus próprios emojis personalizados usando IA, que podem então ser usados como reações e adesivos.

Melhorias no Siri

• O Siri agora pode ser usado por digitação, e não apenas por voz.
• O Siri aproveitará a IA baseada no dispositivo e no iCloud, usando o ChatGPT da OpenAI apenas quando puder fornecer melhores respostas.

Nuvem da Apple e Parceria com a OpenAI

• A Apple está construindo uma "Nuvem da Apple" segura para lidar com o processamento de IA sensível.
• Eles também estão se associando à OpenAI para permitir que o Siri aproveite o ChatGPT quando apropriado, com permissão do usuário.

Em geral, a Apple está integrando profundamente a IA em todo o seu portfólio de produtos, aproveitando sua própria tecnologia, bem como parcerias estratégicas. Isso representa um grande esforço para tornar a IA uma parte essencial da experiência Apple.