Luma AI ha recentemente rilasciato il loro nuovo strumento di generazione video, Dream Machine, che mira a competere con altre piattaforme di creazione video alimentate dall'IA come Soar, Veo, Cling, Pika e Runway. Mentre lo strumento mostra promesse in determinati scenari, ha ancora alcune limitazioni di cui gli utenti dovrebbero essere consapevoli.

Uno dei principali problemi di Dream Machine sono i lunghi tempi di attesa per la generazione video, soprattutto durante i periodi di alta domanda. Nei primi giorni, alcune richieste impiegavano fino a 7 ore per iniziare l'elaborazione, il che può essere piuttosto frustrante per gli utenti. Luma ha da allora ampliato la propria infrastruttura, ma i tempi di attesa possono ancora essere significativi.

In termini di qualità dei video generati, Dream Machine fatica con la generazione da testo a video. Gli esempi forniti nella trascrizione mostrano che lo strumento ha difficoltà a raffigurare accuratamente elementi come un lupo che ulula alla luna o una scimmia su pattini a rotelle. I video generati presentano spesso incoerenze, come arti mancanti o posizionamento errato degli oggetti.

Tuttavia, dove Dream Machine sembra brillare è nella funzione di conversione da immagine a video. La trascrizione mostra diversi esempi di questo, tra cui una colorata città futuristica, una casa di lupo pixelata di un videogioco e una baita nel bosco. Queste conversioni da immagine a video sembrano essere più realistiche e coerenti rispetto ai tentativi di conversione da testo a video.

Vale la pena notare che Dream Machine si trova attualmente in una fase di anteprima di ricerca e gli utenti possono generare fino a 30 video al mese gratuitamente. Dopo di che, il modello di prezzo si aggira intorno a 0,25 dollari per video. Man mano che lo strumento continuerà a evolversi, sarà interessante vedere se Luma riuscirà ad affrontare le attuali limitazioni e migliorare la qualità e la coerenza complessiva dei video generati.

Complessivamente, Dream Machine mostra promesse, ma gli utenti dovrebbero avvicinarsi ad esso con aspettative realistiche, soprattutto per quanto riguarda la generazione da testo a video. La funzione di conversione da immagine a video sembra essere l'aspetto più forte dello strumento al momento.

Stable Diffusion 3, l'ultima iterazione del popolare modello di generazione di immagini open-source, è finalmente stato reso disponibile al pubblico. Diamo un'occhiata più da vicino a cosa offre questa nuova versione.

Migliorate capacità di conversione da testo a immagine

Uno dei principali miglioramenti in Stable Diffusion 3 è la sua capacità potenziata di incorporare il testo nelle immagini generate. Il modello sembra ora essere migliore nel tradurre i prompt testuali in rappresentazioni visive coerenti e dettagliate. Questo è evidente negli esempi forniti, dove i prompt basati sul testo producono immagini più accurate e visivamente accattivanti.

È ancora necessaria l'ingegneria dei prompt

Tuttavia, vale la pena notare che Stable Diffusion 3 richiede ancora un certo livello di ingegneria dei prompt per ottenere i migliori risultati. Mentre il modello è migliorato, gli utenti potrebbero dover fornire prompt più dettagliati e specifici per ottenere i risultati desiderati, soprattutto per immagini complesse o dettagliate. Questo è in contrasto con alcuni altri modelli di generazione di immagini IA che possono produrre risultati di alta qualità con prompt più semplici.

Qualità incostante

La qualità delle immagini generate può anche essere piuttosto incostante. Mentre il modello è in grado di produrre risultati impressionanti in determinati scenari, come l'esempio dell'"astronauta in una giungla", fatica ancora con prompt più semplici come "una scimmia su pattini a rotelle". Questo suggerisce che Stable Diffusion 3 potrebbe non essere ancora al livello di alcuni suoi concorrenti in termini di qualità e coerenza complessiva delle immagini.

Sono necessari ulteriori progressi

Complessivamente, Stable Diffusion 3 rappresenta un passo avanti nella generazione di immagini IA, ma c'è ancora spazio per miglioramenti. Man mano che la tecnologia continuerà a evolversi, possiamo aspettarci di vedere ulteriori progressi nella capacità del modello di tradurre il testo in immagini di alta qualità e coerenti senza la necessità di un'estesa ingegneria dei prompt. Gli sforzi continui della comunità per perfezionare e migliorare Stable Diffusion saranno cruciali per guidare questi miglioramenti.

Piena divulgazione, sono un consulente di Leonardo, ma non hanno alcun controllo su ciò che dico. Se c'è qualcosa di strano al riguardo, lo farò notare. Essere un consulente per loro non influisce su ciò che dico effettivamente su di loro.

Detto questo, Leonardo ha appena rilasciato un nuovo modello personalizzato chiamato Leonardo Phoenix. Questo è il loro modello fondamentale, non una versione di Stable Diffusion. Le principali caratteristiche di questo nuovo modello sono:

• Migliorata aderenza ai prompt - È in grado di comprendere e aderire meglio ai prompt forniti.
• Testo coerente nelle immagini - Può incorporare il testo nelle immagini in modo più naturale e coerente.
• Qualità delle immagini superiore - Le immagini generate hanno una qualità più elevata rispetto ai modelli precedenti.
• Maggiore controllo creativo - Si ha un maggiore controllo sulla direzione creativa delle immagini.

Tuttavia, alcune funzionalità come la guida delle immagini, gli elementi e le versioni fotorealistiche non sono ancora disponibili. Stanno ancora lavorando sull'implementazione di queste funzionalità aggiuntive.

Andiamo a dare un'occhiata più da vicino al modello in azione. Andrò sul sito web di Leonardo, selezionerò il preset Leonardo Phoenix e proverò un prompt semplice - "un lupo che ulula alla luna".

Ecco le immagini che ha generato:

[Immagine 1] [Immagine 2] [Immagine 3] [Immagine 4]

Non so voi, ma queste sono decisamente più impressionanti di quello che ho appena visto da Stable Diffusion 3. Il modello sembra aver fatto un ottimo lavoro nel comprendere il prompt e creare immagini coerenti e di alta qualità.

Proviamo un altro esempio - "un pinguino che tiene in alto un cartello con scritto Mr eow".

[Immagine 1] [Immagine 2] [Immagine 3] [Immagine 4]

Il testo è correttamente scritto in ogni immagine e il pinguino che tiene il cartello sembra abbastanza buono. Il modello ha gestito molto bene l'integrazione del testo.

Complessivamente, il modello Leonardo Phoenix sembra essere un passo avanti rispetto a Stable Diffusion 3. Consiglio vivamente di provare entrambi e vedere quale funziona meglio per le vostre esigenze. Le capacità migliorate di aderenza ai prompt e di integrazione del testo del modello Leonardo Phoenix sono particolarmente impressionanti.

Sonno, la piattaforma di creazione musicale alimentata dall'IA, ha recentemente svelato una funzionalità rivoluzionaria che consente agli utenti di trasformare le proprie registrazioni audio in canzoni complete. Questa innovativa capacità, disponibile per gli abbonati a Sonno Premium, dà potere ai creatori di sfruttare il potere dell'IA per elevare le loro idee musicali.

Ecco come funziona:

1. Registra o carica l'audio: Gli utenti possono registrare l'audio direttamente sulla piattaforma Sonno o caricare un file audio esistente. Questo potrebbe essere un semplice riff di chitarra, una melodia vocale o qualsiasi altro frammento musicale.

2. Estendi e migliora: Una volta caricato l'audio, gli utenti possono selezionare l'opzione "Estendi". Gli algoritmi guidati dall'IA di Sonno analizzano l'input e generano automaticamente una canzone estesa e completamente prodotta, completa di strumentazione aggiuntiva, armonie e testi.

3. Opzioni di personalizzazione: Gli utenti hanno la possibilità di perfezionare ulteriormente la canzone generata regolando parametri come il genere (ad esempio, pop acustico, elettronico, ecc.), l'inclusione di un beat e la generazione di testi casuali.

I risultati sono spesso sorprendentemente impressionanti, con l'IA di Sonno che fonde perfettamente l'audio originale dell'utente con le proprie composizioni musicali. Le canzoni generate mantengono l'essenza dell'input dell'utente, elevandolo a un livello di qualità professionale.

Questa funzionalità apre nuove possibilità creative per musicisti, autori di canzoni e appassionati. Gli utenti possono sperimentare diverse idee, trasformare rapidamente gli abbozzi in composizioni complete e persino collaborare con l'IA per dare vita alle loro visioni musicali.

Man mano che Sonno continuerà a perfezionare e ampliare le sue capacità, questa funzionalità di estensione audio è destinata a diventare uno strumento indispensabile nell'arsenale dei creatori di musica moderni. Dando agli utenti il potere di trasformare le loro idee grezze in canzoni completamente realizzate, Sonno sta ridefinendo il modo in cui affrontiamo la produzione e la composizione musicale.

Apple ha fatto un enorme passo avanti nell'IA durante il loro recente evento WWDC, integrando le capacità dell'IA in tutto il loro ecosistema di dispositivi e servizi. Ecco i principali punti salienti:

IA in iOS, iPadOS e macOS

• Apple sta costruendo la sua IA e la sta integrando profondamente in iOS, iPadOS e macOS. Questo include funzionalità come:
  • Correzione, riscrittura e sintesi del testo in app come Note, Mail e altro
  • Capacità di visione guidate dall'IA in app come Note e Calcolatrice per analizzare immagini e scrittura a mano
  • Prioritizzazione e sintesi di e-mail e notifiche utilizzando l'IA

Image Playground

• La nuova funzionalità di generazione di immagini di Apple, chiamata "Image Playground", consente di creare illustrazioni, animazioni e schizzi utilizzando l'IA.
• Ha un'interfaccia unica in cui è possibile vedere i diversi contesti che l'IA combinerà.
• L'IA è limitata a stili non realistici per evitare deepfake.

GenEmoji

• Gli utenti possono creare i propri Emoji personalizzati utilizzando l'IA, che possono essere poi utilizzati come reazioni e adesivi.

Miglioramenti di Siri

• Siri può ora essere utilizzato digitando invece che solo con la voce.
• Siri sfrutterà l'IA on-device e basata su iCloud, utilizzando ChatGPT di OpenAI solo quando può fornire risposte migliori.

Apple Cloud e partnership con OpenAI

• Apple sta costruendo un "Apple Cloud" sicuro per gestire l'elaborazione IA sensibile.
• Stanno anche collaborando con OpenAI per consentire a Siri di sfruttare ChatGPT quando appropriato, con il permesso dell'utente.

Complessivamente, Apple sta integrando profondamente l'IA in tutta la sua gamma di prodotti, sfruttando la propria tecnologia e partnership strategiche. Questo rappresenta un importante passo avanti per rendere l'IA una parte fondamentale dell'esperienza Apple.