Luma AI heeft onlangs hun nieuwe video-generatietool, Dream Machine, uitgebracht, die concurreert met andere door AI aangedreven video-creatie platforms zoals Soar, Veo, Cling, Pika en Runway. Hoewel de tool veelbelovend is in bepaalde scenario's, heeft het nog enkele beperkingen waar gebruikers zich bewust van moeten zijn.

Eén van de belangrijkste problemen met Dream Machine zijn de lange wachttijden voor video-generatie, vooral tijdens periodes van hoge vraag. In de begindagen duurde het soms wel 7 uur voordat een verzoek werd verwerkt, wat erg frustrerend kan zijn voor gebruikers. Luma heeft sindsdien hun infrastructuur opgeschaald, maar de wachttijden kunnen nog steeds aanzienlijk zijn.

Wat de kwaliteit van de gegenereerde video's betreft, heeft Dream Machine moeite met tekst-naar-video-generatie. De voorbeelden in de transcript laten zien dat de tool moeite heeft met het nauwkeurig weergeven van elementen zoals een wolf die huilt naar de maan of een aap op rolschaatsen. De gegenereerde video's hebben vaak inconsistenties, zoals ontbrekende ledematen of onjuiste positionering van objecten.

Waar Dream Machine echter lijkt uit te blinken, is in de functie voor beeld-naar-video. De transcript toont verschillende voorbeelden hiervan, waaronder een kleurrijke futuristische stad, een gepixelde videogame wolfshut en een hut in het bos. Deze beeld-naar-video-conversies lijken realistischer en coherenter dan de tekst-naar-video-pogingen.

Het is belangrijk op te merken dat Dream Machine momenteel in een onderzoeksvoorvertoning-stadium verkeert, en gebruikers kunnen tot 30 video's per maand gratis genereren. Daarna is het prijsmodel ongeveer $0,25 per video. Naarmate de tool zich verder ontwikkelt, zal het interessant zijn om te zien of Luma de huidige beperkingen kan aanpakken en de algehele kwaliteit en consistentie van de gegenereerde video's kan verbeteren.

Over het algemeen toont Dream Machine veelbelovendheid, maar gebruikers moeten er realistische verwachtingen bij hebben, vooral als het gaat om tekst-naar-video-generatie. De beeld-naar-video-functie lijkt op dit moment het sterkere aspect van de tool te zijn.

Stable Diffusion 3, de nieuwste iteratie van het populaire open-source AI-beeldgeneratiemodel, is eindelijk voor het publiek beschikbaar gesteld. Laten we eens een nadere blik werpen op wat deze nieuwe versie te bieden heeft.

Verbeterde Tekst-naar-Beeld Mogelijkheden

Eén van de belangrijkste verbeteringen in Stable Diffusion 3 is de verbeterde mogelijkheid om tekst op te nemen in de gegenereerde beelden. Het model lijkt nu beter in staat om tekstuele prompts om te zetten in coherente en gedetailleerde visuele representaties. Dit is te zien in de voorbeelden die zijn gegeven, waar de tekstgebaseerde prompts resulteren in nauwkeurigere en visueel aantrekkelijkere beelden.

Prompt Engineering Nog Steeds Vereist

Het is echter belangrijk op te merken dat Stable Diffusion 3 nog steeds een bepaald niveau van prompt engineering vereist om de beste resultaten te bereiken. Hoewel het model is verbeterd, moeten gebruikers mogelijk meer gedetailleerde en specifieke prompts geven om de gewenste resultaten te krijgen, vooral voor complexe of gedetailleerde beelden. Dit in tegenstelling tot sommige andere AI-beeldgeneratiemodellen die met eenvoudigere prompts hoge kwaliteit kunnen produceren.

Inconsistente Kwaliteit

De kwaliteit van de gegenereerde beelden kan ook enigszins inconsistent zijn. Hoewel het model in staat is om indrukwekkende resultaten te produceren in bepaalde scenario's, zoals het voorbeeld van de "astronaut in een jungle", worstelt het nog steeds met eenvoudigere prompts zoals "een aap op rolschaatsen". Dit suggereert dat Stable Diffusion 3 nog niet op het niveau is van sommige van zijn concurrenten wat betreft algehele beeldkwaliteit en consistentie.

Verdere Vooruitgang Nodig

Over het algemeen vertegenwoordigt Stable Diffusion 3 een stap voorwaarts in AI-beeldgeneratie, maar er is nog ruimte voor verbetering. Naarmate de technologie zich blijft ontwikkelen, kunnen we verdere vooruitgang verwachten in het vermogen van het model om tekst om te zetten in hoogwaardige, coherente beelden zonder de noodzaak van uitgebreide prompt engineering. De voortdurende inspanningen van de gemeenschap om Stable Diffusion te verfijnen en te verbeteren, zullen cruciaal zijn voor het aandrijven van deze verbeteringen.

Volledige openheid, ik ben een adviseur voor Leonardo, maar zij hebben nul controle over wat ik zeg. Als er iets geks aan is, zal ik dat eruit halen. Het feit dat ik hun adviseur ben, heeft geen invloed op wat ik daadwerkelijk over hen zeg.

Dat gezegd hebbende, Leonardo heeft zojuist een nieuw op maat gemaakt model genaamd Leonardo Phoenix uitgebracht. Dit is hun eigen fundamenteel model, geen versie van stable diffusion. De belangrijkste kenmerken van dit nieuwe model zijn:

• Verbeterde prompt-adherentie - Het kan prompts beter begrijpen en erop afstemmen.
• Coherente tekst in beelden - Het kan tekst op een natuurlijkere en coherentere manier in de beelden opnemen.
• Superieure beeldkwaliteit - De gegenereerde beelden hebben een hogere kwaliteit in vergelijking met eerdere modellen.
• Meer creatieve controle - Je hebt meer controle over de creatieve richting van de beelden.

Features zoals beeldgeleiding, elementen en fotorealistische versies zijn echter nog niet beschikbaar. Daar wordt nog aan gewerkt.

Laten we eens een nadere blik werpen op het model in actie. Ik ga naar de Leonardo-website, selecteer het Leonardo Phoenix-preset en probeer een eenvoudige prompt - "een wolf die huilt naar de maan".

Hier zijn de gegenereerde beelden:

[Beeld 1] [Beeld 2] [Beeld 3] [Beeld 4]

Ik weet het niet, maar deze zijn toch wel een stuk indrukwekkender dan wat ik zojuist uit Stable Diffusion 3 heb gezien. Het model lijkt er goed in geslaagd te zijn de prompt te begrijpen en coherente, hoogwaardige beelden te creëren.

Laten we nog een voorbeeld proberen - "een pinguin die een bord omhoog houdt met daarop Mr eow".

[Beeld 1] [Beeld 2] [Beeld 3] [Beeld 4]

De tekst is in elk beeld correct gespeld, en de pinguin die het bord vasthoudt ziet er best goed uit. Het model heeft de tekstintegratie erg goed aangepakt.

Over het algemeen voelt het Leonardo Phoenix-model als een stap vooruit ten opzichte van Stable Diffusion 3. Ik raad aan om beide uit te proberen en te kijken welke het beste bij je behoeften past. De verbeterde prompt-adherentie en tekstintegratiecapaciteiten van het Leonardo Phoenix-model zijn vooral indrukwekkend.

Sonno, het door AI aangedreven muziekcreatieplatform, heeft onlangs een baanbrekende functie onthuld waarmee gebruikers hun eigen audio-opnamen kunnen omzetten in volwaardige liedjes. Deze innovatieve mogelijkheid, beschikbaar voor Sonno Premium-abonnees, stelt creators in staat om de kracht van AI te benutten om hun muzikale ideeën te verhogen.

Hier is hoe het werkt:

1. Opnemen of Audio Uploaden: Gebruikers kunnen ofwel direct binnen het Sonno-platform audio opnemen, of een bestaand audiobestand uploaden. Dit kan een eenvoudige gitaarriff, een vocale melodie of een ander muzikaal fragment zijn.

2. Uitbreiden en Verbeteren: Zodra de audio is geüpload, kunnen gebruikers de optie "Uitbreiden" selecteren. Sonno's door AI aangedreven algoritmen analyseren vervolgens de invoer en genereren automatisch een uitgebreid, volledig geproduceerd lied, compleet met extra instrumentatie, harmonieën en teksten.

3. Aanpassingsmogelijkheden: Gebruikers kunnen het gegenereerde lied verder verfijnen door parameters aan te passen, zoals het genre (bijv. akoestische pop, elektronisch, etc.), het opnemen van een beat en het genereren van willekeurige teksten.

De resultaten zijn vaak verrassend indrukwekkend, waarbij Sonno's AI de oorspronkelijke audio van de gebruiker naadloos combineert met eigen muzikale composities. De gegenereerde liedjes behouden de essentie van de invoer van de gebruiker, terwijl ze deze naar een professioneel klinkend niveau tillen.

Deze functie opent nieuwe creatieve mogelijkheden voor muzikanten, songwriters en hobbyisten. Gebruikers kunnen met verschillende ideeën experimenteren, schetsen snel omzetten in complete composities en zelfs samenwerken met de AI om hun muzikale visies tot leven te brengen.

Naarmate Sonno zijn mogelijkheden blijft verfijnen en uitbreiden, zal deze audio-uitbreidingsfunctie onmisbaar worden in het arsenaal van moderne muziekmakers. Door gebruikers in staat te stellen hun ruwe ideeën om te zetten in volledig gerealiseerde liedjes, herdefineert Sonno de manier waarop we muziekproductie en -compositie benaderen.

Apple heeft tijdens hun recente WWDC-evenement een enorme stap gezet in AI, waarbij AI-mogelijkheden worden geïntegreerd in hun hele ecosysteem van apparaten en diensten. Hier zijn de belangrijkste hoogtepunten:

AI in iOS, iPadOS en macOS

• Apple bouwt zijn eigen AI en integreert deze diep in iOS, iPadOS en macOS. Dit omvat functies zoals:
  • Corrigeren, herschrijven en samenvatten van tekst in apps als Notes, Mail en meer
  • Door AI aangedreven visuele mogelijkheden in apps als Notes en Calculator om afbeeldingen en handschrift te analyseren
  • Prioriteren en samenvatten van e-mails en meldingen met behulp van AI

Image Playground

• Apple's nieuwe beeldgeneratiefeature, genaamd "Image Playground", maakt het mogelijk om illustraties, animaties en schetsen te maken met behulp van AI.
• Het heeft een unieke interface waar je de verschillende contexten kunt zien die de AI zal combineren.
• De AI is beperkt tot niet-realistische stijlen om deepfakes te voorkomen.

GenEmoji

• Gebruikers kunnen hun eigen aangepaste Emoji maken met behulp van AI, die vervolgens als reacties en stickers kunnen worden gebruikt.

Siri-verbeteringen

• Siri kan nu ook via typen worden gebruikt, in plaats van alleen via spraak.
• Siri zal gebruikmaken van on-device en iCloud-gebaseerde AI, en alleen OpenAI's ChatGPT inzetten wanneer deze betere antwoorden kan geven.

Apple Cloud en OpenAI-partnerschap

• Apple bouwt een beveiligde "Apple Cloud" om gevoelige AI-verwerking aan te kunnen.
• Ze werken ook samen met OpenAI om Siri in staat te stellen ChatGPT te gebruiken wanneer dat passend is, met toestemming van de gebruiker.

Over het geheel genomen integreert Apple AI diep in zijn hele productlijn, waarbij het gebruik maakt van eigen technologie en strategische partnerschappen. Dit vertegenwoordigt een grote stap om AI tot een kernonderdeel van de Apple-ervaring te maken.