Luma AI har nyligen släppt sitt nya videogenerationsverktyg, Dream Machine, som syftar till att konkurrera med andra AI-drivna videoskapande plattformar som Soar, Veo, Cling, Pika och Runway. Även om verktyget visar lovande resultat i vissa scenarier, har det fortfarande vissa begränsningar som användarna bör vara medvetna om.

En av de största problemen med Dream Machine är de långa väntetiderna för videogenerering, särskilt under perioder med hög efterfrågan. I början tog vissa förfrågningar upp till 7 timmar att börja bearbeta, vilket kan vara mycket frustrerande för användarna. Luma har sedan dess skalat upp sin infrastruktur, men väntetiderna kan fortfarande vara betydande.

Vad gäller kvaliteten på de genererade videorna kämpar Dream Machine med text-till-video-generering. Exemplen som ges i transkriptet visar att verktyget har svårt att exakt återge element som en varg som tjuter mot månen eller en apa på rullskridskor. De genererade videorna har ofta inkonsistenser, som saknade lemmar eller felaktig placering av objekt.

Där Dream Machine däremot verkar skina är i funktionen för bild-till-video. Transkriptet visar flera exempel på detta, inklusive en färgglad futuristisk stad, ett pixlat videospelsvarghem och en stuga i skogen. Dessa bild-till-video-konverteringar verkar vara mer realistiska och sammanhängande än försöken med text-till-video.

Det är värt att notera att Dream Machine för närvarande befinner sig i ett forskningsförhandsvisningsstadium, och användare kan generera upp till 30 videor per månad gratis. Efter det ligger prissättningen på cirka 0,25 dollar per video. Allteftersom verktyget fortsätter att utvecklas kommer det att vara intressant att se om Luma kan åtgärda de nuvarande begränsningarna och förbättra den övergripande kvaliteten och konsekvensen i de genererade videorna.

Sammanfattningsvis visar Dream Machine lovande resultat, men användare bör närma sig det med realistiska förväntningar, särskilt när det gäller text-till-video-generering. Bild-till-video-funktionen verkar vara den starkare aspekten av verktyget för tillfället.

Stable Diffusion 3, den senaste versionen av den populära öppna källkods-AI-modellen för bildgenerering, har äntligen gjorts tillgänglig för allmänheten. Låt oss ta en närmare titt på vad den nya versionen har att erbjuda.

Förbättrade text-till-bild-funktioner

En av de viktigaste förbättringarna i Stable Diffusion 3 är dess förbättrade förmåga att integrera text i de genererade bilderna. Modellen verkar nu bättre på att översätta textuella prompter till sammanhängande och detaljerade visuella representationer. Detta kan ses i de exempel som ges, där text-baserade prompter resulterar i mer exakta och visuellt tilltalande bilder.

Prompt-engineering fortfarande nödvändigt

Det är dock värt att notera att Stable Diffusion 3 fortfarande kräver en viss nivå av prompt-engineering för att uppnå de bästa resultaten. Även om modellen har förbättrats kan användarna behöva tillhandahålla mer detaljerade och specifika prompter för att få önskade resultat, särskilt för komplexa eller detaljerade bilder. Detta står i kontrast till vissa andra AI-bildgenerationsmodeller som kan producera högkvalitativa resultat med enklare prompter.

Inkonsekvent kvalitet

Kvaliteten på de genererade bilderna kan också vara något inkonsekvent. Även om modellen är kapabel att producera imponerande resultat i vissa scenarier, som exemplet med "astronaut i en djungel", kämpar den fortfarande med enklare prompter som "en apa på rullskridskor". Detta tyder på att Stable Diffusion 3 kanske ännu inte är på samma nivå som vissa av sina konkurrenter när det gäller övergripande bildkvalitet och konsekvens.

Fortsatta framsteg krävs

Sammanfattningsvis representerar Stable Diffusion 3 ett steg framåt inom AI-bildgenerering, men det finns fortfarande utrymme för förbättring. Allteftersom tekniken fortsätter att utvecklas kan vi förvänta oss att se ytterligare framsteg i modellens förmåga att översätta text till högkvalitativa, sammanhängande bilder utan behov av omfattande prompt-engineering. Gemenskapens pågående ansträngningar för att förfina och förbättra Stable Diffusion kommer att vara avgörande för att driva dessa förbättringar.

Fullständig öppenhet, jag är rådgivare åt Leonardo, men de har noll kontroll över vad jag säger. Om något är konstigt med det, kommer jag att påpeka det. Att vara rådgivare åt dem påverkar inte vad jag faktiskt säger om dem.

Det sagt, Leonardo har just släppt en ny anpassad modell som heter Leonardo Phoenix. Detta är deras egen grundläggande modell, inte en version av Stable Diffusion. De viktigaste funktionerna i denna nya modell är:

• Förbättrad promptanpassning - Den kan bättre förstå och följa de prompter du anger.
• Sammanhängande text i bilder - Den kan integrera text i bilderna på ett mer naturligt och sammanhängande sätt.
• Överlägsen bildkvalitet - De genererade bilderna har högre kvalitet jämfört med tidigare modeller.
• Mer kreativ kontroll - Du har mer kontroll över den kreativa riktningen för bilderna.

Men funktioner som bildvägledning, element och fotorealistiska versioner är inte tillgängliga ännu. De arbetar fortfarande med att implementera dessa extra funktioner.

Låt oss ta en närmare titt på modellen i aktion. Jag kommer att gå till Leonardos webbplats, välja Leonardo Phoenix-förinställningen och prova en enkel prompt - "en varg som tjuter mot månen".

Här är de bilder den genererade:

[Bild 1] [Bild 2] [Bild 3] [Bild 4]

Jag vet inte om du håller med, men dessa är ganska mycket mer imponerande än vad jag just såg från Stable Diffusion 3. Modellen verkar ha gjort ett utmärkt jobb med att förstå prompten och skapa sammanhängande, högkvalitativa bilder.

Låt oss prova ett annat exempel - "en pingvin som håller upp en skylt som säger Mr eow".

[Bild 1] [Bild 2] [Bild 3] [Bild 4]

Texten är korrekt stavad i varje bild, och pingvinen som håller skylten ser ganska bra ut. Modellen hanterade textintegreringen mycket väl.

Sammanfattningsvis känns Leonardo Phoenix-modellen som ett steg upp från Stable Diffusion 3. Jag rekommenderar starkt att du provar båda och ser vilken som fungerar bäst för dina behov. De förbättrade promptanpassnings- och textintegreringsförmågorna hos Leonardo Phoenix-modellen är särskilt imponerande.

Sonno, den AI-drivna musikskapande plattformen, har nyligen avslöjat en banbrytande funktion som gör att användarna kan förvandla sina egna ljudinspelningar till fullfjädrade låtar. Denna innovativa förmåga, tillgänglig för Sonno Premium-prenumeranter, ger skapare möjlighet att utnyttja AI:s kraft för att lyfta sina musikaliska idéer.

Här är hur det fungerar:

1. Spela in eller ladda upp ljud: Användarna kan antingen spela in ljud direkt inom Sonno-plattformen eller ladda upp en befintlig ljudfil. Detta kan vara ett enkelt gitarrriff, en vokalmelodi eller någon annan musikalisk fras.

2. Utöka och förbättra: När ljudet har laddats upp kan användarna välja alternativet "Utöka". Sonnos AI-drivna algoritmer analyserar då inmatningen och genererar automatiskt en utökad, fullproducerad låt, komplett med ytterligare instrumentering, harmonier och texter.

3. Anpassningsalternativ: Användarna har möjlighet att ytterligare förfina den genererade låten genom att justera parametrar som genre (t.ex. akustisk pop, elektronisk etc.), inkludering av ett beat och generering av slumpmässiga texter.

Resultaten är ofta förvånansvärt imponerande, där Sonnos AI smidigt kombinerar användarens ursprungliga ljud med sina egna musikaliska kompositioner. De genererade låtarna behåller kärnan i användarens inmatning samtidigt som de lyfter den till en professionell nivå.

Denna funktion öppnar upp nya kreativa möjligheter för musiker, låtskrivare och hobbyister. Användarna kan experimentera med olika idéer, snabbt förvandla skisser till färdiga kompositioner och till och med samarbeta med AI:n för att förverkliga sina musikaliska visioner.

När Sonno fortsätter att förfina och utöka sina funktioner är denna ljudutökningsfunktion på väg att bli ett oumbärligt verktyg i den moderna musikskaparens arsenal. Genom att ge användarna möjlighet att förvandla sina råa idéer till färdiga låtar, omdefinierar Sonno sättet vi närmar oss musikproduktion och komposition.

Apple gjorde ett stort framsteg inom AI på deras senaste WWDC-evenemang, genom att integrera AI-funktioner över hela sitt ekosystem av enheter och tjänster. Här är de viktigaste höjdpunkterna:

AI i iOS, iPadOS och macOS

• Apple bygger sin egen AI och integrerar den djupt i iOS, iPadOS och macOS. Detta inkluderar funktioner som:
  • Korrekturläsning, omskrivning och sammanfattning av text i appar som Anteckningar, E-post och fler
  • AI-drivna visuella funktioner i appar som Anteckningar och Kalkylator för att analysera bilder och handskrift
  • Prioritering och sammanfattning av e-post och aviseringar med hjälp av AI

Image Playground

• Apples nya bildgenereringsfunktion, kallad "Image Playground", gör det möjligt att skapa illustrationer, animeringar och skisser med hjälp av AI.
• Den har ett unikt gränssnitt där du kan se de olika sammanhang som AI:n kommer att blanda samman.
• AI:n är begränsad till icke-realistiska stilar för att undvika deepfakes.

GenEmoji

• Användare kan skapa sina egna anpassade Emoji med hjälp av AI, som sedan kan användas som reaktioner och klistermärken.

Siri-förbättringar

• Siri kan nu användas genom att skriva istället för bara röst.
• Siri kommer att dra nytta av AI på enheten och iCloud, och endast använda OpenAI:s ChatGPT när den kan ge bättre svar.

Apple Cloud och OpenAI-partnerskap

• Apple bygger en säker "Apple Cloud" för att hantera känslig AI-bearbetning.
• De samarbetar också med OpenAI för att låta Siri dra nytta av ChatGPT när det är lämpligt, med användarens tillstånd.

Sammanfattningsvis integrerar Apple djupt AI över hela sin produktportfölj, genom att utnyttja sin egen teknik samt strategiska partnerskap. Detta representerar ett stort steg för att göra AI till en central del av Apple-upplevelsen.