AI-genererade influencers har varit ett stort ämne under det senaste året. Deras företag bygger bokstavligen för att lansera AI-Instagram-modeller som ser precis ut som människor, och kommer att posta deras "liv" på Instagram. Och dessa människor ser absolut verkliga ut, förutom att de egentligen inte existerar i den verkliga världen - eller jag borde säga, de existerar, men det är sannolikt en manlig promptingenjör som kontrollerar alla dessa olika AI-modeller istället för en riktig tjej. Och vissa av dem är uppenbart falska och AI-genererade, men har ändå 20 000, 80 000 eller till och med fler än 100 000 följare på Twitter, och det genererar förmodligen någon form av intäkter.

Så även om jag inte riktigt förstår varför människor vill följa någon som de vet inte är riktig, så efterfrågas det tydligt. Jag har funderat på vilken faktisk affärsnytta eller användningsfall som skulle kunna finnas för dessa AI-modeller. Och nyligen frågade min svåger, Rich, som driver ett litet företag i Kina för att sälja kläder online, mig: "Kan du få AI att skapa 20 eller 30 olika sociala inlägg av människor som bär mina kläder varje dag?"

Detta lät bizarrt för mig i början, som varför behöver du så många nya inlägg varje dag? Sedan förklarade han anledningen till att han behöver så många olika nya inlägg varje dag är att för människor som köper saker online i Kina, skulle de gå till sociala medieplattformar som Red Book för att hitta andra människor som också köpt liknande produkter och se deras recensioner och bilder. Och om någon söker efter de kläder som han säljer, kommer kunden då få större förtroende för att denna produkt troligen är en bra passform.

Jag vet inte riktigt om hans geniala strategi faktiskt kommer att fungera, och jag personligen gillar inte riktigt idén med AI-genererade sociala medier-inlägg. Men jag tror att AI-drivna modeller för mode och kläder kommer att vara mycket värdefulla. Det kan hjälpa människor att visualisera hur kläderna kommer att se ut mycket bättre än en statisk bild, och dessa e-handelssajter kan bara generera en enorm mängd produktbilder för olika typer av kunder.

Därför har jag under de senaste dagarna tittat på bildgenerering och byggt en agent som faktiskt kan blanda, matcha olika ansikten, kläder och till och med hållning och miljö tillsammans till populära sociala medier-inlägg för dessa modevarumärken. Och jag kommer att visa dig hur du gör det, för bildgenerering är faktiskt väldigt roligt.

AI-driven mode-provning kan ge betydande värde för e-handelsföretag och kunder:

1. Förbättrad kundupplevelse: Genom att låta kunder virtuellt "prova" kläder kan de bättre visualisera hur plaggen kommer att se ut på dem. Detta förbättrar shoppingupplevelsen och minskar sannolikheten för returer på grund av dålig passform eller utseende.

2. Ökade konverteringsgrader: När kunder kan se sig själva bära kläderna är de mer benägna att göra ett köp. Detta kan leda till högre konverteringsgrader och förbättrade försäljningssiffror.

3. Minskade returer: Med möjligheten att virtuellt prova kläder är kunderna mindre benägna att beställa saker som inte passar eller passar dem. Detta kan leda till en minskning av kostsamma returer, vilket kan ha en betydande inverkan på ett företags lönsamhet.

4. Effektiv produktpresentation: Att generera ett stort antal produktbilder med olika modeller, poser och miljöer kan vara tidskrävande och dyrt. AI-driven mode-provning kan automatisera denna process, vilket gör det möjligt för företag att skapa en mer diversifierad produktkatalog på ett effektivare sätt.

5. Personliga rekommendationer: De data som samlas in från kundernas virtuella provningsupplevelser kan användas för att ge personliga produktrekommendationer, vilket ytterligare förbättrar shoppingupplevelsen och ökar sannolikheten för ytterligare försäljning.

6. Utökade produkterbjudanden: Med AI-driven mode-provning kan företag erbjuda ett bredare utbud av produkter, eftersom de inte längre behöver förlita sig enbart på fysiska produktprover eller professionella fotosessioner.

Overlag kan integrationen av AI-driven mode-provning ge e-handelsföretag en betydande konkurrensfördel genom att förbättra kundupplevelsen, öka försäljningen och minska driftskostnader.

Översikt

I det här avsnittet kommer vi att utforska hur man bygger en flexibel och kraftfull AI-bildgenereringspipeline med hjälp av verktyg som Stable Diffusion, Confiy AI och Anthropics Autogon. Vi kommer att täcka följande nyckelaspekter:

1. Förståelse av diffusionsmodeller: Vi kommer att fördjupa oss i de underliggande principerna för diffusionsmodeller och hur de kan användas för att generera högkvalitativa bilder från textprompts.

2. Utnyttja Confiy AI: Vi kommer att använda Confiy AI, ett open source-projekt, för att skapa ett anpassat bildgenereringsarbetsflöde som låter oss integrera olika modeller och tekniker, som IP-adaptrar och Control Net.

3. Distribuera till Replicate: Vi kommer att lära oss hur man distribuerar vårt Confiy AI-arbetsflöde till Replicate, en värdtjänst, för att göra det tillgängligt som en skalbar API-tjänst.

4. Konstruera ett multiagentsystem: Slutligen kommer vi att bygga ett multiagentsystem med hjälp av Anthropics Autogon-ramverk, där olika agenter samarbetar för att generera, granska och förbättra den slutliga bilden.

Vid slutet av det här avsnittet kommer du att ha en omfattande förståelse för hur man bygger en flexibel och kraftfull AI-bildgenereringspipeline som kan användas för olika tillämpningar, som skapande av sociala medieinnehåll, visualisering av e-handelsprodukter och mer.

Förståelse av diffusionsmodeller

Diffusionsmodeller är en typ av generativ AI-modell som kan användas för att generera högkvalitativa bilder från textprompts. Huvudidén bakom diffusionsmodeller är att starta med en slumpmässig brusig bild och gradvis "avsalta" den, steg för steg, tills önskad bild erhålls.

Processen fungerar enligt följande:

1. Brusinjicering: Modellen startar med en slumpmässig brusig bild och lägger gradvis till mer brus, vilket skapar en sekvens av allt mer brusiga bilder.
2. Avsaltning: Modellen lär sig sedan att vända på den här processen, genom att ta de brusiga bilderna och gradvis ta bort bruset, steg för steg, tills den ursprungliga bilden återställs.

Denna iterativa avsaltningsprocess låter modellen lära sig de underliggande mönstren och relationerna mellan textprompts och motsvarande bilder, vilket gör det möjligt för den att generera nya bilder som matchar de givna promptsen.

Utnyttja Confiy AI

Confiy AI är ett open source-projekt som ger ett flexibelt och kraftfullt ramverk för att bygga anpassade bildgenereringspipelines. Det låter dig integrera olika modeller och tekniker, som Stable Diffusion, IP-adaptrar och Control Net, för att skapa en skräddarsydd lösning för dina specifika behov.

I det här avsnittet kommer vi att gå igenom processen att ställa in ett Confiy AI-arbetsflöde som kan generera bilder med anpassade ansikten, kläder och miljöer. Vi kommer att täcka följande steg:

1. Installera och konfigurera Confiy AI: Vi kommer att ställa in nödvändiga beroenden och ladda ner de erforderliga modellerna.
2. Integrera IP-adaptrar: Vi kommer att lära oss hur man använder IP-adaptrar för att sömlöst införliva anpassade ansikts- och kläddelar i de genererade bilderna.
3. Utnyttja Control Net: Vi kommer att utforska hur man använder Control Net för att få ytterligare kontroll över de genererade bilderna, som specifika poser eller miljöer.
4. Optimera arbetsflödet: Vi kommer att finjustera arbetsflödet för att uppnå önskad bildkvalitet och konsekvens.

Distribuera till Replicate

När vi har byggt vår anpassade bildgenereringspipeline i Confiy AI kommer vi att lära oss hur man distribuerar den till Replicate, en värdtjänst som låter oss köra arbetsflödet som en skalbar API-tjänst.

Detta kommer att innefatta följande steg:

1. Exportera Confiy AI-arbetsflödet: Vi kommer att exportera vårt arbetsflöde i ett format som enkelt kan integreras med Replicate.
2. Modifiera arbetsflödet för Replicate: Vi kommer att göra nödvändiga justeringar av arbetsflödet för att säkerställa kompatibilitet med Replicate's krav.
3. Distribuera till Replicate: Vi kommer att ladda upp vårt arbetsflöde till Replicate och testa API-slutpunkten.

Genom att distribuera vår bildgenereringspipeline till Replicate kan vi göra den tillgänglig för andra användare eller integrera den i olika applikationer, vilket möjliggör skalbar och effektiv bildgenerering.

Konstruera ett multiagentsystem

Avslutningsvis kommer vi att bygga ett multiagentsystem med hjälp av Anthropics Autogon-ramverk för att skapa en mer sofistikerad och iterativ bildgenereringsprocess. Detta system kommer att involvera följande agenter:

1. Bildgenerator: Denna agent kommer att ansvara för att generera den initiala bilden baserat på den angivna textpromoten och referensbilderna.
2. Bildgranskare: Denna agent kommer att utvärdera den genererade bilden och ge feedback till Bildgeneratorn, med förslag på förbättringar eller iterationer.
3. Bildförbättrare: Denna agent kommer att tillämpa specialiserade tekniker, som handrestauration och bilduppskalpning, för att förfina den slutliga bilden.

Genom att utnyttja den samarbetande naturen hos multiagentsystemet kan vi skapa en mer robust och mångsidig bildgenereringspipeline som kan hantera en bred uppsättning användningsfall och krav.

Genom hela det här avsnittet kommer vi att tillhandahålla kodexempel och stegvisa instruktioner för att vägleda dig genom processen att bygga denna omfattande AI-bildgenereringspipeline. I slutändan kommer du att ha ett kraftfullt verktyg till ditt förfogande som kan anpassas och distribueras för att möta dina specifika behov.

För att distribuera AI-modellen på Replicate behöver vi göra några små ändringar i arbetsflödet. Replicate stöder specifika modeller och anpassade noder, så vi behöver hitta alternativ som är kompatibla med deras plattform.

Först behöver vi ta bort några anpassade noder som Replicate inte stöder. I det här fallet kommer vi att ta bort noden "förbereda bild för ansiktsinsida". Vi kan sedan använda den ursprungliga bilden istället.

Efter att ha gjort dessa ändringar kan vi klicka på knappen "Spara API-format" för att spara arbetsflödet som en JSON-fil. Denna JSON-fil kan sedan laddas upp till Replicate för att skapa ett nytt arbetsflöde.

Nästa steg är att uppdatera modellen som används i arbetsflödet. Replicate stöder en annan uppsättning modeller, så vi behöver hitta ett alternativ som fungerar för vårt användningsfall. I det här exemplet kommer vi att använda Jugernaut-modellen.

Vi behöver också ändra "ladda bild"-noden för att använda en bildwebbadress istället för en lokal fil. Detta gör det enklare att använda arbetsflödet på Replicate.

När dessa ändringar är gjorda kan vi kopiera JSON-filen och gå till Replicate-gränssnittet. Här kan vi skapa ett nytt arbetsflöde och klistra in JSON-koden. Replicate kommer sedan att generera bilden baserat på det arbetsflöde vi har definierat.

Den totala tiden för att generera bilden på Replicate är cirka 2 minuter, vilket är mycket snabbare än att köra den på en lokal dator med ett 3080-grafikkort. Detta beror på att Replicate använder kraftfulla GPU:er för att skala bildgenereringsprocessen.

En sak att notera är att vissa delar av den genererade bilden kanske inte matchar den ursprungliga klädbilden perfekt. För att åtgärda detta kan vi bygga ett multiagentsystem som itererar på bildgenereringsprocessen tills kläderna är en 100-procentig matchning.

I nästa avsnitt kommer vi att utforska hur man skapar detta multiagentsystem med hjälp av Autogon-ramverket, vilket gör det enklare att ställa in komplexa arbetsflöden med flera agenter som samarbetar för att uppnå önskat resultat.

Översikt

I det här avsnittet kommer vi att utforska hur man skapar ett multiagentsystem med hjälp av AutoGPT för att generera och förfina AI-drivna bilder för mode- och e-handelstillämpningar. Systemet kommer att bestå av flera agenter som samarbetar för att:

1. Generera en initial bild baserad på en textprompt och en referensbild.
2. Granska den genererade bilden och ge feedback för att förbättra den.
3. Finslipa bilden genom att åtgärda eventuella problem och skalas upp den till högre kvalitet.

Denna ansats möjliggör en mer iterativ och kontrollerad bildgenereringsprocess, där man utnyttjar styrkan hos olika AI-modeller och tekniker.

Implementera multiagentsystemet

Ställa in miljön

1. Skapa en ny mapp för ditt projekt och öppna den i Visual Studio Code.
2. Skapa tre filer: tools.py, main.py och en .env-fil