Moshi är en anmärkningsvärd AI-modell som kan uttrycka ett brett spektrum av känslor och talstilar. Dess förmågor är verkligen imponerande:

• Moshi kan tala med över 70 olika känslor, från viskning till att låta skräckslagen, och kan till och med imitera en pirat eller tala med en fransk accent.
• Modellen kan reagera i realtid, delta i naturliga samtal och anpassa sin ton och sitt språk till situationen.
• Moshis text-till-tal-motor är mycket avancerad och genererar realistisk ljudåtergivning som smidigt kombinerar känsla och personlighet.
• Modellen har tränats på en mångsidig datamängd, vilket gör att den kan hantera en mängd olika ämnen och uppgifter, från att recitera poesi till att diskutera aktuella händelser.
• Moshis multimodala natur, som kombinerar ljud- och textutdata, förbättrar dess förmåga att kommunicera effektivt och ge omfattande svar.
• Modellens imponerande prestanda uppnåddes genom innovativa träningstekniker, inklusive användningen av syntetiska dialoger för att finslipa Moshis konversationsförmåga.

De nuvarande metoderna för röst-AI har två huvudsakliga begränsningar som CAAI var tvungna att åtgärda vid utvecklingen av Moshi:

1. Fördröjning: Den komplexa pipelinen av separata modeller orsakar en fördröjning på 3-5 sekunder mellan användarens inmatning och systemets svar. Detta kan vara extremt irriterande för en levande konversationsupplevelse.

2. Förlust av icke-textuell information: Genom att gå genom en textbaserad flaskhals förlorar systemet all icke-textuell information som känsla, ton och kommunikationssignaler som finns i det ursprungliga talet.

Nyckelbrottsidéerna i utvecklingen av Moshi, den avancerade konversations-AI-modellen, är:

1. Multimodalitet: Moshi kan inte bara lyssna och generera ljud, utan har också textuella tankar som visas på skärmen under samtalet. Detta gör att den kan dra nytta av effektiviteten och kompaktheten i skriven text tillsammans med rikedomen i ljud för att ge bättre och snabbare svar.

2. Multistream: Moshi arbetar med två parallella ljudströmmar, vilket gör att den kan tala och lyssna samtidigt. Detta möjliggör mer naturliga samtal med överlappande tal, avbrott och smidig fram- och återgång, vilket gör interaktionen mer mänsklig.

3. Anpassningsbarhet: Moshi är inte bara en konversationell taltjänst-AI-modell, utan ett flexibelt ramverk som kan anpassas till olika uppgifter och användningsfall. Teamet visade Moshis förmåga att delta i en diskussion från 1990-/2000-talet, vilket visar på dess mångsidighet och potentialen att interagera med data från olika tidsperioder.

En av de mest fantastiska sakerna med Moshi är att det inte bara är någon form av AI-modell, utan snarare en text-till-tal-motor som har över 70 olika känslor som kan användas. Genom att använda inspelad data kunde teamet träna en text-till-tal-motor som kan stödja mer än 70 olika känslor eller talstilar.

Nyckelbrottsidéerna i träningen av Moshi, den avancerade konversations-AI-modellen, kan sammanfattas enligt följande:

1. Multimodalitet: Moshi kan inte bara generera ljud, utan också producera medföljande textuella tankar. Denna hybridansats med att kombinera ljud och text möjliggör en mer effektiv och effektiv träning, vilket leder till bättre svar.

2. Multistream-interaktion: Moshi kan lyssna och tala samtidigt, vilket möjliggör ett naturligt konversationsflöde med överlappande tal, avbrott och smidig fram- och återgång, precis som i mänskliga samtal.

3. Syntetisk datageneration: För att övervinna utmaningen med begränsad verklig konversationsdata utvecklade teamet tekniker för att generera syntetiska dialoger. Detta gjorde det möjligt för dem att finslipa Moshis konversationsförmåga utöver den ursprungliga textbaserade språkmodellen.

En av de viktigaste genombrotten med Moshi är dess förmåga att köras lokalt på en enhet, utan att kräva en internetanslutning. Detta är ett betydande framsteg, eftersom det åtgärdar problem med integritet och fördröjning som har plågat tidigare röst-AI-system.

En av de sista sakerna som de flesta människor inte kommer att tänka på är förstås AI-säkerhetsaspekten. Om du har en modell som är så snabb och kan svara med en anmärkningsvärd grad av noggrannhet, vet vi att människor potentiellt skulle kunna använda detta för nätfiskeattacker eller andra skadliga aktiviteter. Här beskriver de hur de kommer att identifiera Moshi-innehåll på ett säkert sätt och se till att detta inte blir ett utbrett problem.