Moshi é um modelo de IA notável que pode expressar uma ampla gama de emoções e estilos de fala. Suas capacidades são verdadeiramente impressionantes:

• Moshi pode falar com mais de 70 emoções diferentes, desde sussurrar até soar aterrorizado, e até mesmo imitar um pirata ou falar com sotaque francês.
• O modelo é capaz de responder em tempo real, envolvendo-se em conversas naturais e adaptando seu tom e linguagem à situação.
• O mecanismo de conversão de texto em fala de Moshi é altamente avançado, gerando áudio realista que combina perfeitamente emoção e personalidade.
• O modelo foi treinado em um conjunto de dados diversificado, permitindo-lhe lidar com uma variedade de tópicos e tarefas, desde recitar poesia até discutir eventos atuais.
• A natureza multimodal de Moshi, combinando saídas de áudio e texto, melhora sua capacidade de se comunicar de forma eficaz e fornecer respostas abrangentes.
• O impressionante desempenho do modelo foi alcançado por meio de técnicas de treinamento inovadoras, incluindo o uso de diálogos sintéticos para refinar as habilidades conversacionais de Moshi.

As abordagens atuais para a IA de voz têm duas limitações principais que o CAAI teve que abordar no desenvolvimento de Moshi:

1. Latência: O complexo pipeline de modelos separados induz uma latência de 3 a 5 segundos entre a entrada do usuário e a resposta do sistema. Isso pode ser extremamente irritante para uma experiência conversacional ao vivo.

2. Perda de Informações Não Textuais: Ao passar por um gargalo baseado em texto, o sistema perde todas as informações não textuais, como emoção, tom e dicas de comunicação presentes na fala original.

Para enfrentar essas limitações, o CAAI adotou uma abordagem diferente. Em vez de usar um pipeline complexo de modelos separados, eles projetaram uma única rede neural profunda baseada em "modelo de linguagem de áudio". Esse modelo é treinado diretamente em dados de fala anotados, sem a representação intermediária de texto.

Ao comprimir a entrada de fala em uma representação compacta de "pseudopalavras", o modelo de linguagem de áudio pode aprender os padrões e a estrutura da fala, de maneira semelhante a como os modelos de linguagem de texto aprendem a partir do texto. Isso permite que o modelo gere respostas que preservam a riqueza da fala original, sem a latência introduzida pela abordagem baseada em texto.

As principais inovações no desenvolvimento de Moshi, o modelo avançado de IA conversacional, são:

1. Multimodalidade: Moshi não apenas pode ouvir e gerar áudio, mas também tem pensamentos textuais que são exibidos na tela durante a conversa. Isso permite que ele aproveite a eficiência e a compactação do texto escrito, juntamente com a riqueza do áudio, para fornecer respostas melhores e mais rápidas.

2. Fluxo Múltiplo: Moshi opera com dois fluxos de áudio paralelos, permitindo que ele fale e ouça simultaneamente. Isso possibilita conversas mais naturais com sobreposição de fala, interrupções e alternância fluida, tornando a interação mais semelhante à humana.

3. Adaptabilidade: Moshi não é apenas um modelo de IA conversacional de fala, mas sim uma estrutura flexível que pode ser adaptada a várias tarefas e casos de uso. A equipe demonstrou a capacidade de Moshi de se envolver em uma discussão dos anos 1990/2000, evidenciando sua versatilidade e o potencial de interagir com dados de diferentes períodos.

Uma das coisas mais impressionantes sobre Moshi é que ele não é apenas um tipo de modelo de IA, mas sim um mecanismo de conversão de texto em fala que possui mais de 70 emoções diferentes que podem ser acessadas. Usando os dados gravados, a equipe conseguiu treinar um mecanismo de conversão de texto em fala que pode suportar mais de 70 emoções ou estilos de fala diferentes.

Para demonstrar as capacidades desse mecanismo de conversão de texto em fala, a equipe reproduziu algumas amostras de áudio geradas. As amostras demonstraram a capacidade de Moshi de expressar uma ampla gama de emoções, desde sussurrar até cantar, e até mesmo imitar um pirata ou falar com sotaque francês. Isso demonstra a impressionante versatilidade e qualidade realista das capacidades de síntese de voz de Moshi.

A equipe explicou que esse mecanismo de conversão de texto em fala foi desenvolvido internamente, permitindo que eles o ajustassem especificamente às necessidades de Moshi. Ao trabalhar com uma artista de voz chamada Alice, eles conseguiram gravar vários monólogos e diálogos, que foram então usados para treinar o modelo de conversão de texto em fala. Essa abordagem garante que Moshi tenha uma voz consistente e natural em todas as interações.

As principais inovações no treinamento de Moshi, o modelo avançado de IA conversacional, podem ser resumidas da seguinte forma:

1. Multimodalidade: Moshi pode não apenas gerar áudio, mas também produzir pensamentos textuais acompanhantes. Essa abordagem híbrida de combinar áudio e texto permite um treinamento mais eficiente e eficaz, levando a melhores respostas.

2. Interação com Fluxo Múltiplo: Moshi é capaz de ouvir e falar simultaneamente, permitindo um fluxo conversacional natural com sobreposição de fala, interrupções e alternância fluida, assim como em conversas humanas.

3. Geração de Dados Sintéticos: Para superar o desafio da escassez de dados de conversas reais, a equipe desenvolveu técnicas para gerar diálogos sintéticos. Isso lhes permitiu refinar ainda mais as habilidades conversacionais de Moshi além do modelo de linguagem inicial baseado apenas em texto.

4. Personalização da Voz: Ao trabalhar com uma artista de voz profissional, Alice, a equipe conseguiu imbuir Moshi de uma voz consistente e natural em todas as interações, melhorando ainda mais a experiência do usuário.

5. Implantação em Dispositivos: O modelo Moshi é projetado para ser relativamente pequeno em tamanho, permitindo que seja implantado e executado diretamente em dispositivos, garantindo privacidade e respostas de baixa latência, sem a necessidade de conectividade com a nuvem.

6. Considerações de Segurança: Reconhecendo o potencial de uso indevido, a equipe implementou salvaguardas, como marcação d'água de áudio e rastreamento de assinatura, para detectar e mitigar a geração de conteúdo semelhante a Moshi para fins maliciosos.

Um dos principais avanços com Moshi é sua capacidade de ser executado localmente em um dispositivo, sem a necessidade de uma conexão com a internet. Essa é uma conquista significativa, pois aborda as preocupações com privacidade e latência que afetaram os sistemas de IA de voz anteriores.

A equipe do CAAI demonstrou essa capacidade executando Moshi em um MacBook Pro padrão, com a conexão com a internet desativada. Eles iniciaram o aplicativo Moshi e conseguiram se envolver em uma conversa em tempo real com o assistente de IA, sem nenhuma latência ou atraso perceptível.

Essa execução local é possível devido ao tamanho relativamente pequeno do modelo Moshi, que a equipe enfatizou que pode ser ainda mais compactado para implantação em dispositivos móveis. Ao executar o modelo localmente, Moshi pode fornecer uma experiência conversacional mais fluida e privada, sem a necessidade de enviar dados de áudio para um servidor remoto.

A equipe também discutiu a importância da segurança e do desenvolvimento responsável de sistemas de IA tão avançados. Eles delinearam duas estratégias-chave para garantir a integridade do conteúdo gerado por Moshi: rastreamento de assinatura online e marcação d'água. Essas técnicas permitem a detecção de áudio gerado por IA, ajudando a mitigar o uso indevido potencial da tecnologia.

Um dos últimos aspectos que a maioria das pessoas não pensará é, é claro, o aspecto de segurança da IA. Se você tiver um modelo que seja tão rápido e possa responder com um grau notável de precisão, sabemos que as pessoas poderiam potencialmente usar isso para campanhas de phishing ou outras atividades maliciosas. É aqui que eles descrevem como vão identificar com segurança o conteúdo de Moshi e garantir que esse não seja um problema generalizado.

Olá, eu sou da qAI. Nós levamos a segurança muito a sério. Uma questão em particular que queremos abordar é como determinar se um áudio foi gerado por Moshi ou não. Para isso, consideramos duas estratégias:

1. Abordagem Online: Mantemos um registro do áudio que Moshi gera, extraindo algumas assinaturas e colocando-as em um banco de dados de conteúdo gerado. Quando apresentado a um novo áudio, podemos extrair uma assinatura e verificar se ela corresponde ao banco de dados. Se sim, sabemos que o áudio foi gerado por Moshi.

2. Marcação d'Água: Adicionamos algumas marcas inaudíveis ao áudio que geramos, de modo que possamos detectá-las com um detector específico. Isso nos permite identificar o conteúdo gerado por Moshi.

Essas são áreas ativas de pesquisa que são importantes, desafiadoras e interessantes. Estamos comprometidos em garantir o desenvolvimento seguro e responsável de Moshi para evitar qualquer uso indevido ou atividades maliciosas.

Esse modelo, conhecido como Moshi, representa um avanço significativo na IA conversacional. Alguns destaques-chave:

• Moshi pode expressar mais de 70 emoções e estilos de fala diferentes, desde sussurrar até cantar, permitindo interações altamente naturais e expressivas.

• O modelo é multimodal, gerando tanto áudio quanto texto simultaneamente, o que melhora a riqueza e a coerência das respostas.

• Moshi usa uma abordagem de "fluxo múltiplo" inovadora, permitindo que ele ouça e fale simultaneamente, possibilitando conversas mais naturais com sobreposição de fala.

• O modelo foi treinado de forma eficiente usando diálogos sintéticos, superando o desafio de obter grandes quantidades de dados de conversas reais.

• Importante, a equipe também abordou preocupações de segurança e proteção, desenvolvendo técnicas para detectar se o áudio foi gerado por Moshi.

Em geral, Moshi demonstra capacidades notáveis que borram a linha entre a interação humana e a de máquina. Essa tecnologia tem o potencial de transformar a forma como as pessoas se envolvem com assistentes de IA, inaugurando uma nova era de conversas mais naturais, inteligentes e personalizadas.