O AutoCoder é um novo modelo de linguagem de grande porte que recentemente causou ondas na comunidade de IA. Este modelo superou o desempenho do GPT-4 Turbo (a versão de abril de 2024) e do mais novo GPT-4 Omni no prestigioso benchmark Human Eval, o que é um feito impressionante.

O que diferencia o AutoCoder é seu versátil interpretador de código. Ao contrário do GPT-4 Turbo e do Omni, que são limitados a pacotes internos, o AutoCoder pode instalar automaticamente pacotes externos conforme necessário, expandindo significativamente o escopo de tarefas que pode lidar. Esse recurso permite que o AutoCoder enfrente uma gama mais ampla de desafios de codificação.

Outra diferença fundamental é a forma como o interpretador de código é invocado. Com o AutoCoder, o interpretador é usado de forma seletiva, apenas quando o usuário precisa verificar o código. Em contraste, o interpretador de código aberto no GPT-4 Turbo executa todo o código Python gerado por padrão, sem esperar pela entrada do usuário ou verificação do código.

A arquitetura AI EV Instruct é dividida em duas etapas principais: a etapa de ensino e a etapa de aprendizagem autônoma.

Na etapa de ensino, o modelo aprende principalmente destilando conhecimento de um modelo de professor, como o GPT-4 Turbo ou o DeBERTa. Essa etapa envolve quatro etapas-chave:

1. Inicialização: O modelo inicializa funções, mensagens de diálogo e o interpretador de código.
2. Resolução de Problemas: O modelo descreve problemas e fornece soluções, com as mensagens de diálogo anexadas à descrição do problema.
3. Feedback de Execução: O modelo lida com erros, fornece descrições em linguagem natural e modifica o modelo de código.
4. Término: Se o programa for executado com sucesso, as mensagens de diálogo são anexadas para concluir a análise de uma entrada de dados, e o processo passa para a etapa de avaliação de dados.

A etapa de aprendizagem autônoma é onde o modelo do aluno substitui o modelo original e assume os papéis tanto do questionador quanto do programador. O modelo do aluno completa todo o processo de feedback de execução de forma autônoma, permitindo que ele continue aprendendo e melhorando seu desempenho sem depender do modelo do professor.

O AutoCoder, um novo modelo de linguagem de grande porte focado em melhoria de código, possui um conjunto de dados significativamente mais robusto em comparação com outros modelos de ponta voltados para codificação. Aqui está uma análise das principais diferenças:

• Conjunto de Dados do AutoCoder: 169 mil amostras de dados, 241 rodadas de diálogo, incluindo função principal, instalações de pacotes, erros de execução de código e correções. Também incorpora testes de unidade para maior precisão.

• Magic Coder OSS Instruct: 75 mil amostras de dados, 75 rodadas de diálogo.

• Magic Coder EAL Instruct: Apenas 1.111 amostras de dados, 111 rodadas de diálogo.

O conjunto de dados significativamente maior e as rodadas de diálogo mais abrangentes nos dados de treinamento do AutoCoder lhe conferem uma clara vantagem sobre outros modelos. A inclusão de testes de unidade também melhora ainda mais a precisão e confiabilidade do código gerado pelo AutoCoder.

O AutoCoder, um novo modelo de linguagem de grande porte focado na geração e interpretação de código, superou recentemente o desempenho do GPT-4 Turbo (versão de abril de 2024) e do GPT-4 Omni no benchmark Human Eval. Esse é um feito notável, pois esses modelos eram anteriormente considerados o estado da arte em tarefas relacionadas a código.

Uma das principais vantagens do AutoCoder é sua capacidade de acessar e utilizar bibliotecas externas, ao contrário do modelo GPT-4 Turbo mais restrito. Essa funcionalidade expandida permite que o AutoCoder lide com uma gama mais ampla de tarefas e aplicações. Além disso, o modelo AutoCoder é projetado para invocar o interpretador de código de forma seletiva, com base nas necessidades do usuário, em vez de executar todo o código gerado por padrão, como o interpretador de código aberto.

Em termos de dados de treinamento, o AutoCoder possui um conjunto de dados significativamente maior em comparação com outros modelos focados em tarefas de codificação. O conjunto de dados do AutoCoder contém 169.000 amostras de dados com 241 rodadas de diálogo, incluindo função principal, instalações de pacotes, erros de execução de código e correções. Esse conjunto de dados abrangente permite que o modelo aprenda e melhore suas capacidades de geração e interpretação de código de forma mais eficaz.

A introdução do AutoCoder, um novo modelo de linguagem de grande porte que supera o GPT-4 Turbo e o GPT-4 Omni no benchmark Human Eval, é um desenvolvimento significativo no campo da interpretação e geração de código. Esse modelo de código aberto, baseado na arquitetura DeepSE coder, oferece um interpretador de código mais versátil e capaz em comparação com seus antecessores.

Um dos recursos-chave do AutoCoder é sua capacidade de instalar automaticamente pacotes externos, expandindo o escopo de suas capacidades de interpretação de código. Essa é uma melhoria significativa em relação às limitações do GPT-4 Turbo, que é restrito apenas a pacotes internos. O uso seletivo do interpretador de código, dependendo das necessidades do usuário, é outro aspecto notável do AutoCoder.

Os dados de treinamento do modelo, que incluem um conjunto de dados de diálogo de várias rodadas e um sistema de combinação de interações de agentes com verificação de execução de código externo, contribuíram para seu desempenho impressionante. A comparação do conjunto de dados do AutoCoder com outros modelos de ponta, como o LLaMA 3 400B e o GPT-4 Omni Ultra, destaca ainda mais suas vantagens.