O OpenDevin, a alternativa de código aberto ao DeepCode da DeepMind, anunciou recentemente duas grandes atualizações em seu framework. A primeira é a introdução do CodeAct 1.0, um novo agente de codificação de ponta que alcança uma taxa de resolução notável de 21% na versão leve não assistida do SowaiBench, uma melhoria de 177% em relação ao seu desempenho anterior. Esse agente se baseia no framework CodeAct, consolidando as ações de agentes de modelos de linguagem em uma interface de código unificada.

O segundo anúncio é a introdução de um novo harness de avaliação simplificado para testar agentes de codificação. Esse harness visa facilitar uma avaliação abrangente e melhorada dos agentes, permitindo uma melhor comparação e impulsionando o aprimoramento contínuo dessas ferramentas de IA ao longo do tempo.

O agente CodeAct 1.0 introduz várias capacidades-chave, incluindo a capacidade de conversar com humanos, classificar código, confirmar e executar código (tanto comandos bash do Linux quanto Python) e realizar várias ações relacionadas a arquivos, como abrir, navegar, pesquisar e editar. Essas capacidades são construídas sobre as lições aprendidas com o framework de agente SowaiBench anterior, expandindo ainda mais o conjunto de ferramentas e melhorando o desempenho geral.

Adicionalmente, o novo harness de avaliação incorpora um mecanismo de contagem regressiva, inspirado no projeto Mint, que incentiva o modelo a concluir as tarefas dentro de um número fixo de interações. Isso, juntamente com o processo de escrever e analisar comandos bash simplificados, melhora a facilidade de uso e a acessibilidade do framework.

Essas atualizações no OpenDevin demonstram os esforços contínuos para capacitar o desenvolvimento de software com agentes de IA avançados. Ao aproveitar o pré-treinamento de modelos de linguagem em grande escala em dados de código e se concentrar em aproveitar pacotes de software extensos, o agente CodeAct 1.0 visa abordar tarefas de codificação complexas e desafios reais de desenvolvimento de software de maneira mais eficaz. O novo harness de avaliação simplificado impulsionará ainda mais o aprimoramento contínuo desses agentes, beneficiando, em última análise, os desenvolvedores e engenheiros de software em seu trabalho diário.

O novo agente CodeAct 1.0 da OpenDev é uma atualização significativa que demonstra capacidades impressionantes. Esse agente de codificação de ponta alcançou uma taxa de resolução notável de 21% no benchmark leve não assistido do Sway Bench, uma melhoria de 177% em relação ao seu desempenho anterior.

O CodeAct 1.0 se baseia no framework CodeAct, consolidando as ações de agentes de modelos de linguagem em grande escala em uma interface de código unificada. Isso permite que o agente realize uma ampla gama de tarefas relacionadas à codificação, como conversar com humanos, classificar código, confirmar e executar código (incluindo comandos bash do Linux e Python) e muito mais.

O agente foi aprimorado com conjuntos de ferramentas adicionais com base em comandos bash, permitindo que ele navegue por arquivos, crie e edite arquivos, pesquise em diretórios e realize outras operações avançadas. Essas capacidades são o resultado da incorporação de feedback e lições aprendidas com o agente Sway anterior.

O CodeAct 1.0 também introduz um mecanismo exclusivo de contagem regressiva, emprestado do projeto Mint, que incentiva o modelo a concluir as tarefas dentro de um número fixo de interações. Além disso, o agente apresenta um processo de escrita de comandos bash e análise de ações, tornando a interface mais acessível e amigável ao usuário.

A introdução do CodeAct 1.0 é um passo significativo para capacitar os agentes de modelos de linguagem em grande escala a lidar com tarefas de codificação complexas. Ao harmonizar as ações desses modelos com código executável, a OpenDev está abrindo caminho para fluxos de trabalho de desenvolvimento de software mais eficientes e versáteis.

O segundo grande anúncio dos criadores do OpenDevon é a introdução de um novo harness de avaliação simplificado. Esse harness é projetado para facilitar um processo de avaliação abrangente e simplificado para agentes de codificação.

O principal objetivo desse harness de avaliação é melhorar a avaliação e a comparação de diferentes modelos de agentes ao longo do tempo. Ao fornecer uma estrutura padronizada e amigável ao usuário, ele permitirá que os desenvolvedores testem e avaliem exaustivamente as capacidades de seus agentes de codificação.

O harness de avaliação simplificado se concentra nos seguintes aspectos-chave:

1. Avaliação abrangente: O harness permitirá uma avaliação abrangente do desempenho de um agente em uma ampla gama de tarefas e cenários de codificação. Isso fornecerá uma compreensão mais holística dos pontos fortes e fracos de um agente.

2. Comparação aprimorada: O processo de avaliação padronizado permitirá uma comparação mais precisa e significativa entre diferentes modelos de agentes. Isso ajudará os desenvolvedores a identificar os agentes mais adequados para suas necessidades específicas.

3. Melhoria iterativa: Ao estabelecer um framework de avaliação consistente, o harness permitirá que os desenvolvedores acompanhem o progresso e a evolução de seus agentes ao longo do tempo. Isso facilitará o aprimoramento contínuo das capacidades dos agentes.

4. Acessibilidade: A natureza simplificada do harness de avaliação visa tornar o processo de avaliação mais amigável e acessível a uma gama mais ampla de desenvolvedores, fomentando uma participação e colaboração mais amplas.

Em geral, a introdução desse novo harness de avaliação é um passo significativo no desenvolvimento e no avanço dos agentes de codificação dentro do framework OpenDevon. Ao fornecer um processo de avaliação simplificado e abrangente, ele impulsionará o aprimoramento contínuo e o refinamento dessas poderosas ferramentas alimentadas por IA, beneficiando, em última análise, os desenvolvedores de software.

O novo agente Kodak 1.0 da Open Devon representa um avanço significativo no campo da IA de codificação. Esse agente de ponta alcança uma taxa de resolução notável de 21% no benchmark leve não assistido do Sway Bench, uma melhoria de 177% em relação ao seu desempenho anterior.

O Kodak 1.0 se baseia no framework Codex, consolidando as ações de agentes de modelos de linguagem em grande escala em uma interface de código unificada. Isso permite que o agente realize uma ampla gama de tarefas relacionadas à codificação, incluindo conversar com humanos, classificar código, confirmar e executar código (tanto comandos bash do Linux quanto Python) e navegar por arquivos e diretórios.

A introdução de um mecanismo de contagem regressiva, inspirado no projeto Mint, incentiva o modelo a concluir suas tarefas dentro de um número fixo de interações, promovendo eficiência e facilidade de uso. Além disso, o processo de escrever comandos bash e analisar ações foi simplificado, melhorando ainda mais a acessibilidade do framework.

A capacidade do Kodak de harmonizar as ações de modelos de linguagem em grande escala com código executável o diferencia dos agentes tradicionais limitados a saídas JSON ou baseadas em texto. Ao aproveitar pacotes de software extensos e se basear no pré-treinamento em dados de código, o Kodak pode lidar com operações complexas e fluxos de controle e de dados, permitindo o desenvolvimento de software sofisticado e a resolução de tarefas do mundo real em plataformas como o GitHub.

O novo harness de avaliação simplificado introduzido pela Open Devon facilitará uma avaliação abrangente e comparação de agentes de codificação, impulsionando melhorias e avanços contínuos no campo. Isso, combinado com o desempenho impressionante do Kodak 1.0, posiciona a Open Devon como um player de destaque no cenário de desenvolvimento de software alimentado por IA.

A maioria dos agentes de modelos de linguagem em grande escala existentes é prejudicada por gerar ações apenas em formatos JSON ou de texto. É aí que o Kodak consegue fornecer mais flexibilidade, permitindo que você combine várias ferramentas para executar diferentes tarefas.

O Kodak se destaca ao utilizar o pré-treinamento existente de modelos de linguagem em grande escala em dados de código. Isso permite que ele dê suporte inerente a operações complexas por meio de fluxos de controle e de dados, além de aproveitar pacotes de software extensos para expandir sua funcionalidade.

O desempenho promissor do Kodak pode ajudá-lo a desenvolver vários tipos de software e resolver tarefas do mundo real, como as encontradas no GitHub. Ao gerar código complexo, o Kodak visa libertar os usuários de tarefas mundanas e capacitá-los com um framework robusto de assistente de codificação.

A introdução de uma nova métrica de avaliação simplificada ajudará a equipe do Kodak a melhorar e avaliar continuamente o desempenho do agente ao longo do tempo. Isso permitirá que eles introduzam táticas e algoritmos mais avançados para aprimorar as capacidades do Kodak na resolução de desafios complexos.

A introdução do CodeAct 1.0 e do novo harness de avaliação simplificado pelos criadores do OpenDevon representa avanços significativos no framework de agente de desenvolvimento de software de código aberto.

O CodeAct 1.0 é um agente de codificação de ponta que alcançou uma taxa de resolução notável de 21% no benchmark leve não assistido do Sway Bench, uma melhoria de 177% em relação a versões anteriores. Esse agente consolida as ações de modelos de linguagem em grande escala em uma interface de código unificada, permitindo que ele realize uma ampla gama de tarefas relacionadas à codificação, como conversar com humanos, classificar código, confirmar e executar código e interagir com várias linguagens de programação e ferramentas.

O novo harness de avaliação simplificado é projetado para facilitar uma avaliação abrangente e melhorada dos agentes de codificação, permitindo uma melhor comparação e aprimoramento contínuo desses agentes ao longo do tempo. Isso ajudará a impulsionar o aprimoramento contínuo do framework OpenDevon, garantindo que os usuários possam acessar os melhores agentes de ponta para suas necessidades de desenvolvimento de software.

Essas duas atualizações importantes no framework OpenDevon demonstram o compromisso de seus criadores em fornecer uma plataforma de código aberto, flexível e poderosa para agentes de desenvolvimento de software. Ao aproveitar as capacidades dos modelos de linguagem em grande escala e incorporar feedback e lições aprendidas de projetos anteriores, o OpenDevon está pronto para capacitar os usuários a construir e implantar aplicativos de software complexos de maneira mais eficiente do que nunca.