OpenDevin, l'alternativa open-source a DeepMind's DeepCode, ha recentemente annunciato due importanti aggiornamenti al suo framework. Il primo è l'introduzione di CodeAct 1.0, un nuovo agente di codifica all'avanguardia che raggiunge un notevole tasso di risoluzione del 21% sulla versione leggera non assistita di SowaiBench, un miglioramento del 177% rispetto alle sue prestazioni precedenti. Questo agente si basa sul framework CodeAct, consolidando le azioni degli agenti dei modelli linguistici di grandi dimensioni in un'interfaccia di codice unificata.

Il secondo annuncio è l'introduzione di un nuovo harness di valutazione semplificato per testare gli agenti di codifica. Questo harness mira a facilitare una valutazione completa e migliorata degli agenti, consentendo un confronto migliore e guidando il continuo miglioramento di questi strumenti AI nel tempo.

L'agente CodeAct 1.0 introduce diverse capacità chiave, tra cui la possibilità di conversare con gli esseri umani, classificare il codice, confermare ed eseguire il codice (sia i comandi bash di Linux che Python) ed eseguire varie azioni relative ai file, come aprire, navigare, cercare ed modificare. Queste capacità si basano sulle lezioni apprese dal precedente framework di agenti SowaiBench, espandendo ulteriormente il set di strumenti e migliorando le prestazioni complessive.

Inoltre, il nuovo harness di valutazione incorpora un meccanismo di conto alla rovescia, ispirato al progetto Mint, che incoraggia il modello a completare i compiti entro un numero fisso di interazioni. Questo, insieme al processo di scrittura e analisi dei comandi bash semplificati, migliora la user-friendliness e l'accessibilità del framework.

Il nuovo agente CodeAct 1.0 di OpenDev è un aggiornamento significativo che mostra capacità impressionanti. Questo agente di codifica all'avanguardia ha raggiunto un notevole tasso di risoluzione del 21% sulla benchmark leggera non assistita di Sway Bench, un miglioramento del 177% rispetto alle sue prestazioni precedenti.

CodeAct 1.0 si basa sul framework CodeAct, consolidando le azioni degli agenti dei modelli linguistici di grandi dimensioni in un'interfaccia di codice unificata. Ciò consente all'agente di eseguire una vasta gamma di attività legate alla codifica, come conversare con gli esseri umani, classificare il codice, confermare ed eseguire il codice (inclusi i comandi bash di Linux e Python) e altro ancora.

L'agente è stato potenziato con set di strumenti aggiuntivi basati sui comandi bash, consentendogli di navigare nei file, creare e modificare file, cercare all'interno delle directory ed eseguire altre operazioni avanzate. Queste capacità sono il risultato dell'incorporazione dei feedback e delle lezioni apprese dal precedente agente Sway.

CodeAct 1.0 introduce anche un meccanismo di conto alla rovescia unico, mutuato dal progetto Mint, che incoraggia il modello a completare i compiti entro un numero fisso di interazioni. Inoltre, l'agente presenta un processo di scrittura di comandi bash e analisi delle azioni, rendendo l'interfaccia più accessibile e user-friendly.

Il secondo importante annuncio dei creatori di OpenDevon è l'introduzione di un nuovo harness di valutazione semplificato. Questo harness è progettato per facilitare un processo di valutazione completo e snello per gli agenti di codifica.

Lo scopo chiave di questo harness di valutazione è migliorare la valutazione e il confronto di diversi modelli di agenti nel tempo. Fornendo un framework standardizzato e user-friendly, consentirà agli sviluppatori di testare e valutare approfonditamente le capacità dei loro agenti di codifica.

L'harness di valutazione semplificato si concentra sui seguenti aspetti chiave:

1. Valutazione completa: L'harness consentirà una valutazione approfondita delle prestazioni di un agente in una vasta gamma di attività di codifica e scenari. Ciò fornirà una comprensione più olistica dei punti di forza e di debolezza di un agente.

2. Confronto migliorato: Il processo di valutazione standardizzato consentirà un confronto più accurato e significativo tra diversi modelli di agenti. Ciò aiuterà gli sviluppatori a identificare gli agenti più adatti alle loro esigenze specifiche.

3. Miglioramento iterativo: Stabilendo un framework di valutazione coerente, l'harness consentirà agli sviluppatori di monitorare i progressi e l'evoluzione dei loro agenti nel tempo. Ciò faciliterà il continuo miglioramento delle capacità degli agenti.

4. Accessibilità: La natura semplificata dell'harness di valutazione mira a rendere il processo di valutazione più user-friendly e accessibile a un più ampio gruppo di sviluppatori, favorendo una partecipazione e una collaborazione più ampie.

Il nuovo agente Kodak 1.0 di Open Devon rappresenta un notevole progresso nel campo dell'AI per la codifica. Questo agente all'avanguardia raggiunge un notevole tasso di risoluzione del 21% sulla benchmark leggera non assistita di Sway Bench, un miglioramento del 177% rispetto alle sue prestazioni precedenti.

Kodak 1.0 si basa sul framework Codex, consolidando le azioni degli agenti dei modelli linguistici di grandi dimensioni in un'interfaccia di codice unificata. Ciò consente all'agente di eseguire una vasta gamma di attività legate alla codifica, tra cui conversare con gli esseri umani, classificare il codice, confermare ed eseguire il codice (sia i comandi bash di Linux che Python) e navigare attraverso file e directory.

L'introduzione di un meccanismo di conto alla rovescia, ispirato al progetto Mint, incoraggia il modello a completare i suoi compiti entro un numero fisso di interazioni, promuovendo l'efficienza e la user-friendliness. Inoltre, il processo di scrittura di comandi bash e analisi delle azioni è stato semplificato, migliorando ulteriormente l'accessibilità del framework.

La capacità di Kodak di armonizzare le azioni dei modelli linguistici di grandi dimensioni con il codice eseguibile lo distingue dagli agenti tradizionali limitati alle uscite JSON o basate sul testo. Sfruttando pacchetti software estesi e il pre-training su dati di codice, Kodak può affrontare operazioni complesse e flussi di controllo e dati, consentendo lo sviluppo di software sofisticati e la risoluzione di attività del mondo reale su piattaforme come GitHub.

La maggior parte degli agenti esistenti basati su modelli linguistici di grandi dimensioni sono limitati dalla generazione di azioni solo in formato JSON o testo. Qui Kodak è in grado di offrire più flessibilità, consentendoti di combinare più strumenti insieme per eseguire diversi compiti.

Kodak si distingue utilizzando il pre-training su dati di codice dei modelli linguistici di grandi dimensioni esistenti. Ciò gli consente di supportare intrinsecamente operazioni complesse attraverso flussi di controllo e dati, nonché di attingere a pacchetti software estesi per espandere la sua funzionalità.

Le prestazioni promettenti di Kodak possono aiutarti a sviluppare vari tipi di software e risolvere attività del mondo reale, come quelle trovate su GitHub. Generando codice complesso, Kodak mira a liberare gli utenti dai compiti banali e a dotarli di un robusto framework di assistente alla codifica.

L'introduzione di una nuova metrica di valutazione semplificata aiuterà il team di Kodak a migliorare e valutare continuamente le prestazioni dell'agente nel tempo. Ciò consentirà loro di introdurre tattiche e algoritmi più avanzati per migliorare ulteriormente le capacità di Kodak nella risoluzione di sfide complesse.

L'introduzione di CodeAct 1.0 e del nuovo harness di valutazione semplificato da parte dei creatori di OpenDevon rappresenta progressi significativi nel framework open-source degli agenti per lo sviluppo software.

CodeAct 1.0 è un agente di codifica all'avanguardia che ha raggiunto un notevole tasso di risoluzione del 21% sulla benchmark leggera non assistita di Sway Bench, un miglioramento del 177% rispetto alle versioni precedenti. Questo agente consolida le azioni dei modelli linguistici di grandi dimensioni in un'interfaccia di codice unificata, consentendogli di eseguire una vasta gamma di attività legate alla codifica, come conversare con gli esseri umani, classificare il codice, confermare ed eseguire il codice e interagire con vari linguaggi di programmazione e strumenti.

Il nuovo harness di valutazione semplificato è progettato per facilitare una valutazione completa e migliorata degli agenti di codifica, consentendo un confronto migliore e un miglioramento continuo di questi agenti nel tempo. Ciò contribuirà a guidare il continuo miglioramento del framework OpenDevon, garantendo che gli utenti possano accedere agli agenti di punta per le loro esigenze di sviluppo software.

Questi due importanti aggiornamenti al framework OpenDevon dimostrano l'impegno dei suoi creatori nel fornire una piattaforma open-source, flessibile e potente per gli agenti di sviluppo software. Sfruttando le capacità dei modelli linguistici di grandi dimensioni e incorporando feedback e lezioni apprese da progetti precedenti, OpenDevon è pronta a potenziare gli utenti nella costruzione e distribuzione di applicazioni software complesse in modo più efficiente che mai.