OpenDevin, het open-source alternatief voor DeepMind's DeepCode, heeft onlangs twee grote upgrades van zijn framework aangekondigd. De eerste is de introductie van CodeAct 1.0, een nieuwe state-of-the-art codingagent die een opmerkelijke oplossnelheid van 21% op de SowaiBench light onbemande versie bereikt, een verbetering van 177% ten opzichte van zijn eerdere prestaties. Deze agent bouwt voort op het CodeAct-framework, waarbij de acties van grote taalmodellenagenten worden samengevoegd tot een geïntegreerde code-interface.

De tweede aankondiging is de introductie van een nieuw vereenvoudigd evaluatieharnas voor het testen van codingagenten. Dit harnas heeft als doel een alomvattende en verbeterde evaluatie van agenten mogelijk te maken, waardoor een betere vergelijking mogelijk is en de continue verbetering van deze AI-tools in de loop van de tijd wordt aangedreven.

De CodeAct 1.0-agent introduceert verschillende sleutelcapaciteiten, waaronder het vermogen om met mensen te communiceren, code te classificeren, code te bevestigen en uit te voeren (zowel Linux bash-opdrachten als Python) en verschillende bestandsgerelateerde acties uit te voeren zoals openen, navigeren, zoeken en bewerken. Deze capaciteiten zijn gebaseerd op de lessen die zijn geleerd van het vorige SowaiBench-agentframework, waarbij de toolset verder is uitgebreid en de algehele prestaties zijn verbeterd.

Bovendien incorporeert het nieuwe evaluatieharnas een aftelmechanisme, geïnspireerd door het Mint-project, dat het model aanmoedigt om taken binnen een vast aantal interacties uit te voeren. Dit, samen met het proces van het schrijven en parseren van vereenvoudigde bash-opdrachten, verbetert de gebruiksvriendelijkheid en toegankelijkheid van het framework.

Deze upgrades van OpenDevin tonen de voortdurende inspanningen om softwareontwikkeling te versterken met geavanceerde AI-agenten. Door gebruik te maken van pre-training van grote taalmodellen op codegegevens en zich te richten op het benutten van uitgebreide softwarepakketten, streeft de CodeAct 1.0-agent ernaar complexe codingstaken en real-world softwareontwikkelingsuitdagingen effectiever aan te pakken. Het nieuwe vereenvoudigde evaluatieharnas zal de continue verbetering van deze agenten verder stimuleren, wat uiteindelijk ontwikkelaars en softwareingenieurs in hun dagelijkse werk ten goede zal komen.