AutoCoder är en ny stor språkmodell som nyligen har väckt stor uppmärksamhet i AI-gemenskapen. Denna modell har överträffat prestandan hos GPT-4 Turbo (versionen från april 2024) samt den nyare GPT-4 Omni på den prestigefyllda Human Eval-benchmarken, vilket är en imponerande prestation.

Vad som särskiljer AutoCoder är dess mångsidiga kodtolkare. Till skillnad från GPT-4 Turbo och Omni, som är begränsade till inbyggda paket, kan AutoCoder automatiskt installera externa paket efter behov, vilket avsevärt utökar omfånget av uppgifter den kan hantera. Denna funktion gör det möjligt för AutoCoder att ta sig an en bredare uppsättning kodutmaningar.

En annan nyckelskillnad är sättet som kodtolkaren används på. Med AutoCoder används tolkaren selektivt, endast när användaren behöver verifiera koden. I kontrast med detta kör den öppna kodtolkaren i GPT-4 Turbo all genererad Python-kod som standard, utan att vänta på användarindata eller kodverifiering.

AutoCoder:s imponerande prestanda kan tillskrivas dess unika träningsprocess. Modellens träningsdata är en flervändars dialogdatauppsättning, skapad genom att kombinera agentinteraktioner och extern kodexekveringsverifiering. Denna instruktionsanpassade metod, som vi tidigare har diskuterat, hjälper modellen att lära sig att generera högkvalitativ, körbar kod.

Sammanfattningsvis gör AutoCoder:s funktioner den till en mycket lovande öppen källkodmodell för kodningsuppgifter. Dess förmåga att överträffa de senaste GPT-4-modellerna på Human Eval-benchmarken är ett bevis på framstegen inom stora språkmodeller för kodgenerering och tolkning.