AutoCoder ist ein neues großes Sprachmodell, das in der KI-Gemeinschaft kürzlich für Aufsehen gesorgt hat. Dieses Modell hat die Leistung von GPT-4 Turbo (der Version vom April 2024) sowie das neuere GPT-4 Omni auf dem renommierten Human Eval-Benchmark übertroffen, was eine beeindruckende Leistung ist.

Was AutoCoder auszeichnet, ist sein vielseitiger Code-Interpreter. Im Gegensatz zu GPT-4 Turbo und Omni, die auf eingebaute Pakete beschränkt sind, kann AutoCoder externe Pakete nach Bedarf automatisch installieren, was den Umfang der Aufgaben, die es bewältigen kann, erheblich erweitert. Dieses Merkmal ermöglicht es AutoCoder, eine breitere Palette von Coding-Herausforderungen anzugehen.

Ein weiterer Schlüsselunterschied ist die Art und Weise, wie der Code-Interpreter aufgerufen wird. Bei AutoCoder wird der Interpreter selektiv verwendet, nur wenn der Benutzer den Code überprüfen muss. Im Gegensatz dazu läuft der offene Code-Interpreter in GPT-4 Turbo standardmäßig alle generierten Python-Codes aus, ohne auf Benutzereingaben oder Code-Überprüfung zu warten.

Die beeindruckende Leistung von AutoCoder kann auf seinen einzigartigen Trainingsprozess zurückgeführt werden. Die Trainingsdaten des Modells sind ein Mehrfach-Dialog-Datensatz, der durch die Kombination von Agenten-Interaktionen und externer Code-Ausführungsüberprüfung erstellt wurde. Dieser Instruktions-Feinabstimmungsansatz, den wir bereits besprochen haben, hilft dem Modell, hochwertige, ausführbare Codes zu generieren.

Die KI-EV-Instruktionsarchitektur ist in zwei Hauptphasen unterteilt: die Lehrphase und die Selbstlernphase.

In der Lehrphase lernt das Modell hauptsächlich durch das Destillieren von Wissen aus einem Lehrermodell wie GPT-4 Turbo oder DeBERTa. Diese Phase umfasst vier Schlüsselschritte:

1. Initialisierung: Das Modell initialisiert Rollen, Dialognachrichten und den Code-Interpreter.
2. Problemlösung: Das Modell beschreibt Probleme und liefert Lösungen, wobei die Dialognachrichten mit der Problembeschreibung ergänzt werden.
3. Ausführungsfeedback: Das Modell behandelt Fehler, liefert Beschreibungen in natürlicher Sprache und modifiziert das Code-Modell.
4. Beendigung: Wenn das Programm erfolgreich ausgeführt wird, werden die Dialognachrichten angehängt, um die Analyse eines Datensatzes abzuschließen, und der Prozess geht in die Datenevaluierungsphase über.

In der Selbstlernphase ersetzt das Studentenmodell das ursprüngliche Modell und übernimmt die Rollen sowohl des Fragestellers als auch des Programmierers. Das Studentenmodell durchläuft den gesamten Ausführungsrückkopplungsprozess selbstständig, was es ihm ermöglicht, weiter zu lernen und seine Leistung zu verbessern, ohne sich auf das Lehrermodell verlassen zu müssen.

Diese zweistufige Architektur ermöglicht es dem KI-EV-Instruktionsmodell, seine Code-Interpretationsfähigkeiten auf effizientere und effektivere Weise zu lernen und zu verbessern, was seine Leistung auf dem Human Eval-Benchmark im Vergleich zu anderen State-of-the-Art-Modellen wie GPT-4 Turbo und GPT-4 Omni übertrifft.

AutoCoder, ein neues großes Sprachmodell mit Schwerpunkt auf Code-Verbesserung, verfügt über einen deutlich robusteren Datensatz im Vergleich zu anderen State-of-the-Art-Modellen mit Fokus auf Coding. Hier ist eine Aufschlüsselung der wichtigsten Unterschiede:

• AutoCoder-Datensatz: 169.000 Datensätze, 241 Dialogrunden, einschließlich Hauptfunktion, Paketinstallationen, Code-Ausführungsfehlern und Korrekturen. Er enthält auch Unittests für eine bessere Genauigkeit.

• Magic Coder OSS Instruct: 75.000 Datensätze, 75 Dialogrunden.

• Magic Coder EAL Instruct: Nur 1.111 Datensätze, 111 Dialogrunden.

Der deutlich größere Datensatz und die umfangreicheren Dialogrunden in den Trainingsdaten von AutoCoder verschaffen ihm einen klaren Vorteil gegenüber anderen Modellen. Die Einbeziehung von Unittests verbessert die Genauigkeit und Zuverlässigkeit des von AutoCoder generierten Codes zusätzlich.

Im Vergleich zu größeren Sprachmodellen wie LLaMA 7B und GPT-4 Omni Ultra behauptet sich AutoCoder und zeigt seine starke Leistung im Coding-Bereich. Dieses Open-Source-Modell bietet eine aufregende Gelegenheit für Entwickler, seine Fähigkeiten in ihren Projekten zu nutzen.

AutoCoder, ein neues großes Sprachmodell mit Schwerpunkt auf Code-Generierung und -Interpretation, hat kürzlich die Leistung von GPT-4 Turbo (Version vom April 2024) und GPT-4 Omni auf dem Human Eval-Benchmark übertroffen. Dies ist eine bemerkenswerte Leistung, da diese Modelle zuvor als State-of-the-Art auf dem Gebiet der codebezogenen Aufgaben galten.

Einer der Hauptvorteile von AutoCoder ist seine Fähigkeit, auf externe Bibliotheken zuzugreifen und diese zu nutzen, im Gegensatz zum stärker eingeschränkten GPT-4 Turbo-Modell. Diese erweiterte Funktionalität ermöglicht es AutoCoder, eine breitere Palette von Aufgaben und Anwendungen zu bewältigen. Darüber hinaus ist das AutoCoder-Modell so konzipiert, dass es den Code-Interpreter selektiv auf der Grundlage der Benutzeranforderungen aufruft, anstatt wie der offene Code-Interpreter alle generierten Codes standardmäßig auszuführen.

In Bezug auf die Trainingsdaten verfügt AutoCoder über einen deutlich größeren Datensatz im Vergleich zu anderen Modellen, die sich auf Coding-Aufgaben konzentrieren. Der AutoCoder-Datensatz enthält 169.000 Datensätze mit 241 Dialogrunden, einschließlich Hauptfunktion, Paketinstallationen, Code-Ausführungsfehlern und Korrekturen. Dieser umfassende Datensatz ermöglicht es dem Modell, seine Code-Generations- und -Interpretationsfähigkeiten effektiver zu lernen und zu verbessern.

Wenn man AutoCoder mit anderen State-of-the-Art-Modellen wie LLaMA 400B und GPT-4 Omni Ultra für Gemini vergleicht, hat AutoCoder seine Fähigkeit bewiesen, mit diesen großen institutionellen Sprachmodellen zu konkurrieren und sie sogar zu übertreffen. Dies ist eine bemerkenswerte Leistung für ein Open-Source-Modell und zeigt das Potenzial von AutoCoder, zu einem wertvollen Werkzeug im Bereich der codebezogenen Aufgaben zu werden.

Insgesamt heben die Benchmark-Ergebnisse die beeindruckenden Fähigkeiten des AutoCoder-Modells und sein Potenzial hervor, die Art und Weise, wie wir Code-Generierung und -Interpretation angehen, zu revolutionieren. Als Open-Source-Modell bietet AutoCoder eine aufregende Gelegenheit für Entwickler und Forscher, seine fortschrittlichen Funktionen zu erforschen und zu nutzen.

Die Einführung von AutoCoder, einem neuen großen Sprachmodell, das GPT-4 Turbo und GPT-4 Omni auf dem Human Eval-Benchmark übertrifft, ist eine bedeutende Entwicklung auf dem Gebiet der Code-Interpretation und -Generierung. Dieses Open-Source-Modell, das auf der DeepSE-Coder-Architektur basiert, bietet einen vielseitigeren und leistungsfähigeren Code-Interpreter im Vergleich zu seinen Vorgängern.

Eines der Hauptmerkmale von AutoCoder ist seine Fähigkeit, externe Pakete automatisch zu installieren, was den Umfang seiner Code-Interpretationsfähigkeiten erweitert. Dies ist eine erhebliche Verbesserung gegenüber den Einschränkungen von GPT-4 Turbo, das nur auf eingebaute Pakete beschränkt ist. Der selektive Einsatz des Code-Interpreters, je nach Benutzeranforderungen, ist ein weiterer beachtenswerter Aspekt von AutoCoder.

Die Trainingsdaten des Modells, die einen Mehrfach-Dialog-Datensatz und ein System zur Kombination von Agenten-Interaktionen mit externer Code-Ausführungsüberprüfung umfassen, haben zu seiner beeindruckenden Leistung beigetragen. Der Vergleich des AutoCoder-Datensatzes mit anderen State-of-the-Art-Modellen wie LLaMA 3 400B und GPT-4 Omni Ultra hebt seine Vorteile weiter hervor.

Insgesamt stellt die Einführung von AutoCoder einen bedeutenden Schritt in der Entwicklung großer Sprachmodelle für codebezogene Aufgaben dar. Sein Open-Source-Charakter und seine verbesserten Fähigkeiten machen es zu einem wertvollen Werkzeug für Entwickler und Forscher gleichermaßen, und es wird interessant sein zu beobachten, wie es sich weiterentwickelt und den Bereich der KI-unterstützten Programmierung beeinflusst.