AutoCoder - это новая крупная языковая модель, которая недавно наделала шума в сообществе ИИ. Эта модель превзошла производительность GPT-4 Turbo (версия апреля 2024 года), а также более новую модель GPT-4 Omni на престижном бенчмарке Human Eval, что является впечатляющим достижением.

То, что выделяет AutoCoder, - это его универсальный интерпретатор кода. В отличие от GPT-4 Turbo и Omni, которые ограничены встроенными пакетами, AutoCoder может автоматически устанавливать внешние пакеты по мере необходимости, значительно расширяя круг задач, которые он может решать. Эта функция позволяет AutoCoder справляться с более широким спектром задач по программированию.

Еще одно ключевое отличие - это способ вызова интерпретатора кода. В AutoCoder интерпретатор используется избирательно, только когда пользователю нужно проверить код. В отличие от этого, открытый интерпретатор кода в GPT-4 Turbo по умолчанию запускает весь сгенерированный код на Python, не дожидаясь ввода пользователя или проверки кода.

Впечатляющая производительность AutoCoder может быть объяснена его уникальным процессом обучения. Набор данных для обучения модели представляет собой многоходовый диалоговый набор данных, созданный путем объединения взаимодействий агентов и внешней проверки выполнения кода. Этот подход настройки на инструкции, о котором мы уже говорили ранее, помогает модели научиться генерировать качественный, исполняемый код.

Архитектура AI EV Instruct разделена на два основных этапа: этап обучения и этап самообучения.

На этапе обучения модель в основном учится путем извлечения знаний из модели-учителя, такой как GPT-4 Turbo или DeBERTa. Этот этап включает четыре ключевых шага:

1. Инициализация: Модель инициализирует роли, диалоговые сообщения и интерпретатор кода.
2. Решение проблем: Модель описывает проблемы и предлагает решения, при этом диалоговые сообщения дополняются описанием проблемы.
3. Обратная связь по выполнению: Модель обрабатывает ошибки, предоставляет описания на естественном языке и модифицирует модель кода.
4. Завершение: Если программа успешно выполнена, диалоговые сообщения добавляются для завершения анализа одной записи данных, и процесс переходит к этапу оценки данных.

Этап самообучения - это этап, на котором студенческая модель заменяет исходную модель и берет на себя роли как спрашивающего, так и программиста. Студенческая модель самостоятельно проходит весь процесс обратной связи по выполнению, позволяя ей продолжать обучение и улучшать свою производительность без опоры на модель-учителя.

Эта двухэтапная архитектура позволяет модели AI EV Instruct обучаться и совершенствовать свои возможности интерпретации кода более эффективным и результативным способом, превосходя производительность других современных моделей, таких как GPT-4 Turbo и GPT-4 Omni, на бенчмарке Human Eval.

AutoCoder, новая крупная языковая модель, ориентированная на улучшение кода, имеет значительно более надежный набор данных по сравнению с другими современными моделями, ориентированными на программирование. Вот краткий обзор ключевых различий:

• Набор данных AutoCoder: 169 тыс. образцов данных, 241 раунд диалога, включая основную функцию, установку пакетов, ошибки выполнения кода и исправления. Он также включает модульные тесты для повышения точности.

• Magic Coder OSS Instruct: 75 тыс. образцов данных, 75 раундов диалога.

• Magic Coder EAL Instruct: Всего 1 111 образцов данных, 111 раундов диалога.

Значительно больший набор данных и более всесторонние раунды диалога в тренировочных данных AutoCoder дают ему явное преимущество перед другими моделями. Включение модульных тестов также повышает точность и надежность кода, генерируемого AutoCoder.

При сравнении с более крупными языковыми моделями, такими как LLaMA 7B и GPT-4 Omni Ultra, AutoCoder держит свои позиции, демонстрируя свою сильную производительность в области программирования. Эта открытая модель представляет захватывающую возможность для разработчиков использовать ее возможности в своих проектах.

AutoCoder, новая крупная языковая модель, ориентированная на генерацию и интерпретацию кода, недавно превзошла производительность GPT-4 Turbo (версия апреля 2024 года) и GPT-4 Omni на бенчмарке Human Eval. Это замечательное достижение, поскольку эти модели ранее считались передовыми в области задач, связанных с кодом.

Одним из ключевых преимуществ AutoCoder является его способность получать доступ и использовать внешние библиотеки, в отличие от более ограниченной модели GPT-4 Turbo. Эта расширенная функциональность позволяет AutoCoder справляться с более широким кругом задач и приложений. Кроме того, модель AutoCoder разработана для избирательного вызова интерпретатора кода в соответствии с требованиями пользователя, а не для запуска всего сгенерированного кода по умолчанию, как в случае с открытым интерпретатором кода.

Что касается тренировочных данных, AutoCoder может похвастаться значительно более крупным набором данных по сравнению с другими моделями, ориентированными на задачи программирования. Набор данных AutoCoder содержит 169 000 образцов данных с 241 раундом диалога, включая основную функцию, установку пакетов, ошибки выполнения кода и исправления. Этот всеобъемлющий набор данных позволяет модели более эффективно обучаться и улучшать свои возможности генерации и интерпретации кода.

При сравнении с другими передовыми моделями, такими как LLaMA 400B и GPT-4 Omni Ultra для Gemini, AutoCoder продемонстрировал свою способность конкурировать и даже превосходить эти крупные институциональные языковые модели. Это замечательное достижение для открытой модели, демонстрирующее потенциал AutoCoder стать ценным инструментом в области задач, связанных с кодом.

В целом, результаты бенчмаркинга подчеркивают впечатляющие возможности модели AutoCoder и ее потенциал для революционизации подхода к генерации и интерпретации кода. Как открытая модель, AutoCoder представляет захватывающую возможность для разработчиков и исследователей изучать и использовать ее передовые функции.

Появление AutoCoder, новой крупной языковой модели, которая превосходит GPT-4 Turbo и GPT-4 Omni на бенчмарке Human Eval, является значительным событием в области интерпретации и генерации кода. Эта открытая модель, основанная на архитектуре DeepSE coder, предлагает более универсальный и мощный интерпретатор кода по сравнению со своими предшественниками.

Одной из ключевых особенностей AutoCoder является его способность автоматически устанавливать внешние пакеты, расширяя сферу его возможностей по интерпретации кода. Это значительное улучшение по сравнению с ограничениями GPT-4 Turbo, который ограничен только встроенными пакетами. Избирательное использование интерпретатора кода в зависимости от требований пользователя - еще одна примечательная особенность AutoCoder.

Тренировочные данные модели, включающие многоходовый диалоговый набор данных и систему объединения взаимодействий агентов с внешней проверкой выполнения кода, способствовали ее впечатляющей производительности. Сравнение набора данных AutoCoder с другими передовыми моделями, такими как LLaMA 3 400B и GPT-4 Omni Ultra, дополнительно подчеркивает его преимущества.

В целом, появление AutoCoder представляет собой значительный шаг вперед в развитии крупных языковых моделей для задач, связанных с кодом. Его открытый характер и улучшенные возможности делают его ценным инструментом для разработчиков и исследователей, и будет интересно наблюдать, как он будет продолжать развиваться и влиять на область ИИ-ассистированного программирования.