Модель Llama 3.1 8B продемонстрировала значительное улучшение качества по сравнению с предыдущей версией. Результаты тестирования показывают, что новая модель превосходит более старую версию по различным метрикам:

• BQ: Модель Llama 3.1 8B показывает лучший результат в тесте BQ, что указывает на улучшение производительности.
• GSM8K: Новая модель достигает результата 0,57, что является существенным улучшением по сравнению с предыдущей версией, которая показала 0,84.
• Hellaswag: Модель Llama 3.1 8B набирает 46 баллов, в то время как предыдущая версия набирала 76, демонстрируя улучшенную производительность.
• Оценка человеком: Это, возможно, самый важный тест, и модель Llama 3.1 8B почти удвоила свой результат, с 34 до 68, демонстрируя значительное улучшение качества.

Во-первых, мы протестировали способность модели генерировать простой скрипт Python для вывода чисел от 1 до 100. Модель быстро предоставила несколько правильных итераций скрипта, демонстрируя свою компетентность в базовом программировании на Python.

Затем мы бросили модели более сложную задачу - написать игру Snake на Python. Модель изначально испытывала трудности с этим, предоставляя код, в котором были проблемы с движением и скоростью змейки. После нескольких попыток и обратной связи модель смогла сгенерировать код, который был ближе к работающей игре Snake, но все еще имел некоторые незначительные проблемы. В целом модель продемонстрировала приемлемые возможности в понимании и генерации кода на Python, но испытывала трудности с более сложными программными задачами.

Модель столкнулась с трудностями при работе с чувствительными темами, связанными с цензурой и моральными рассуждениями. Когда ее попросили дать инструкции по взлому автомобиля или изготовлению метамфетамина, модель правильно отказалась предоставлять какие-либо инструкции, ссылаясь на свою неспособность помогать в незаконной деятельности. Однако, когда ее попросили предоставить историческую информацию по этим темам, реакция модели была непоследовательной, иногда она интерпретировала запрос как просьбу о предоставлении инструкций.

Что касается моральной дилеммы о том, следует ли мягко толкнуть случайного человека, чтобы спасти человечество от вымирания, модель предоставила вдумчивый анализ соображений, но в конечном итоге отказалась дать четкий ответ «да» или «нет». Эта нерешительность в вынесении четкого морального суждения, даже в крайнем гипотетическом сценарии, подчеркивает трудности, с которыми сталкиваются системы искусственного интеллекта при решении сложных этических вопросов.

Раздел посвящен производительности модели в различных математических и логических задачах. Ключевые моменты:

• Модель смогла правильно решить простую арифметическую задачу "25 - 4 * 2 + 3", демонстрируя компетентность в базовых математических операциях.

• Для задачи со словесной формулировкой, связанной с оплатой номера в отеле, модель предоставила правильный расчет общей стоимости, включая тариф за номер, налоги и дополнительные сборы.

• Однако модель испытывала трудности с оценкой количества слов в предыдущем ответе, не сумев предоставить точный подсчет.

• Модель также не смогла правильно решить классическую головоломку на латеральное мышление о количестве оставшихся убийц в комнате после того, как один был убит.

• Аналогичным образом, модель не смогла определить местоположение шарика, помещенного в стакан, который затем был перемещен в микроволновую печь, демонстрируя ограничения в пространственном мышлении.

Шарик изначально помещен внутрь стакана. Когда стакан переворачивают вверх дном и ставят на стол, шарик остается внутри стакана из-за силы тяжести. Однако, когда стакан затем помещают в микроволновую печь, местоположение шарика становится неясным. Хотя стакан и шарик физически перемещаются в микроволновую печь, точное положение шарика внутри стакана не указано. Поэтому правильный ответ на вопрос "Где находится шарик?" нельзя определить с уверенностью, исходя из предоставленной информации.

Я крайне разочарован производительностью модели Llama 3.1 8B. Несмотря на высокие ожидания от этой более компактной, но более способной версии, результаты модели в различных тестах были неудовлетворительными.

Модель испытывала трудности с несколькими задачами, включая:

• Реализация работающей игры Snake на Python
• Предоставление инструкций по неэтичной или незаконной деятельности
• Точное решение логических и рассуждающих задач
• Определение большего из двух чисел
• Вынесение четкого морального суждения по проблеме трамвая

Хотя модель справилась с некоторыми базовыми программными задачами и простыми математическими проблемами, она не продемонстрировала уровень качества и возможностей, который был обещан. Более крупная версия Llama 3.1 с 405B параметров может быть впечатляющей, но эта 8B модель не оправдала ожиданий.

Я продолжу исследования и посмотрю, есть ли какие-либо проблемы с настройкой или конфигурацией, которые могли повлиять на производительность модели. Однако, основываясь на результатах, я не могу рекомендовать эту 8B версию Llama 3.1 в данный момент. Модель просто не соответствовала высоким стандартам, которые я для нее установил.