Расширенная версия Llama-3 с контекстным окном до 1 миллиона токенов демонстрирует несколько преимуществ:

1. Улучшенный поиск информации: Более широкое контекстное окно позволяет модели лучше извлекать релевантную информацию из заданного ввода, что подтверждается впечатляющими результатами на тесте "иголка в стоге сена".

2. Улучшенные способности рассуждения: Хотя результаты для извлечения нескольких фактов не были включены, сильные результаты модели по извлечению одного факта свидетельствуют о потенциальном улучшении ее способностей к рассуждению по сравнению с моделями с меньшими контекстными окнами.

3. Эффективное обучение: Процесс обучения расширенной модели Llama-3 был относительно быстрым, потребовав всего 1,4 миллиарда токенов, что составляет менее 0,1% от исходных данных для обучения Llama-3. Этот эффективный подход к обучению является свидетельством эффективности техники оптимизации Rope Theta.

4. Снижение требований к памяти: 4-битная квантованная версия расширенной модели Llama-3 может работать на системах с всего 64 ГБ VRAM, что делает ее доступной для более широкого круга пользователей и исследователей.

5. Потенциал для улучшения производительности: Расширенная модель Llama-3 имеет потенциал для превосходства над оригинальной 8-миллиардной моделью в задачах, требующих извлечения и рассуждения информации из длинного контента, таких как помощь в программировании и извлечение информации.

Тест "иголка в стоге сена" - это способ оценки способностей рассуждения и извлечения больших языковых моделей (LLM) типа Lama 3. В этом тесте случайный факт или утверждение помещается в середину более крупного контекста ("стога сена"), и модели предлагается извлечь это утверждение.

Тест включает в себя итерацию по различным глубинам документа и длинам контекста, чтобы измерить производительность модели. Ключевые выводы из этого теста:

1. Размер контекстного окна: Более широкие контекстные окна (например, 128 000 токенов для GPT-4) позволяют модели лучше извлекать единичный факт, независимо от его местоположения в контексте. Однако по мере увеличения размера контекстного окна точность модели в извлечении нескольких фактов из контекста начинает снижаться.

2. Извлечение против рассуждения: Тест "иголка в стоге сена" выявляет компромисс между способностями модели к извлечению (нахождение одного факта) и ее способностями к рассуждению (понимание и извлечение нескольких фактов). Более широкие контекстные окна улучшают извлечение, но могут негативно повлиять на способности модели к рассуждению.

3. Производительность Lama 3: Расширенная версия Lama 3 с контекстным окном в 1 миллион токенов показывает хорошие результаты в задаче извлечения одного факта, но авторы не включили результаты для извлечения нескольких фактов. Эта информация была бы ценной для полного понимания возможностей модели.

Модель Llama-3 с контекстным окном в 1 миллион токенов была разработана в рамках открытых усилий. Оригинальная модель Llama-3 имела гораздо меньшее контекстное окно в 8 000 токенов, что значительно меньше по сравнению с другими большими языковыми моделями (LLM), такими как Mistral 7B Instruct, у которой контекстное окно 32 000 токенов.

Исследователям удалось расширить контекстное окно Llama-3 до 1 миллиона токенов, используя технику оптимизации Rope Theta. Это позволило им достичь значительного увеличения размера контекстного окна с минимальными дополнительными затратами на обучение, используя всего 1,4 миллиарда токенов, что менее 0,1% от исходных данных для обучения Llama-3.

Процесс обучения включал постепенное увеличение размера контекстного окна, начиная с 65 000 токенов, затем 260 000 токенов и, наконец, достигая 1 миллиона токенов. Этот пошаговый подход позволил исследователям эффективно обучить модель без чрезмерных вычислительных ресурсов.

Для запуска версии Llama-3 с контекстным окном в 1 миллион токенов локально вам потребуется использовать реализацию Llama, предоставленную командой Anthropic, известную как OLlama. Вот шаги:

1. Установите OLlama на вашу систему. Инструкции можно найти в предыдущих видео, упомянутых в описании.

2. Скачайте модель Llama-3 Gradient с контекстным окном в 1 миллион токенов. Ссылку можно найти в расшифровке.

3. Запустите команду OLlama, чтобы загрузить модель:

   oma run Llama3-gradient
   

   Это загрузит модель впервые, что может занять некоторое время.

4. Установите размер контекстного окна на желаемое значение. В примере контекстное окно установлено на 256 000 токенов:

   /set_parameter context_window 256000
   

   Имейте в виду, что требования к памяти для запуска модели с контекстным окном в 1 миллион токенов могут превышать 100 ГБ VRAM, поэтому убедитесь, что ваша система имеет достаточно ресурсов.

Модель была протестирована на различных запросах, чтобы оценить ее возможности:

1. Неподцензурные запросы: Модель была относительно неподцензурной по сравнению с предыдущими версиями, отказываясь давать инструкции по незаконным действиям, таким как взлом автомобиля. Однако она была готова предоставить информацию о том, как убить процесс Linux, демонстрируя свою способность предоставлять техническую информацию.

2. Способности рассуждения: Модель показала хорошие результаты в задачах рассуждения, правильно определив, что в данной проблеме нет "Салли", и определив количество братьев. Она также смогла сгенерировать простую шутку, демонстрируя свои творческие способности.

3. Извлечение информации: Модель показала хорошие результаты в задачах извлечения информации из коротких контекстов, точно отвечая на вопросы на основе предоставленной информации. Однако при тестировании на более длинном 27-страничном документе с не относящимся к контексту утверждением модель не смогла извлечь нерелевантную информацию, вместо этого галлюцинируя ответы.

Тестирование 4-битной квантованной версии модели Llama 3 с контекстным окном в 1 миллион токенов выявило несколько ограничений:

1. Галлюцинации и неточное извлечение: При предъявлении большого 27-страничного контекста модель испытывала трудности с точным извлечением конкретной информации. Вместо этого она часто галлюцинировала нерелевантные детали или генерировала текст, не имеющий смысла.

2. Артефакты квантования: Сильное квантование модели до 4 бит, по-видимому, негативно повлияло на ее способности к рассуждению и извлечению, особенно при работе с длинным контентом. Это, вероятно, связано с потерей точности во время процесса квантования.

3. Потенциальные проблемы с реализацией AMA: Автор подозревает, что реализация AMA может неправильно обрабатывать токен конца последовательности, что может способствовать склонности модели генерировать бесконечные циклы текста, лишенного связности.

Расширенная версия контекстного окна Lama 3 в 1 миллион токенов демонстрирует многообещающие возможности в качестве помощника в программировании. Когда ей был предоставлен простой Python-код с несколькими ошибками, модель смогла определить и исправить проблемы в функциях add, subtract и divide.

Модель продемонстрировала свою способность понимать структуру и логику кода, а также предоставлять точную обратную связь по выявленным проблемам. Это свидетельствует о том, что Lama-3 может быть ценным инструментом для разработчиков, помогая им быстрее находить и исправлять ошибки в своем коде.

Расширенная версия контекстного окна Lama 3 демонстрирует многообещающие результаты, особенно в тесте "иголка в стоге сена" и задачах помощи в программировании. Однако производительность модели в задачах извлечения информации из больших контекстов, похоже, ограничена, возможно, из-за эффектов квантования или проблем с реализацией AMA.

Хотя усилия сообщества открытого исходного кода по расширению границ языковых моделей достойны похвалы, текущая версия Lama 3 с контекстным окном в 1 миллион токенов все еще нуждается в улучшении. Отсутствие всесторонних результатов тестирования и склонность модели к галлюцинациям в больших контекстах - это области, требующие дальнейшего исследования и доработки.