Работа с PDF-файлами для приложений на основе больших языковых моделей (LLM) может быть чрезвычайно сложной. PDF-файлы по сути являются "сломанным" форматом, поскольку они часто имеют сложную структуру с вложенными элементами разных типов данных, и нет стандартного макета, что затрудняет извлечение данных из них.

Некоторые из ключевых проблем включают:

• Сложная структура: PDF-файлы могут иметь вложенную структуру с различными типами данных, такими как текст, таблицы, изображения и уравнения, что затрудняет анализ и извлечение соответствующей информации.

• Отсутствие стандартизации: Нет стандартного макета для PDF-файлов, что означает, что данные могут быть организованы различными способами, что затрудняет разработку универсального решения для извлечения информации.

• Проблемы с кодировкой и форматированием: PDF-файлы могут иметь различные кодировки и форматирование, такие как различные шрифты и макеты, что может дополнительно усложнить процесс извлечения данных.

• Таблицы и изображения: Извлечение данных из таблиц и изображений внутри PDF-файлов может быть особенно сложным, поскольку макет и форматирование этих элементов могут значительно различаться.

• Ошибки и неточности: Процесс извлечения данных из PDF-файлов подвержен ошибкам и неточностям, что может негативно повлиять на производительность приложений LLM.

Markdown - это легковесный язык разметки, который предлагает несколько преимуществ при работе с большими языковыми моделями (LLM):

1. Структурированные данные: Markdown сохраняет исходное форматирование документа, включая заголовки, изображения, таблицы и уравнения. Эти структурированные данные могут быть эффективно обработаны LLM, позволяя им понять контекст и взаимосвязи в содержимом.

2. Простота преобразования: Преобразование PDF-файлов, которые часто являются основным источником текстовых данных, в простой текст может быть трудоемкой задачей из-за сложной структуры и форматирования PDF. С другой стороны, Markdown можно легко преобразовать в простой текст, что делает его более подходящим форматом для LLM.

3. Последовательность: Markdown обеспечивает последовательный и стандартизированный способ форматирования текста, что может быть особенно полезно при работе с большими наборами данных или несколькими документами. Эта последовательность может улучшить производительность и надежность приложений LLM.

Marker - это открытое программное средство, которое позволяет быстро и точно преобразовывать сложные PDF-файлы в хорошо структурированный Markdown. Это особенно полезно при работе с большими языковыми моделями (LLM), поскольку Markdown обеспечивает чистый и легко обрабатываемый формат по сравнению с проблемами, связанными с PDF-файлами.

Marker поддерживает широкий спектр типов документов, включая книги, научные статьи и даже резюме. Он оптимизирован для обработки сложностей структуры PDF, удаляя заголовки, колонтитулы и другие артефакты для извлечения основного содержимого. Кроме того, Marker форматирует таблицы, блоки кода и уравнения (преобразуя большинство в LaTeX) и сохраняет любые изображения, найденные в исходном документе.

Marker - это открытое программное средство, которое предлагает несколько преимуществ по сравнению с другими инструментами преобразования PDF в Markdown. По сравнению с Nuget, другим популярным открытым инструментом, Marker работает значительно быстрее, занимая около 100 секунд для обработки одной страницы текста, по сравнению с 400 секундами для Nuget. Кроме того, точность Marker почти в два раза выше, чем у Nuget.

Для установки и использования инструмента Marker выполните следующие шаги:

1. Создайте новое окружение Conda и назовите его marker:

   conda create -n marker python=3.9
   conda activate marker
   

2. Установите PyTorch, который требуется для Marker:

   # Для Mac
   pip install torch torchvision torchaudio
   
   # Для Linux
   # Используйте соответствующую команду с веб-сайта PyTorch
   
   # Для Windows
   # Используйте соответствующую команду с веб-сайта PyTorch
   

3. Установите пакет Marker, используя pip:

   pip install marker-pdf
   

4. Для преобразования одного PDF-файла в Markdown используйте следующую команду:

   marker-single <path_to_pdf_file> <output_directory>
   

5. Для преобразования нескольких PDF-файлов в Markdown используйте следующую команду:

   marker-multi <directory_with_pdf_files> <output_directory>
   

Marker - это открытое программное средство, которое может эффективно преобразовывать сложные PDF-файлы в хорошо структурированный формат Markdown. Некоторые из его ключевых возможностей включают:

• Поддержка широкого спектра документов, включая книги, научные статьи и резюме.
• Оптимизация для извлечения содержимого из PDF-файлов, удаление заголовков, колонтитулов и других артефактов.
• Форматирование таблиц и блоков кода, извлечение и сохранение изображений, преобразование большинства уравнений в LaTeX.
• Работа на GPU, CPU или Apple's MPS с возможностью использования оптического распознавания символов (OCR).

Однако у Marker также есть некоторые ограничения:

• Не все уравнения будут преобразованы в LaTeX с 100% точностью.
• Таблицы не всегда форматируются идеально, и некоторые интервалы и пробелы могут быть не объединены должным образом.
• Существуют ограничения на использование для коммерческих проектов, превышающих определенные пороги выручки или финансирования.