Att arbeta med PDF-filer för stora språkmodeller (LLM) kan vara extremt utmanande. PDF-filer är i princip ett "trasigt" format, eftersom de ofta har en komplex struktur med inbäddade element av olika datatyper, och det finns ingen standardlayout, vilket gör det besvärligt att extrahera data från dem.

Några av de viktigaste utmaningarna inkluderar:

• Komplex struktur: PDF-filer kan ha en inbäddad struktur med olika datatyper, såsom text, tabeller, bilder och ekvationer, vilket gör det svårt att parsa och extrahera relevant information.

• Brist på standardisering: Det finns ingen standardlayout för PDF-filer, vilket innebär att data kan organiseras på olika sätt, vilket gör det svårt att utveckla en lösning som passar alla för att extrahera informationen.

• Kodnings- och formateringsproblem: PDF-filer kan ha olika kodningar och formatering, såsom olika typsnitt och layouter, vilket ytterligare kan komplicera dataextraktionsprocessen.

• Tabeller och bilder: Att extrahera data från tabeller och bilder i PDF-filer kan vara särskilt utmanande, eftersom layouten och formateringen av dessa element kan variera avsevärt.

• Fel och unoggrannheter: Processen att extrahera data från PDF-filer är benägen för fel och unoggrannheter, vilket kan påverka prestandan hos LLM-applikationer negativt.

Markdown är ett lättanvänt märkspråk som erbjuder flera fördelar när man arbetar med stora språkmodeller (LLM):

1. Strukturerad data: Markdown behåller det ursprungliga formatet på dokumentet, inklusive rubriker, bilder, tabeller och ekvationer. Denna strukturerade data kan effektivt bearbetas av LLM, vilket gör att de kan förstå sammanhanget och relationerna inom innehållet.

2. Enkel konvertering: Att konvertera PDF-filer, som ofta är den primära källan för textdata, till ren text kan vara en besvärlig uppgift på grund av den komplexa strukturen och formateringen av PDF-filer. Markdown kan däremot enkelt konverteras till ren text, vilket gör det till ett mer LLM-vänligt format.

3. Konsekvens: Markdown ger ett konsekvent och standardiserat sätt att formatera text, vilket kan vara särskilt användbart när man arbetar med stora dataset eller flera dokument. Denna konsekvens kan förbättra prestandan och tillförlitligheten hos LLM-applikationer.

4. Läsbarhet: Markdowns enkla syntax och rena formatering gör texten mer läsbar och tillgänglig, både för människor och maskiner. Detta kan underlätta bättre förståelse och tolkning av innehållet av LLM.

5. Portabilitet: Markdown-filer är lättanvända och kan enkelt delas, lagras och versionshantera, vilket gör dem till ett flexibelt val för LLM-applikationer som kräver dataportabilitet och samarbete.

6. Flexibilitet: Markdown kan enkelt integreras med olika verktyg och arbetsflöden, vilket möjliggör smidig integration med LLM-pipelines och andra databearbetningsuppgifter.

Marker är ett öppen källkod-verktyg som gör det möjligt att snabbt och noggrant konvertera komplexa PDF-filer till välstrukturerad Markdown. Detta är särskilt användbart när man arbetar med stora språkmodeller (LLM), eftersom Markdown ger ett rent och lättbearbetat format jämfört med de utmaningar som PDF-filer innebär.

Marker stöder en bred uppsättning dokumenttyper, inklusive böcker, vetenskapliga artiklar och till och med CV:n. Den är optimerad för att hantera komplexiteten i PDF-strukturer, ta bort rubriker, sidfötter och andra artefakter för att extrahera kärninnehållet. Dessutom formaterar Marker tabeller, kodblock och ekvationer (konverterar de flesta till LaTeX) och sparar alla bilder som hittas i det ursprungliga dokumentet.

En av de viktigaste fördelarna med Marker är dess prestanda. Jämfört med andra öppen källkod-verktyg som Nougat är Marker betydligt snabbare, och tar cirka 100 sekunder att bearbeta en enskild sida text, jämfört med 400 sekunder för Nougat. Marker uppvisar också högre noggrannhet och bevarar strukturen och layouten i det ursprungliga dokumentet mer effektivt.

Marker är ett öppen källkod-verktyg som erbjuder flera fördelar jämfört med andra PDF-till-Markdown-konverteringsverktyg. Jämfört med Nuget, ett annat populärt öppen källkod-alternativ, är Marker mycket snabbare, och tar cirka 100 sekunder att bearbeta en enskild sida text, jämfört med 400 sekunder för Nuget. Dessutom är Markers noggrannhet nästan dubbelt så hög som Nugets.

Författaren ger ett konkret exempel med boken "Think Python" för att illustrera skillnaderna. Nuget ignorerade helt de första sidorna och innehållsförteckningen, medan Marker kunde bevara hela bokens struktur, inklusive de första sidorna, innehållsförteckningen och det första kapitlet.

Marker stöder en bred uppsättning dokumenttyper, inklusive böcker och vetenskapliga artiklar, och kan hantera dokument på flera språk. Den tar bort rubriker, sidfötter och andra artefakter, och formaterar tabeller och kodblock korrekt. Marker extraherar och sparar också bilder, och kan konvertera de flesta ekvationer till LaTeX-format.

För att installera och använda Marker-verktyget, följ dessa steg:

1. Skapa en ny Conda-miljö och ge den namnet marker:

   conda create -n marker python=3.9
   conda activate marker
   

2. Installera PyTorch, som krävs av Marker:

   # För Mac
   pip install torch torchvision torchaudio
   
   # För Linux
   # Använd lämpligt kommando från PyTorch-webbplatsen
   
   # För Windows
   # Använd lämpligt kommando från PyTorch-webbplatsen
   

3. Installera Marker-paketet med pip:

   pip install marker-pdf
   

4. För att konvertera en enskild PDF-fil till Markdown, använd följande kommando:

   marker-single <sökväg_till_pdf-fil> <utdatakatalog>
   

   Du kan också ange valfria parametrar, som batch-multiplikator och dokumentets språk.

5. För att konvertera flera PDF-filer till Markdown, använd följande kommando:

   marker-multi <katalog_med_pdf-filer> <utdatakatalog>
   

Marker-verktyget kommer först att ladda ned den nödvändiga OCR-modellen, sedan bearbeta PDF-filen(erna) och generera Markdown-filer med det extraherade innehållet, inklusive text, bilder, tabeller och ekvationer (när möjligt). Utdata kommer att lagras i den angivna utdatakatalogen.

Marker är ett öppen källkod-verktyg som effektivt kan konvertera komplexa PDF-filer till välstrukturerad Markdown-format. Några av dess nyckelförmågor inkluderar:

• Stöd för en bred uppsättning dokument, inklusive böcker, vetenskapliga artiklar och CV:n.
• Optimerad för att extrahera innehåll från PDF-filer, ta bort rubriker, sidfötter och andra artefakter.
• Formaterar tabeller och kodblock, extraherar och sparar bilder, och konverterar de flesta ekvationer till LaTeX.
• Kör på GPU, CPU eller Apple's MPS, med valfritt OCR-stöd.

Marker har dock också vissa begränsningar:

• Inte alla ekvationer kommer att konverteras till LaTeX med 100% noggrannhet.
• Tabeller formateras inte alltid perfekt, och vissa radavstånd och spann kanske inte fogas ihop korrekt.
• Det finns användningsbegränsningar för kommersiella projekt som överskrider vissa intäkts- eller finansieringströsklar.

Trots dessa begränsningar är Marker ett kraftfullt verktyg som kan förenkla processen att arbeta med PDF-data för språkmodeller och andra applikationer avsevärt. Dess öppen källkod-natur och imponerande prestanda gör det till en värdefull resurs för dem som vill effektivisera sina PDF-till-Markdown-konverteringsarbetsflöden.