Modellen presterar rimligt bra på enkla hämtningsuppgifter med hjälp av RAG (Retrieval-Augmented Generation)-pipelinen. När man ställer en enkel fråga som "hur skiljer sig OpenAI och Meta åt när det gäller AI-verktyg", kan modellen ge ett korrekt svar genom att komprimera de relevanta textdelarna och generera ett sammanhängande sammandrag.

Men när frågorna blir mer komplexa börjar modellen uppvisa vissa begränsningar. Till exempel, när man frågar "vilka nya funktioner har OpenAI lagt till i ChatGPT", tillskriver modellen felaktigt vissa funktioner som introducerats av Meta till OpenAI, vilket visar en tendens att hallucinera eller förväxla information från olika källor.

Modellens prestanda förbättras när man använder "tree summarize"-läget, som rekursivt sammanfattar varje textdel innan det slutliga svaret genereras. Detta tillvägagångssätt hjälper till att mildra problemet med motstridande information mellan olika textdelar.

Sammanfattningsvis visar modellen en hyfsad förmåga för enkla hämtningsuppgifter med hjälp av RAG, men dess prestanda börjar försämras när det gäller mer komplexa frågor som kräver en djupare förståelse av den underliggande informationen.