Wizard LM-2 är en betydande milstolpe i världen av stora språkmodeller (LLM). Denna öppna källkodmodell har visat sig ha mycket konkurrenskraftig prestanda jämfört med avancerade proprietära verk som GPT-4 och Claude på MT-benchmarken, som mäter förmågan hos LLM att delta i sammanhängande, informativa och engagerande samtal.

Wizard LM-2-modellen är en fintunad och preferenstränad version av Megatron-Turing NLG 22B-modellen. Den har förbättrats när det gäller prestanda på komplexa uppgifter, inklusive chatt, kodning, flerspråkigt resonemang och agentbaserade applikationer.

Wizard LM-familjen omfattar nu tre nya modeller: Wizard LM-2 22B, 70B-parametermodellen och 7B-parametermodellen. Wizard LM-2 22B-modellen har framträtt som den mest avancerade, med utmärkt prestanda på komplexa uppgifter, medan 70B-modellen uppvisar toppklass resoneringsförmåga och 7B-modellen utmärker sig för sin hastighet och konkurrenskraftig prestanda.

Teamet bakom Wizard LM har använt flera avancerade metoder för att utveckla Wizard LM-2-modellen:

1. Dataförbearbetning: De har analyserat och distribuerat olika attribut i de nya datakällorna för att få en initial förståelse av data. De har använt viktad sampling för att justera vikten av olika attribut i träningsdata baserat på experimentell erfarenhet.

2. Progressivt lärande: Träningsprocessen har delats upp i olika stadier, där fler dataskivor matas in i varje steg. Detta möjliggör utvecklingen av olika instruktions-svar-par.

3. AI-Aligned AI (AAA)-ramverk: Flera LLM grupperas tillsammans för att lära och förbättra varandra på ett optimerat sätt genom övervakad inlärning och förstärkt inlärning.

4. Evol-Instruct: Denna komponent genererar autonomt instruktioner av hög kvalitet och formaterar dem genom flera iterationer, vilket förbättrar den övergripande logiken, korrektheten och sammanhanget i modellens svar.

5. Självundervisningsmetoder: AAA-ramverket gör det möjligt för Wizard LM-2-modellen att generera nya träningsdata, som sedan används för förstärkt inlärning.

6. Övervakad inlärning: Modellen tränas med hjälp av märkta data, stegvis databearbetning och uppdelad preferensdata för att anpassas till olika skivor för mer effektiv offline-förstärkt inlärning.

Wizard LM-2-modellen har visat sig ha mycket konkurrenskraftig prestanda jämfört med avancerade proprietära språkmodeller som GPT-4 Turbo och CLA-3 på MT-benchmarken, som mäter förmågan att delta i sammanhängande, informativa och engagerande samtal.

Teamet bakom Wizard LM har genomfört både mänskliga och automatiska utvärderingar för att bedöma modellens förmågor. I den mänskliga preferensutvärderingen samlade de in en mångsidig uppsättning verkliga instruktioner som täcker skrivande, kodning, matematik, resonemang, agentuppgifter och flerspråkig förståelse. Bedömare utförde blinda parvis jämförelser mellan Wizard LM-2 och baslinjemodeller, där källorna till svaren var dolda.

Resultaten visar att Wizard LM-2 konsekvent överträffar befintliga toppmodeller, inklusive andra öppna källkodmodeller. På MT-benchmarken har modellen visat sig ha mycket konkurrenskraftig prestanda, även jämfört med ledande proprietära verk.

För att komma igång med Wizard LM-2 måste du använda LM Studio-plattformen. Gå först till modellkortet och kopiera informationen för en av de tre tillgängliga modellerna: Wizard LM-2 AX 22B, Wizard LM 70B eller Wizard LM 7B.

Öppna sedan LM Studio och gå till sökfältet. Klistra in modellkortsinformationen och tryck på retur. Du kommer att se de olika versionerna av Wizard LM-2-modellen som är tillgängliga.

För att installera modellen behöver du bara ladda ner den version du vill använda. När den är nedladdad kan du gå till konversationsfönstret i LM Studio och välja Wizard LM-2-modellen för att börja chatta med den.

Wizard LM-2-modellen har visat sig ha mycket konkurrenskraftig prestanda på MT-benchmarken, där den överträffar många ledande proprietära modeller. Den utmärker sig inom komplex uppgiftsprestation, toppklass resoneringsförmåga och hastighet, beroende på den specifika modellstorleken.

Introduktionen av Wizard LM2 representerar en betydande milstolpe i utvecklingen av stora språkmodeller. Denna avancerade modell har visat sig ha mycket konkurrenskraftig prestanda jämfört med ledande proprietära verk, med utmärkt prestanda på komplexa uppgifter, toppklass resoneringsförmåga och konkurrenskraftig hastighet.

Teamet bakom Wizard LM har använt innovativa tekniker som viktad sampling, progressivt lärande och AI-anpassade AI-ramverk för att förbättra modellens förmågor. Införandet av Evol-instruct, som autonomt genererar och distribuerar instruktioner av hög kvalitet, har ytterligare förbättrat modellens logik, korrekthet och sammanhang.

Både mänskliga och automatiska utvärderingar har visat att Wizard LM2 konsekvent överträffar befintliga toppmodeller, vilket gör den till en lovande utmanare inom området för stora språkmodeller. Med tillgången till olika Wizard LM-modeller kan användare välja den som bäst passar deras specifika behov, oavsett om det är den högpresterande Wizard LM2 AX 22B, den kraftfulla Wizard LM 70B eller den snabbfokuserade Wizard LM 7B.