Yi-modellserien har fått en betydande uppgradering och överträffar nu LLAMA-3-benchmarks. Den bästa delen? Dessa modeller släpps under Apache 2.0-licensen, vilket möjliggör kommersiell användning utan begränsningar.

Yi-1.5-serien innehåller tre modeller: en 6 miljarder, 9 miljarder och 34 miljarder parameterversion. Alla är uppgraderade från de ursprungliga Yi-modellerna och har tränats på upp till 4,1 biljoner tokens. Även om kontextfönstret är begränsat till 4 000 tokens kan modellerna potentiellt expandera detta i framtiden.

Modellen med 9 miljarder parametrar överträffar sina jämnåriga, medan 34 miljarder-versionen nära matchar eller till och med överträffar LLAMA-370 miljarder-modellen i prestanda. Utöver benchmarks uppvisar Yi-1.5-modellerna starka förmågor inom programmering, matematisk resonering och instruktionsföljande.

För att testa modellerna är 34 miljarder-versionen tillgänglig på Hugging Face, och 9 miljarder-versionen kan köras lokalt. Modellerna uppvisar imponerande resoneringsförmågor, hanterar komplexa scenarier och bibehåller kontext genom konversationer.

Vad gäller programmering kan Yi-1.5-modellerna identifiera och korrigera fel i enkla Python-program. De kan också generera kod för uppgifter som filnedladdningar från S3-buckets och skapa interaktiva webbsidor med dynamisk funktionalitet.

Men även om modellerna har vissa begränsningar, som det fasta kontextfönstret, representerar Yi-1.5-serien ett betydande framsteg inom stora språkmodeller. Med sin Apache 2.0-licensiering erbjuder dessa modeller en spännande möjlighet för kommersiella tillämpningar och vidare utveckling.

Modellen visar en nyanserad approach till känsliga ämnen, genom att tillhandahålla utbildningsinformation när den tillfrågas om potentiellt olagliga aktiviteter, samtidigt som den undviker direkt godkännande. Den visar kreativitet i att generera skämt, även om kvaliteten varierar. Modellen uppvisar också stark resoneringsförmåga och problemlösningsförmåga, vilket framgår av dess stegvisa svar på komplexa logikpussel. Den har dock svårigheter att upprätthålla en fullständig mental modell när den hanterar flera, snabbt föränderliga scenarier.

Modellens programmerings- och matematikförmågor är imponerande, då den korrekt identifierar fel i kodexempel och löser matematiska problem. Dess förmåga att hämta och sammanfatta information från tillhandahållna sammanhang tyder på potential för användning i forskningsassistentuppgifter.

Sammanfattningsvis uppvisar modellen en balans av förmågor, med styrkor inom resonering, programmering och matematik, men begränsningar i att upprätthålla kontextuell medvetenhet och generera verkligt nyskapande innehåll. Ytterligare utveckling av modellens kontextfönster och träning på mer diversifierade dataset skulle kunna hjälpa till att åtgärda dessa förbättringsområden.

YE-modellserien har visat imponerande logiskt resonemang och problemlösningsförmåga. Modellerna kunde navigera i komplexa scenarier och ge stegvisa resonemang för att nå korrekta slutsatser.

När de ställdes inför en fråga om antalet syskon en karaktär vid namn Sally har, analyserade modellen noggrant den tillhandahållna informationen och erkände bristen på tillräckliga detaljer för att fastställa svaret. Den gick sedan igenom de möjliga scenarierna och tog hänsyn till relationerna mellan karaktärerna för att nå det korrekta svaret.

På liknande sätt visade modellen starka deduktiva resoneringsförmågor när den ställdes inför en berättelse om två hungriga individer. Den drog logiskt slutsatsen att den andra personen, Daniel, troligen också skulle gå till köket för att leta efter mat, precis som John hade gjort.

Modellens förmåga att spåra och komma ihåg flera delar av information testades också, med blandade resultat. Medan den kunde hålla reda på händelseförloppet korrekt i vissa fall, hade den svårigheter att upprätthålla en fullständig mental modell i mer komplexa scenarier och glömde ibland tidigare detaljer.

Modellens prestanda på matematiska problem var imponerande och visade förmågan att lösa olika beräkningar korrekt, från enkel aritmetik till mer komplexa uttryck. Detta tyder på starka numeriska resoneringsförmågor.

Dessutom kunde modellen effektivt hämta och sammanfatta information från ett tillhandahållet sammanhang, vilket visar på dess potential för användning i forsknings- och frågebesvarandeuppgifter. Den erkände sammanhanget, visade förståelse och gav korrekta svar på uppföljningsfrågor.

Sammanfattningsvis har YE-modellserien uppvisat en solid grund i logiskt resonemang och problemlösning, med potential för ytterligare förbättringar och utvidgning av dess förmågor.

Modellen visar imponerande matematiska förmågor genom att lösa en mängd olika problem korrekt. När den ombads beräkna sannolikheten för att dra en blå kula från en påse med 5 röda, 3 blå och 2 gröna kulor, fastställde modellen korrekt sannolikheten genom att lägga ihop det totala antalet kulor (10) och dela antalet blå kulor (3) med det totala. Den hanterade också enkla aritmetiska operationer som 3 + 100 och mer komplexa uttryck som 3x100x3 + 50x2 utan problem.

Modellens förmåga att hämta information från ett tillhandahållet sammanhang är också anmärkningsvärd. När den gavs ett hypotetiskt vetenskapligt papper om syntetiska polymerer, kunde modellen sammanfatta sammanhanget korrekt och besvara uppföljningsfrågor baserat på den givna informationen. Detta tyder på att modellen skulle kunna vara användbar för uppgifter som frågebesvarande och hämtningsförstärkt generering.

Dessutom visade modellen kompetens i att identifiera och korrigera fel i ett enkelt Python-program, vilket visar på dess programmeringsförmågor. Den kunde identifiera och åtgärda flera problem i den tillhandahållna koden, vilket indikerar potentiell användbarhet för kodgranskning och felsökning.

Sammanfattningsvis belyser modellens starka prestanda inom matematik, informationshämtning och programmeringsuppgifter dess mångsidighet och bredden av dess förmågor.

Modellen visade starka programmeringsförmågor genom att framgångsrikt identifiera och korrigera fel i ett tillhandahållet Python-program. När den presenterades med ett enkelt Python-skript som innehöll några buggar, kunde modellen peka ut de specifika problemen och föreslå lämpliga korrigeringar.

Modellens förmåga att förstå grundläggande programmeringskonstruktioner och syntax gjorde att den kunde diagnostisera problemen i koden korrekt. Den framhävde de felaktiga variabelnamnen, de saknade funktionsdefinitionerna och andra logiska fel, och gav tydliga förklaringar för varje problem.

Furthermore, modellen kunde generera den korrigerade koden, vilket säkerställde att programmet skulle fungera som avsett. Detta visar på modellens skicklighet i att översätta sin förståelse av programmeringskoncept till praktiska lösningar.

Men även om modellens prestanda på en mer komplex programmeringsuppgift, som att skriva en Python-funktion för att ladda ner filer från en S3-bucket, också var tillfredsställande, uppvisade den vissa begränsningar i att generera en fullt fungerande lösning. Detta tyder på att modellens programmeringsförmågor, även om imponerande, fortfarande kan förbättras, särskilt när det gäller mer komplexa programmeringsutmaningar.

Sammanfattningsvis belyser modellens starka programmeringsexpertis, som visas genom dess förmåga att identifiera och åtgärda kodfel, dess potentiella användbarhet inom mjukvaruutveckling och programmeringsrelaterade uppgifter.

Här är innehållet i avsnittet:

Modellen kunde generera en enkel HTML-webbsida med en knapp som ändrar bakgrundsfärgen och visar ett slumpmässigt skämt. Koden ser ut som följer:

<!DOCTYPE html>
<html>
<head>
  <title>Random Joke Generator</title>
  <style>
    body {
      font-family: Arial, sans-serif;
      text-align: center;
      padding: 20px;
    }
    button {
      padding: 10px 20px;
      font-size: 16px;
      background-color: #4CAF50;
      color: white;
      border: none;
      cursor: pointer;
    }
  </style>
</head>
<body>
  <h1>Random Joke Generator</h1>
  <button onclick="changeBackgroundColor(); getRandomJoke();">Click me for a joke!</button>
  <p id="joke">Joke goes here</p>

  <script>
    function changeBackgroundColor() {
      var randomColor = '#' + Math.floor(Math.random() * 16777215).toString(16);
      document.body.style.backgroundColor = randomColor;
    }

    function getRandomJoke() {
      // Code to fetch a random joke from an API and display it
      var jokes = [
        "Why don't scientists trust atoms? Because they make up everything.",
        "What do you call a fake noodle? An Impasta.",
        "Why can't a bicycle stand up by itself? It's two-tired."
      ];
      var randomIndex = Math.floor(Math.random() * jokes.length);
      document.getElementById("joke").textContent = jokes[randomIndex];
    }
  </script>
</body>
</html>

De viktigaste funktionerna i denna webbsida är:

1. En knapp som, när den klickas, ändrar sidans bakgrundsfärg till en slumpmässig färg och visar ett slumpmässigt skämt.
2. Funktionen changeBackgroundColor() genererar en slumpmässig hexadecimal färgkod och tillämpar den på bakgrunden.
3. Funktionen getRandomJoke() väljer ett slumpmässigt skämt från en förutbestämd array och visar det på sidan.
4. HTML-strukturen innehåller en knapp och ett paragraflement för att visa skämtet.
5. CSS:en formaterar knappen och sidlayouten.

Men även om slumptalsgeneratorn för skämten inte verkar fungera korrekt, är den övergripande funktionaliteten i webbsidan implementerad som förväntat.

Den nya YE-modellserien från 01 AI representerar en betydande uppgradering och överträffar många befintliga stora språkmodeller på olika benchmarks. De viktigaste höjdpunkterna i denna lansering inkluderar:

• Tre modellstorlekar tillgängliga: 6 miljarder, 9 miljarder och 34 miljarder parametrar, alla under Apache 2.0-licens för kommersiell användning.
• Imponerande prestanda, där 34 miljarder-versionen mäter sig med kapaciteten hos den större GPT-4-modellen.
• Starka prestationer inom områden som programmering, matematisk resonering och instruktionsföljande.
• Begränsningar i det nuvarande 4 000 tokens kontextfönstret, men potential att expandera detta i framtida versioner.
• Tillgänglighet av 34 miljarder-modellen på Hugging Face för testning och utvärdering.

Sammanfattningsvis visar YE-modellerna den fortsatta utvecklingen inom stora språkmodeller och erbjuder ett övertygande alternativ till andra framträdande modeller som GPT-3 och LLaMA. Även om ytterligare testning och jämförelse behövs, är denna lansering från 01 AI en spännande utveckling inom området för öppna, högpresterande språkmodeller.