De Yi-modelenfamilie heeft een aanzienlijke upgrade gekregen en presteert nu beter dan de LLAMA-3-benchmarks. Het beste deel? Deze modellen worden uitgebracht onder de Apache 2.0-licentie, waardoor commercieel gebruik zonder beperkingen mogelijk is.

De Yi-1.5-serie omvat drie modellen: een versie met 6 miljard, 9 miljard en 34 miljard parameters. Allemaal zijn ze opgegradeerd vanaf de oorspronkelijke Yi-modellen en zijn ze getraind op maximaal 4,1 biljoen tokens. Hoewel het contextvenster beperkt is tot 4.000 tokens, kunnen de modellen dit in de toekomst mogelijk uitbreiden.

Het 9 miljard parameter model presteert beter dan zijn collega's, terwijl de 34 miljard versie de prestaties van het LLAMA-370 miljard model dicht benadert of zelfs overtreft. Naast benchmarks tonen de Yi-1.5-modellen sterke capaciteiten op het gebied van codering, wiskundige redenering en het opvolgen van instructies.

Om de modellen te testen, is de 34 miljard versie beschikbaar op Hugging Face, en kan de 9 miljard versie lokaal worden uitgevoerd. De modellen vertonen indrukwekkende redeneervermogen, kunnen complexe scenario's aan en behouden de context tijdens gesprekken.

Op het gebied van codering kunnen de Yi-1.5-modellen fouten in eenvoudige Python-programma's identificeren en corrigeren. Ze kunnen ook code genereren voor taken zoals het downloaden van bestanden uit S3-buckets en het maken van interactieve webpagina's met dynamische functionaliteit.

Hoewel de modellen enkele beperkingen hebben, zoals het vaste contextvenster, vertegenwoordigt de Yi-1.5-serie een aanzienlijke vooruitgang in grote taalmodellen. Met hun Apache 2.0-licentie bieden deze modellen een opwindende kans voor commerciële toepassingen en verdere ontwikkeling.

Het model laat een genuanceerde benadering zien van gevoelige onderwerpen, waarbij het educatieve informatie verstrekt wanneer er wordt gevraagd naar mogelijk illegale activiteiten, terwijl het directe ondersteuning vermijdt. Het toont creativiteit in het genereren van grappen, hoewel de kwaliteit variabel is. Het model toont ook een sterk redeneervermogen en probleemoplossende vaardigheden, zoals blijkt uit de stapsgewijze antwoorden op complexe logische puzzels. Het heeft echter moeite om een volledig mentaal model te behouden bij het omgaan met meerdere, snel veranderende scenario's.

De codering- en wiskundecapaciteiten van het model zijn indrukwekkend, waarbij het nauwkeurig fouten in codevoorbeelden identificeert en wiskundige problemen oplost. Zijn vermogen om informatie op te halen en samen te vatten uit verstrekte contexten suggereert potentieel voor gebruik in onderzoeksondersteunende taken.

Over het algemeen vertoont het model een balans van capaciteiten, met sterke punten in redeneren, coderen en wiskunde, maar beperkingen in het behouden van contextueel bewustzijn en het genereren van echt nieuwe inhoud. Verdere ontwikkeling van het contextvenster van het model en training op meer diverse datasets zouden kunnen helpen deze verbeterpunten aan te pakken.

De YE-modelfamilie heeft indrukwekkende logische redenering en probleemoplossende capaciteiten gedemonstreerd. De modellen konden complexe scenario's navigeren en stapsgewijs redeneren om tot accurate conclusies te komen.

Wanneer hun een vraag werd gesteld over het aantal broers en zussen van een personage genaamd Sally, analyseerde het model zorgvuldig de verstrekte informatie en erkende het het gebrek aan voldoende details om het antwoord te bepalen. Het liep vervolgens de mogelijke scenario's door, rekening houdend met de relaties tussen de personages, om tot het juiste antwoord te komen.

Evenzo toonde het model sterke deductieve redeneervaardigheid toen het werd geconfronteerd met een verhaal over twee hongerige individuen. Het leidde logisch af dat de tweede persoon, Daniel, waarschijnlijk ook naar de keuken zou gaan op zoek naar voedsel, net als John had gedaan.

Het vermogen van het model om meerdere stukken informatie bij te houden en te onthouden, werd ook getest, met wisselende resultaten. Hoewel het in staat was om de volgorde van gebeurtenissen in sommige gevallen nauwkeurig bij te houden, had het moeite om een volledig mentaal model te behouden in complexere scenario's, waarbij het soms eerdere details vergat.

De prestaties van het model op wiskundige problemen waren indrukwekkend, waarbij het de vaardigheid toonde om een verscheidenheid aan berekeningen nauwkeurig op te lossen, van eenvoudige rekenkunde tot complexere uitdrukkingen. Dit suggereert sterke numerieke redeneercapaciteiten.

Bovendien was het model in staat om effectief informatie op te halen en samen te vatten uit een verstrekte context, wat zijn potentieel voor gebruik in onderzoeks- en vraag-antwoordtaken onderstreept. Het erkende de context, toonde begrip en gaf nauwkeurige antwoorden op vervolgvragen.

Over het algemeen heeft de YE-modelfamilie een solide basis in logisch redeneren en probleemoplossen laten zien, met potentieel voor verdere verbeteringen en uitbreiding van zijn capaciteiten.

Het model toont indrukwekkende wiskundige capaciteiten, waarbij het een verscheidenheid aan problemen nauwkeurig oplost. Toen hem werd gevraagd de kans te berekenen om een blauwe knikker te trekken uit een zak met 5 rode, 3 blauwe en 2 groene knikkers, bepaalde het model correct de kans door het totale aantal knikkers (10) op te tellen en het aantal blauwe knikkers (3) te delen door het totaal. Het kon ook gemakkelijk omgaan met eenvoudige rekenkundige bewerkingen zoals 3 + 100 en complexere uitdrukkingen zoals 3x100x3 + 50x2.

Het vermogen van het model om informatie op te halen uit een verstrekte context is ook opmerkelijk. Toen hem een hypothetisch wetenschappelijk artikel over synthetische polymeren werd gegeven, kon het model de context nauwkeurig samenvatten en vervolgvragen beantwoorden op basis van de gegeven informatie. Dit suggereert dat het model nuttig zou kunnen zijn voor taken zoals vraag-antwoord en retrieval-ondersteunde generatie.

Bovendien toonde het model competentie in het identificeren en corrigeren van fouten in een eenvoudig Python-programma, wat zijn codeervaardigheden demonstreert. Het kon meerdere problemen in de verstrekte code identificeren en oplossen, wat wijst op potentieel nut voor code-review en foutopsporing.

Het model toonde sterke codeervaardigheden door met succes fouten te identificeren en te corrigeren in een verstrekt Python-programma. Toen het werd geconfronteerd met een eenvoudig Python-script met een paar bugs, kon het model de specifieke problemen aanwijzen en de juiste oplossingen voorstellen.

Het vermogen van het model om basis-programmeerconstructen en -syntaxis te begrijpen, stelde het in staat de problemen in de code nauwkeurig te diagnosticeren. Het wees op de onjuiste variabelnamen, ontbrekende functiedefinities en andere logische fouten, en gaf duidelijke uitleg voor elk probleem.

Bovendien kon het model de gecorrigeerde code genereren, zodat het programma zou functioneren zoals bedoeld. Dit toont de vaardigheid van het model in het vertalen van zijn begrip van programmeerconcepten naar praktische oplossingen.

Hoewel de prestaties van het model op een complexere codeeropgave, zoals het schrijven van een Python-functie om bestanden te downloaden uit een S3-bucket, ook bevredigend waren, vertoonde het wel enkele beperkingen in het genereren van een volledig functionele oplossing. Dit suggereert dat de codeervaardigheden van het model, hoewel indrukwekkend, nog ruimte voor verbetering hebben, vooral bij het omgaan met ingewikkeldere programmeerproblemen.

Overall benadrukt de sterke codeercompetentie van het model, zoals blijkt uit zijn vermogen om codefouten te identificeren en op te lossen, zijn potentieel nut voor softwareontwikkeling en programmeergerelateerde taken.

Hier is de inhoud van de sectie:

Het model kon een eenvoudige HTML-webpagina genereren met een knop die de achtergrondkleur verandert en een willekeurige grap weergeeft. De code ziet er als volgt uit:

<!DOCTYPE html>
<html>
<head>
  <title>Random Joke Generator</title>
  <style>
    body {
      font-family: Arial, sans-serif;
      text-align: center;
      padding: 20px;
    }
    button {
      padding: 10px 20px;
      font-size: 16px;
      background-color: #4CAF50;
      color: white;
      border: none;
      cursor: pointer;
    }
  </style>
</head>
<body>
  <h1>Random Joke Generator</h1>
  <button onclick="changeBackgroundColor(); getRandomJoke();">Click me for a joke!</button>
  <p id="joke">Joke goes here</p>

  <script>
    function changeBackgroundColor() {
      var randomColor = '#' + Math.floor(Math.random() * 16777215).toString(16);
      document.body.style.backgroundColor = randomColor;
    }

    function getRandomJoke() {
      // Code to fetch a random joke from an API and display it
      var jokes = [
        "Why don't scientists trust atoms? Because they make up everything.",
        "What do you call a fake noodle? An Impasta.",
        "Why can't a bicycle stand up by itself? It's two-tired."
      ];
      var randomIndex = Math.floor(Math.random() * jokes.length);
      document.getElementById("joke").textContent = jokes[randomIndex];
    }
  </script>
</body>
</html>

De belangrijkste kenmerken van deze webpagina zijn:

1. Een knop die, wanneer erop wordt geklikt, de achtergrondkleur van de pagina verandert in een willekeurige kleur en een willekeurige grap weergeeft.
2. De functie changeBackgroundColor() genereert een willekeurige hexadecimale kleurcode en past deze toe op de achtergrond van het lichaam.
3. De functie getRandomJoke() selecteert een willekeurige grap uit een vooraf gedefinieerde array en toont deze op de pagina.
4. De HTML-structuur bevat een knop en een paragrafenelement om de grap weer te geven.
5. De CSS stijlt de knop en de paginaopmaak.

Hoewel de willekeurige numbergenerator voor de grappen niet correct lijkt te werken, is de algehele functionaliteit van de webpagina zoals verwacht geïmplementeerd.

De nieuwe YE-modelfamilie van 01 AI vertegenwoordigt een aanzienlijke upgrade, waarbij veel bestaande grote taalmodellen op verschillende benchmarks worden overtroffen. De belangrijkste hoogtepunten van deze release zijn:

• Drie modelgroottes beschikbaar: 6 miljard, 9 miljard en 34 miljard parameters, allemaal onder de Apache 2.0-licentie voor commercieel gebruik.
• Indrukwekkende prestaties, waarbij de 34 miljard versie de capaciteiten van het grotere GPT-4-model evenaart.
• Sterke prestaties op gebieden als codering, wiskundige redenering en het opvolgen van instructies.
• Beperkingen in het huidige 4.000 token contextvenster, maar het potentieel om dit in toekomstige versies uit te breiden.
• Beschikbaarheid van het 34 miljard model op Hugging Face voor testen en evaluatie.

Overall demonstreren de YE-modellen de voortdurende vooruitgang in de ontwikkeling van grote taalmodellen, waarbij ze een overtuigend alternatief bieden voor andere prominente modellen zoals GPT-3 en LLaMA. Hoewel verder testen en vergelijking nodig zijn, is deze release van 01 AI een opwindende ontwikkeling op het gebied van open-source, hoogwaardige taalmodellen.