Onze nieuwste modellen breiden de contextlengte standaard uit tot 128k, in plaats van de eerdere 8k. Deze aanzienlijke toename van het contextvenster stelt onze modellen in staat om langere taken effectiever aan te pakken, zoals langdurige tekstsamenvatting, meertalige conversationele agenten en codehulp.

Naast de uitgebreide context ondersteunt Llama 3.1 nu acht talen standaard, waardoor meer veelzijdige en meertalige toepassingen mogelijk zijn. Het vlaggenschipmodel met 405 miljard parameters, Llama 3.1 405b, wordt beschouwd als een toonaangevend open-source basismodel, dat de mogelijkheden van de beste gesloten-bron modellen evenaart.

Deze nieuwe modelrelease stelt de gemeenschap in staat om nieuwe workflows te ontgrendelen, zoals synthetische gegevensgeneratie en modeldistillatie. Door gebruik te maken van de mogelijkheden van Llama 3.1 405b kunnen ontwikkelaars hun eigen aangepaste agenten creëren en nieuwe soorten agentgedrag verkennen. We versterken ook het ecosysteem met nieuwe beveiligings- en veiligheidsinstrumenten, waaronder Llama Guard 3 en Prompt Guard, om verantwoord bouwen te helpen.

Meta heeft Llama 3.1 uitgebracht, een model met 405 miljard parameters dat als state-of-the-art wordt beschouwd en kan concurreren met de beste gesloten-bron modellen. Dit is een belangrijke mijlpaal voor de open-source gemeenschap, omdat het aantoont dat open-source modellen nu kunnen concurreren met de meest geavanceerde propriëtaire modellen.

De belangrijkste hoogtepunten van Llama 3.1 405b zijn:

• Ongeëvenaarde flexibiliteit en controle: Het model biedt state-of-the-art mogelijkheden die kunnen concurreren met de beste gesloten-bron modellen, waardoor nieuwe workflows zoals synthetische gegevensgeneratie en modeldistillatie mogelijk zijn.
• Uitgebreide contextlengte: Het model ondersteunt nu een contextlengte van maximaal 128k tokens, een aanzienlijke toename ten opzichte van de eerdere 8k.
• Meertalige ondersteuning: Llama 3.1 ondersteunt 8 talen, waardoor meer diverse toepassingen mogelijk zijn.
• Verbeterde prestaties: Benchmarks tonen aan dat Llama 3.1 405b beter presteert dan GPT-4 op een reeks taken, waaronder algemene kennis, bestuurbaarheid, wiskunde, tool-gebruik en meertalige vertaling.
• Ecosysteembenadering: Meta maakt van Llama een ecosysteem door meer componenten en tools te bieden, waaronder een referentiesysteem, beveiligings- en veiligheidsinstrumenten, en een verzoek om commentaar op de Llama stack-API.
• Breed ecosysteemondersteuning: Llama 3.1 wordt ondersteund door een breed scala aan partners, waaronder AWS, Nvidia, Databricks, Google Cloud en anderen, wat een wijdverbreide adoptie en integratie garandeert.

De release van Llama 3.1 405b is een belangrijke stap voorwaarts voor de open-source AI-gemeenschap, omdat het aantoont dat open-source modellen nu kunnen concurreren met de beste gesloten-bron alternatieven. Dit is een bewijs van het harde werk en de toewijding van het Meta-team, en het zal zeker een blijvende impact hebben op het AI-landschap.

Als onderdeel van de nieuwste release introduceert Meta verbeterde versies van de Llama-modellen met 8 miljard en 70 miljard parameters. Deze nieuwe modellen zijn meertalig en hebben aanzienlijk langere contextlengtes tot 128k tokens. Ze hebben ook state-of-the-art tool-gebruik mogelijkheden, die nu beter zijn dan alle gesloten-bron modellen op de markt, inclusief Anthropic's Cohere.

Bovendien hebben deze verbeterde modellen sterkere redeneervaardigheden, waardoor ze geavanceerde toepassingen zoals langdurige tekstsamenvatting, meertalige conversationele agenten en codehulp kunnen ondersteunen. Dit is een opwindende ontwikkeling, omdat het deze kleinere modellen in staat stelt om effectiever te concurreren met grotere, gesloten-bron modellen.

De prestaties van deze verbeterde modellen zijn geëvalueerd op 150 benchmark datasets in een breed scala aan talen. De resultaten laten zien dat de kleinere Llama-modellen nu concurrerend zijn met zowel gesloten-bron als open-source modellen van vergelijkbare parametergrootte, wat verder de indrukwekkende vooruitgang van het Llama-ecosysteem aantoont.

Om grootschalige productie-inferentie voor een model op de schaal van 405B parameters mogelijk te maken, heeft Meta verschillende sleuteltechnieken geïmplementeerd:

1. Modelquantisatie: Ze hebben hun modellen gekwantiseerd van 16-bit naar 8-bit, waardoor de benodigde rekenkracht aanzienlijk is verlaagd en het model binnen één server-node kan draaien.

2. Post-training-uitlijning: In het post-training-proces produceert Meta uiteindelijke chat-modellen door meerdere rondes van uitlijning bovenop het vooraf getrainde model uit te voeren. Dit omvat technieken als gesuperviseerd fine-tunen, afkeuringssteekproeven en directe voorkeursoptimalisatie om de mogelijkheden van het model verder te verbeteren.

3. Synthetische gegevensgeneratie: Meta heeft synthetische gegevensgeneratie gebruikt om het grootste deel van hun gesuperviseerde fine-tuning-voorbeelden te produceren, waarbij ze meerdere keren hebben geïtereerd om hoogwaardiger synthetische gegevens te genereren voor alle mogelijkheden. Hierdoor kunnen ze de trainingsgegevens opschalen zonder uitsluitend te vertrouwen op schaarse real-world datasets.

4. Ecosysteempartnerschappen: Om een brede ondersteuning voor grootschalige inzet te garanderen, heeft Meta samengewerkt met partners als AWS, NVIDIA, Databricks en anderen om ondersteuning op dag één te bieden voor de Llama 3.1-modellen op verschillende inferentieplatforms en frameworks.

De release van Llama 3.1 markeert een belangrijke mijlpaal in het open-source AI-landschap. Als onderdeel van deze update introduceert Meta de Llama Stack - een set gestandaardiseerde en opinionated interfaces voor het bouwen van canonieke toolchain-componenten, fine-tuning, synthetische gegevensgeneratie en agentische toepassingen.

Het doel van de Llama Stack is het bevorderen van betere interoperabiliteit binnen het Llama-ecosysteem, in tegenstelling tot gesloten modellen waar de interfaces vaak eigendomsrechtelijk zijn. Door deze standaardinterfaces te definiëren, hoopt Meta dat ze door de bredere gemeenschap worden overgenomen, waardoor ontwikkelaars de Llama-modellen gemakkelijker kunnen aanpassen en uitbreiden.

Sommige van de belangrijkste onderdelen van de Llama Stack zijn:

1. Real-time en batch-inferentie: Gestandaardiseerde interfaces voor het inzetten van Llama-modellen in productie-omgevingen, met ondersteuning voor zowel real-time als batch-inferentie use cases.

2. Gesuperviseerd fine-tunen: Gedefinieerde interfaces voor het fine-tunen van de Llama-modellen op aangepaste datasets, waardoor ontwikkelaars de modellen aan hun specifieke behoeften kunnen aanpassen.

3. Evaluaties: Gestandaardiseerde evaluatiekaders voor het beoordelen van de prestaties van Llama-modellen op een reeks benchmarks en taken.

4. Continue pre-training: Interfaces voor het continu pre-trainen van de Llama-modellen op nieuwe gegevens, waardoor ze up-to-date blijven met de laatste informatie.

5. RAG-functieaanroepen: Gestandaardiseerde interfaces voor het integreren van de Llama-modellen met externe kennisbronnen en redeneervaardigheden.

6. Synthetische gegevensgeneratie: Gedefinieerde interfaces voor het gebruik van de Llama-modellen om hoogwaardige synthetische gegevens te genereren, die kunnen worden gebruikt om de modellen verder te verbeteren.

De release van Llama 3.1, met zijn 405 miljard parameter model, is een belangrijke mijlpaal in de wereld van open-source AI. Dit model wordt beschouwd als state-of-the-art en kan concurreren met de beste gesloten-bron modellen, waardoor de gemeenschap ongekende toegang krijgt tot geavanceerde AI-mogelijkheden.

De belangrijkste hoogtepunten van deze release zijn:

• Llama 3.1 405b is het grootste open-source model tot nu toe, getraind op meer dan 15 biljoen tokens met behulp van 16.000 H100 GPU's.
• Het model laat concurrerende prestaties zien op een breed scala aan benchmarks, waarbij het vaak het krachtige GPT-4-model overtreft.
• Kleinere Llama-modellen, zoals de 8 miljard parameter versie, hebben ook aanzienlijke kwaliteitsverbeteringen gezien, waardoor ze levensvatbare alternatieven zijn voor lokale inzet.
• Meta positioneert Llama als een ecosysteem, met de introductie van de Llama Stack-API en partnerschappen met grote techbedrijven, waardoor ontwikkelaars in staat zijn om aangepaste agenten en toepassingen te bouwen.
• De open-source aard van Llama zorgt voor bredere toegang tot geavanceerde AI-mogelijkheden, waardoor de technologie wordt gedemocratiseerd en voorkomen wordt dat deze in handen van slechts een paar partijen komt.