Voer de volgende stappen uit om de LLM-OS lokaal uit te voeren:

1. Maak een Python-virtuele omgeving aan om je afhankelijkheden geïsoleerd te houden.
2. Installeer de benodigde pakketten, inclusief de optionele AWS-bibliotheken voor het FI-Data-framework.
3. Installeer Docker Desktop als je dat nog niet hebt gedaan.
4. Maak de LLM-OS-codebasis aan met behulp van de opdracht fi workspace create en selecteer de "LLM-OS"-sjabloon om te klonen.
5. Exporteer je OpenAI API-sleutel, aangezien je GPT-4 als taalmodel zult gebruiken.
6. Exporteer je Anthropic API-sleutel voor de onderzoeksassistent (Exa).
7. Voer fi workspace up uit om de LLM-OS-toepassing te starten, waardoor de benodigde Docker-containers voor de database en de LLM-OS-toepassing worden aangemaakt.
8. Open je webbrowser en ga naar http://localhost:8501 om toegang te krijgen tot de LLM-OS-interface.
9. Voer een gebruikersnaam in en begin te communiceren met de LLM-OS, die toegang heeft tot een rekenmachine, bestandssysteem, webzoekopdracht en Yahoo Finance.
10. Je kunt ook andere assistent-teamleden toevoegen, zoals een Python-assistent, data-analist of beleggingsassistent, zoals gedemonstreerd in andere voorbeelden.

Om de LLM-OS te testen, probeer een blogbericht toe te voegen aan de kennisbasis en stel er een vraag over, zoals "Wat wenste Sam Altman dat hij wist?". De LLM-OS zal zijn kennisbasis doorzoeken en gebruik maken van retrieval-augmented generation om het antwoord te geven.

Je kunt ook de rekenmachine testen door te vragen "Wat is 10 faculteit?", en de LLM-OS zal de rekenmachine gebruiken om het resultaat te geven.

De lokale installatie houdt alles binnen Docker, waardoor het gemakkelijk te beheren en te implementeren is.

Volg deze stappen om de LLM-OS op AWS uit te voeren:

1. Exporteer je AWS-referenties door de AWS CLI te installeren en aws configure uit te voeren.
2. Voeg je subnet-ID's toe aan het bestand workspace_settings.py.
3. Voeg een wachtwoord toe voor je toepassing en database in het bestand workspace_settings.py.
4. Maak je AWS-resources aan door fir workspace up --prod-infra-aws uit te voeren. Hiermee wordt de benodigde infrastructuur opgezet, inclusief beveiligingsgroepen, geheimen, databaseinstantie, load balancers en ECS-cluster.
5. Zodra de resources zijn aangemaakt, krijg je een load balancer DNS die je kunt gebruiken om toegang te krijgen tot je LLM-OS die op AWS draait.
6. Je kunt ook toegang krijgen tot de LLM-OS-API door /api toe te voegen aan de load balancer DNS.
7. Test de LLM-OS door een blogbericht toe te voegen en er vragen over te stellen. Je kunt ook complexere taken uitvoeren, zoals het vergelijken van aandelen met behulp van de Yahoo Finance-tools.

Controleer de Fi Data-documentatie voor meer gedetailleerde instructies en informatie over het aanpassen en uitbreiden van de LLM-OS.

Nu we de LLM-OS op AWS hebben lopen, laten we de functionaliteit testen. We voeren een aantal taken uit om te zien hoe het systeem werkt.

Laten we eerst een blogbericht toevoegen aan de kennisbasis en vervolgens de LLM-OS een vraag stellen over de inhoud:

1. Voeg een nieuw blogbericht toe aan de kennisbasis:

   • De LLM-OS zal het blogbericht verwerken en de informatie opslaan in de vector-database.

2. Stel de vraag: "Wat wenste Sam Altman dat hij wist?"

   • De LLM-OS zal zijn kennisbasis doorzoeken, de relevante informatie ophalen en gebruik maken van retrieval-augmented generation om het antwoord te geven.

Laten we vervolgens de rekenmachine-functionaliteit testen:

3. Vraag de LLM-OS: "Wat is 10 faculteit?"
   • De LLM-OS zal zijn rekenmachine-mogelijkheden gebruiken om de faculteit te berekenen en het resultaat teruggeven.

Tot slot laten we de LLM-OS's vermogen om complexere taken uit te voeren verkennen:

4. Vraag de LLM-OS om "Een vergelijking te schrijven tussen NVIDIA en AMD met behulp van Yahoo Finance-gegevens."
   • De LLM-OS zal gebruik maken van zijn toegang tot Yahoo Finance-gegevens, evenals zijn natuurlijke taalgenereringsmogelijkheden, om een vergelijkende analyse van de twee bedrijven te geven.

Door deze verschillende functionaliteiten te testen, kun je zien hoe de LLM-OS kan fungeren als een krachtige AI-assistent, in staat om meerdere bronnen te raadplegen en te integreren om complexe problemen op te lossen. De naadloze integratie van het grote taalmodel, de kennisbasis en externe tools demonstreert het potentieel van dit framework voor het bouwen van geavanceerde AI-toepassingen.

De llm OS (Large Language Model Operating System) is een krachtig framework waarmee je AI-assistenten kunt bouwen met langetermijngeheugen, contextuele kennis en de mogelijkheid om acties uit te voeren via functieaanroepen. Door het Fi-data-framework te integreren met de llm OS, kun je een schaalbare en praktische oplossing creëren voor je AI-behoeften.

De belangrijkste hoogtepunten van de llm OS-implementatie die in deze zelfstudie worden behandeld, zijn:

1. Gebruik maken van GPT-4 als het grote taalmodel: De llm OS gebruikt GPT-4 als het onderliggende taalmodel, waardoor geavanceerde natuurlijke taalverwerking mogelijk wordt.

2. Toegang tot Software 1.0-tools: De llm OS geeft de AI-assistent toegang tot verschillende softwaretools, zoals een rekenmachine, bestandssysteem en webzoekopdracht, om zijn probleemoplossende vaardigheden te verbeteren.

3. Persistent geheugen en kennisopslag: De llm OS maakt gebruik van een Postgres-database en PGVector voor het opslaan van het geheugen en de kennis van de AI-assistent, waardoor langetermijnretentie en -ophaling mogelijk worden.

4. Internetbrowsing-mogelijkheden: De AI-assistent kan het internet doorzoeken om aanvullende informatie te verzamelen, waardoor zijn kennisbasis wordt uitgebreid.

5. Delegatie naar gespecialiseerde assistenten: De llm OS stelt de AI-assistent in staat om taken te delegeren aan andere gespecialiseerde assistenten, zoals een Python-assistent of data-analist, voor meer gerichte mogelijkheden.

6. Implementatie op AWS: De zelfstudie laat zien hoe je de llm OS op AWS kunt implementeren, waarbij gebruik wordt gemaakt van infrastructuur als code om de benodigde resources op te zetten, waaronder de database, load balancers en ECS-cluster.

Door de instructies in de Fi-data-documentatie te volgen, kun je de llm OS gemakkelijk lokaal of op AWS instellen en uitvoeren, waardoor je de mogelijkheden van dit krachtige framework kunt verkennen en je eigen AI-assistenten kunt bouwen.