För att köra LLM-OS lokalt, följ dessa steg:

1. Skapa en Python-virtuell miljö för att hålla dina beroenden isolerade.
2. Installera nödvändiga paket, inklusive de valfria AWS-biblioteken för FI-Data-ramverket.
3. Installera Docker Desktop om du inte redan har det.
4. Skapa LLM-OS-kodbasen med hjälp av kommandot fi workspace create och välj mallen "LLM-OS" för att klona.
5. Exportera din OpenAI API-nyckel, eftersom du kommer att använda GPT-4 som språkmodell.
6. Exportera din Anthropic API-nyckel för forskningsassistenten (Exa).
7. Kör fi workspace up för att starta LLM-OS-programmet, vilket kommer att skapa de nödvändiga Docker-containrarna för databasen och LLM-OS-programmet.
8. Öppna din webbläsare och gå till http://localhost:8501 för att komma åt LLM-OS-gränssnittet.
9. Ange ett användarnamn och börja interagera med LLM-OS, som har tillgång till en kalkylator, filsystem, webbsökning och Yahoo Finance.
10. Du kan också lägga till andra assistentmedlemmar, som en Python-assistent, dataanalytiker eller investeringsassistent, som visas i andra exempel.

För att testa LLM-OS, försök lägga till ett blogginlägg i kunskapsbasen och fråga den en fråga, som "Vad önskade Sam Altman att han visste?". LLM-OS kommer att söka i sin kunskapsbas och använda hämtningsförstärkt generering för att ge svaret.

Du kan också testa kalkylatorn genom att fråga "Vad är 10 fakultet?", och LLM-OS kommer att använda kalkylatorn för att ge resultatet.

Den lokala installationen håller allt inom Docker, vilket gör det enkelt att hantera och distribuera.

För att köra LLM-OS på AWS, följ dessa steg:

1. Exportera dina AWS-autentiseringsuppgifter genom att installera AWS CLI och köra aws configure.
2. Lägg till dina subnet-ID:n i filen workspace_settings.py.
3. Lägg till ett lösenord för ditt program och din databas i filen workspace_settings.py.
4. Skapa dina AWS-resurser genom att köra fir workspace up --prod-infra-aws. Detta kommer att ställa in den nödvändiga infrastrukturen, inklusive säkerhetsgrupper, hemligheter, databasinstans, lastbalanserare och ECS-kluster.
5. När resurserna har skapats får du en lastbalanserare-DNS som du kan använda för att komma åt din LLM-OS som körs på AWS.
6. Du kan också komma åt LLM-OS-API:et genom att lägga till /api till lastbalanserare-DNS:en.
7. Testa LLM-OS genom att lägga till ett blogginlägg och ställa frågor. Du kan också prova mer komplexa uppgifter, som att jämföra aktier med hjälp av Yahoo Finance-verktygen.

Komma ihåg att kontrollera Fi Data-dokumentationen för mer detaljerade instruktioner och information om hur du anpassar och utökar LLM-OS.

Nu när vi har LLM-OS som körs på AWS, låt oss testa dess funktionalitet. Vi kommer att utföra några uppgifter för att se hur systemet fungerar.

Först ska vi lägga till ett blogginlägg i kunskapsbasen och sedan fråga LLM-OS en fråga om innehållet:

1. Lägg till ett nytt blogginlägg i kunskapsbasen:

   • LLM-OS kommer att bearbeta blogginlägget och lagra informationen i vektordatabasen.

2. Ställ frågan: "Vad önskade Sam Altman att han visste?"

   • LLM-OS kommer att söka i sin kunskapsbas, hämta relevant information och använda hämtningsförstärkt generering för att ge svaret.

Nästa, låt oss testa kalkylatorfunktionaliteten:

3. Fråga LLM-OS: "Vad är 10 fakultet?"
   • LLM-OS kommer att använda sina kalkylatorfunktioner för att beräkna fakulteten och returnera resultatet.

Avslutningsvis, låt oss utforska LLM-OS:s förmåga att utföra mer komplexa uppgifter:

4. Be LLM-OS "Skriv en jämförelse mellan NVIDIA och AMD med hjälp av Yahoo Finance-data."
   • LLM-OS kommer att utnyttja sin tillgång till Yahoo Finance-data, samt sina förmågor för naturlig språkgenerering, för att tillhandahålla en jämförande analys av de två företagen.

Genom att testa dessa olika funktioner kan du se hur LLM-OS kan fungera som en kraftfull AI-assistent, som kan komma åt och integrera flera resurser för att lösa komplexa problem. Den sömlösa integrationen av den stora språkmodellen, kunskapsbasen och externa verktyg visar på potentialen hos denna ram för att bygga avancerade AI-program.

Llm OS (Large Language Model Operating System) är ett kraftfullt ramverk som låter dig bygga AI-assistenter med långsiktigt minne, kontextuell kunskap och förmågan att vidta åtgärder genom funktionsanrop. Genom att integrera Fi-data-ramverket med llm OS kan du skapa en skalbar och praktisk lösning för dina AI-behov.

De viktigaste höjdpunkterna i llm OS-implementeringen som täcks i den här självstudien är:

1. Utnyttja GPT-4 som den stora språkmodellen: Llm OS använder GPT-4 som den underliggande språkmodellen, vilket ger avancerade naturliga språkbearbetningsförmågor.

2. Åtkomst till Software 1.0-verktyg: Llm OS ger AI-assistenten tillgång till olika programvaruverktyg, som en kalkylator, filsystem och webbsökning, för att förbättra dess problemlösningsförmåga.

3. Persistent minne och kunskapslagring: Llm OS använder en Postgres-databas och PGVector för att lagra AI-assistentens minne och kunskap, vilket möjliggör långsiktig lagring och hämtning.

4. Internetbläddringsfunktioner: AI-assistenten kan bläddra på internet för att samla in ytterligare information, vilket utökar dess kunskapsbas.

5. Delegering till specialiserade assistenter: Llm OS låter AI-assistenten delegera uppgifter till andra specialiserade assistenter, som en Python-assistent eller en dataanalytiker, för mer riktade funktioner.

6. Distribution på AWS: Självstudien visar hur du distribuerar llm OS på AWS, med hjälp av infrastruktur som kod för att ställa in nödvändiga resurser, inklusive databasen, lastbalanserare och ECS-kluster.

Genom att följa instruktionerna i Fi-data-dokumentationen kan du enkelt ställa in och köra llm OS lokalt eller på AWS, vilket låter dig utforska möjligheterna hos detta kraftfulla ramverk och bygga dina egna AI-assistenter.