Um den LLM-OS lokal auszuführen, folgen Sie diesen Schritten:

1. Erstellen Sie eine Python-Virtualumgebung, um Ihre Abhängigkeiten isoliert zu halten.
2. Installieren Sie die erforderlichen Pakete, einschließlich der optionalen AWS-Bibliotheken für das FI-Data-Framework.
3. Installieren Sie Docker Desktop, falls Sie es noch nicht haben.
4. Erstellen Sie die LLM-OS-Codebasis mit dem Befehl fi workspace create und wählen Sie die Vorlage "LLM-OS" zum Klonen.
5. Exportieren Sie Ihren OpenAI-API-Schlüssel, da Sie GPT-4 als Sprachmodell verwenden werden.
6. Exportieren Sie Ihren Anthropic-API-Schlüssel für den Forschungsassistenten (Exa).
7. Führen Sie fi workspace up aus, um die LLM-OS-Anwendung zu starten, die die erforderlichen Docker-Container für die Datenbank und die LLM-OS-Anwendung erstellen wird.
8. Öffnen Sie Ihren Webbrowser und gehen Sie zu http://localhost:8501, um auf die LLM-OS-Oberfläche zuzugreifen.
9. Geben Sie einen Benutzernamen ein und beginnen Sie, mit dem LLM-OS zu interagieren, das Zugriff auf einen Taschenrechner, ein Dateisystem, eine Websuche und Yahoo Finance hat.
10. Sie können auch andere Assistenzteammitglieder wie einen Python-Assistenten, einen Datenanalysten oder einen Investmentassistenten hinzufügen, wie in anderen Beispielen gezeigt.

Um den LLM-OS zu testen, versuchen Sie, einen Blogbeitrag zur Wissensbasis hinzuzufügen und ihm eine Frage zu stellen, z.B. "Was hätte Sam Altman gerne gewusst?". Der LLM-OS wird seine Wissensbasis durchsuchen und die Antwort mithilfe von retrieval-augmented generation liefern.

Sie können auch den Taschenrechner testen, indem Sie "Was ist 10 Fakultät?" fragen, und der LLM-OS wird den Taschenrechner verwenden, um das Ergebnis zu liefern.

Die lokale Einrichtung hält alles in Docker enthalten, was die Verwaltung und Bereitstellung erleichtert.

Um den LLM-OS auf AWS auszuführen, folgen Sie diesen Schritten:

1. Exportieren Sie Ihre AWS-Anmeldeinformationen, indem Sie die AWS-CLI installieren und aws configure ausführen.
2. Fügen Sie Ihre Subnetz-IDs zur Datei workspace_settings.py hinzu.
3. Fügen Sie ein Passwort für Ihre Anwendung und Datenbank in der Datei workspace_settings.py hinzu.
4. Erstellen Sie Ihre AWS-Ressourcen, indem Sie fir workspace up --prod-infra-aws ausführen. Dadurch werden die erforderliche Infrastruktur, einschließlich Sicherheitsgruppen, Geheimnisse, Datenbankinstanz, Load Balancer und ECS-Cluster, eingerichtet.
5. Sobald die Ressourcen erstellt wurden, erhalten Sie eine Load Balancer-DNS, die Sie verwenden können, um auf Ihren auf AWS laufenden LLM-OS zuzugreifen.
6. Sie können auch auf die LLM-OS-API zugreifen, indem Sie /api an die Load Balancer-DNS anhängen.
7. Testen Sie den LLM-OS, indem Sie einen Blogbeitrag hinzufügen und ihm Fragen stellen. Sie können auch komplexere Aufgaben wie den Vergleich von Aktien mit den Yahoo Finance-Tools ausprobieren.

Überprüfen Sie die Fi-Data-Dokumentation für detailliertere Anweisungen und Informationen darüber, wie Sie den LLM-OS anpassen und erweitern können.

Nun, da wir den LLM-OS auf AWS ausführen, lasst uns seine Funktionalität testen. Wir werden einige Aufgaben durchführen, um zu sehen, wie das System funktioniert.

Zuerst fügen wir einen Blogbeitrag zur Wissensbasis hinzu und stellen dem LLM-OS dann eine Frage zum Inhalt:

1. Fügen Sie einen neuen Blogbeitrag zur Wissensbasis hinzu:

   • Der LLM-OS wird den Blogbeitrag verarbeiten und die Informationen in der Vektordatenbank speichern.

2. Stellen Sie die Frage: "Was hätte Sam Altman gerne gewusst?"

   • Der LLM-OS wird seine Wissensbasis durchsuchen, die relevanten Informationen abrufen und mithilfe von retrieval-augmented generation die Antwort liefern.

Als Nächstes testen wir die Taschenrechner-Funktionalität:

3. Fragen Sie den LLM-OS: "Was ist 10 Fakultät?"
   • Der LLM-OS wird seine Taschenrechner-Fähigkeiten nutzen, um die Fakultät zu berechnen und das Ergebnis zurückzugeben.

Schließlich erkunden wir die Fähigkeit des LLM-OS, komplexere Aufgaben auszuführen:

4. Bitten Sie den LLM-OS, "einen Vergleich zwischen NVIDIA und AMD unter Verwendung von Yahoo Finance-Daten zu erstellen".
   • Der LLM-OS wird auf die Zugriffsmöglichkeiten zu Yahoo Finance-Daten sowie seine Fähigkeiten zur natürlichen Sprachgenerierung zurückgreifen, um eine vergleichende Analyse der beiden Unternehmen zu liefern.

Durch das Testen dieser verschiedenen Funktionalitäten können Sie sehen, wie der LLM-OS als leistungsfähiger KI-Assistent dienen kann, der in der Lage ist, mehrere Ressourcen zu nutzen und zu integrieren, um komplexe Probleme zu lösen. Die nahtlose Integration des Large Language Model, der Wissensbasis und externer Tools zeigt das Potenzial dieses Frameworks für den Aufbau fortschrittlicher KI-Anwendungen.

Der LLM OS (Large Language Model Operating System) ist ein leistungsfähiges Framework, mit dem Sie KI-Assistenten mit Langzeitgedächtnis, kontextuellem Wissen und der Fähigkeit zum Ausführen von Funktionsaufrufen erstellen können. Durch die Integration des Fi-Data-Frameworks in den LLM OS können Sie eine skalierbare und praktische Lösung für Ihre KI-Bedürfnisse schaffen.

Die wichtigsten Highlights der in diesem Tutorial behandelten LLM-OS-Implementierung sind:

1. Nutzung von GPT-4 als Large Language Model: Der LLM OS verwendet GPT-4 als zugrunde liegendes Sprachmodell und bietet fortgeschrittene Fähigkeiten zur Verarbeitung natürlicher Sprache.

2. Zugriff auf Software 1.0-Tools: Der LLM OS gibt dem KI-Assistenten Zugriff auf verschiedene Softwaretools wie einen Taschenrechner, ein Dateisystem und eine Websuche, um seine Problemlösungsfähigkeiten zu erweitern.

3. Persistenter Speicher und Wissensspeicherung: Der LLM OS nutzt eine Postgres-Datenbank und PGVector, um den Speicher und das Wissen des KI-Assistenten zu speichern und langfristig abzurufen.

4. Internetzugriffsfähigkeiten: Der KI-Assistent kann das Internet durchsuchen, um zusätzliche Informationen zu sammeln und seine Wissensbasis zu erweitern.

5. Delegation an spezialisierte Assistenten: Der LLM OS ermöglicht es dem KI-Assistenten, Aufgaben an andere spezialisierte Assistenten wie einen Python-Assistenten oder einen Datenanalysten zu delegieren, um gezieltere Fähigkeiten zu nutzen.

6. Bereitstellung auf AWS: Das Tutorial zeigt, wie der LLM OS auf AWS bereitgestellt werden kann, wobei die Infrastruktur als Code genutzt wird, um die erforderlichen Ressourcen wie die Datenbank, Load Balancer und den ECS-Cluster einzurichten.

Indem Sie die in der Fi-Data-Dokumentation bereitgestellten Anweisungen befolgen, können Sie den LLM OS lokal oder auf AWS einrichten und die Fähigkeiten dieses leistungsfähigen Frameworks erkunden und Ihre eigenen KI-Assistenten entwickeln.