Pour exécuter le LLM-OS localement, suivez ces étapes :

1. Créez un environnement virtuel Python pour garder vos dépendances isolées.
2. Installez les packages nécessaires, y compris les bibliothèques AWS optionnelles pour le cadre FI-Data.
3. Installez Docker Desktop si ce n'est pas déjà fait.
4. Créez la base de code LLM-OS à l'aide de la commande fi workspace create et sélectionnez le modèle "LLM-OS" à cloner.
5. Exportez votre clé d'API OpenAI, car vous utiliserez GPT-4 comme modèle de langage.
6. Exportez votre clé d'API Anthropic pour l'assistant de recherche (Exa).
7. Exécutez fi workspace up pour démarrer l'application LLM-OS, qui créera les conteneurs Docker nécessaires pour la base de données et l'application LLM-OS.
8. Ouvrez votre navigateur Web et accédez à http://localhost:8501 pour accéder à l'interface LLM-OS.
9. Entrez un nom d'utilisateur et commencez à interagir avec le LLM-OS, qui a accès à une calculatrice, un système de fichiers, une recherche Web et Yahoo Finance.
10. Vous pouvez également ajouter d'autres membres de l'équipe d'assistants, comme un assistant Python, un analyste de données ou un assistant en investissement, comme démontré dans d'autres exemples.

Pour tester le LLM-OS, essayez d'ajouter un article de blog à la base de connaissances et de lui poser une question, comme "Que souhaitait savoir Sam Altman ?". Le LLM-OS recherchera dans sa base de connaissances et utilisera la génération augmentée par la récupération pour fournir la réponse.

Vous pouvez également tester la calculatrice en demandant "Quel est le factoriel de 10 ?", et le LLM-OS utilisera la calculatrice pour fournir le résultat.

La configuration locale contient tout dans Docker, ce qui facilite la gestion et le déploiement.

Pour exécuter le LLM-OS sur AWS, suivez ces étapes :

1. Exportez vos identifiants AWS en installant l'AWS CLI et en exécutant aws configure.
2. Ajoutez vos ID de sous-réseau au fichier workspace_settings.py.
3. Ajoutez un mot de passe pour votre application et votre base de données dans le fichier workspace_settings.py.
4. Créez vos ressources AWS en exécutant fir workspace up --prod-infra-aws. Cela configurera l'infrastructure nécessaire, y compris les groupes de sécurité, les secrets, l'instance de base de données, les équilibreurs de charge et le cluster ECS.
5. Une fois les ressources créées, vous obtiendrez un DNS d'équilibreur de charge que vous pourrez utiliser pour accéder à votre LLM-OS en cours d'exécution sur AWS.
6. Vous pouvez également accéder à l'API LLM-OS en ajoutant /api au DNS de l'équilibreur de charge.
7. Testez le LLM-OS en ajoutant un article de blog et en lui posant des questions. Vous pouvez également essayer des tâches plus complexes, comme comparer des actions à l'aide des outils Yahoo Finance.

N'oubliez pas de consulter la documentation Fi Data pour obtenir des instructions plus détaillées et des informations sur la personnalisation et l'extension du LLM-OS.

Maintenant que nous avons le LLM-OS en cours d'exécution sur AWS, testons ses fonctionnalités. Nous effectuerons quelques tâches pour voir comment le système fonctionne.

Tout d'abord, ajoutons un article de blog à la base de connaissances, puis posons une question au LLM-OS sur le contenu :

1. Ajoutez un nouvel article de blog à la base de connaissances :

   • Le LLM-OS traitera l'article de blog et stockera les informations dans la base de données vectorielle.

2. Posez la question : "Que souhaitait savoir Sam Altman ?"

   • Le LLM-OS recherchera dans sa base de connaissances, récupérera les informations pertinentes et utilisera la génération augmentée par la récupération pour fournir la réponse.

Ensuite, testons les fonctionnalités de la calculatrice :

3. Demandez au LLM-OS : "Quel est le factoriel de 10 ?"
   • Le LLM-OS utilisera ses capacités de calculatrice pour calculer le factoriel et renvoyer le résultat.

Enfin, explorons la capacité du LLM-OS à effectuer des tâches plus complexes :

4. Demandez au LLM-OS de "Rédiger une comparaison entre NVIDIA et AMD à l'aide des données Yahoo Finance".
   • Le LLM-OS tirera parti de son accès aux données Yahoo Finance, ainsi que de ses capacités de génération de langage naturel, pour fournir une analyse comparative des deux entreprises.

En testant ces différentes fonctionnalités, vous pouvez voir comment le LLM-OS peut servir d'assistant IA puissant, capable d'accéder et d'intégrer plusieurs ressources pour résoudre des problèmes complexes. L'intégration transparente du modèle de langage, de la base de connaissances et des outils externes démontre le potentiel de ce cadre pour la construction d'applications IA avancées.

Le système d'exploitation LLM (Large Language Model) est un cadre puissant qui vous permet de construire des assistants IA avec une mémoire à long terme, des connaissances contextuelles et la capacité d'effectuer des actions en utilisant l'appel de fonction. En intégrant le cadre Fi-data avec le système d'exploitation LLM, vous pouvez créer une solution évolutive et pratique pour vos besoins en IA.

Les principaux points forts de la mise en œuvre du système d'exploitation LLM abordés dans ce tutoriel sont :

1. Utilisation de GPT-4 comme modèle de langage de grande taille : Le système d'exploitation LLM utilise GPT-4 comme modèle de langage sous-jacent, offrant des capacités avancées de traitement du langage naturel.

2. Accès aux outils Software 1.0 : Le système d'exploitation LLM donne à l'assistant IA l'accès à divers outils logiciels, tels qu'une calculatrice, un système de fichiers et une recherche Web, pour améliorer ses capacités de résolution de problèmes.

3. Mémoire persistante et stockage des connaissances : Le système d'exploitation LLM utilise une base de données Postgres et PGVector pour stocker la mémoire et les connaissances de l'assistant IA, permettant une rétention et une récupération à long terme.

4. Capacités de navigation sur Internet : L'assistant IA peut naviguer sur Internet pour rassembler des informations supplémentaires, élargissant ainsi sa base de connaissances.

5. Délégation à des assistants spécialisés : Le système d'exploitation LLM permet à l'assistant IA de déléguer des tâches à d'autres assistants spécialisés, comme un assistant Python ou un analyste de données, pour des capacités plus ciblées.

6. Déploiement sur AWS : Le tutoriel montre comment déployer le système d'exploitation LLM sur AWS, en tirant parti de l'infrastructure en tant que code pour configurer les ressources nécessaires, y compris la base de données, les équilibreurs de charge et le cluster ECS.

En suivant les instructions fournies dans la documentation Fi-data, vous pouvez facilement configurer et exécuter le système d'exploitation LLM localement ou sur AWS, vous permettant d'explorer les capacités de ce cadre puissant et de construire vos propres assistants IA.