Per eseguire l'LLM-OS localmente, segui questi passaggi:

1. Crea un ambiente virtuale Python per mantenere isolate le tue dipendenze.
2. Installa i pacchetti necessari, incluse le librerie AWS opzionali per il framework FI-Data.
3. Installa Docker Desktop se non l'hai già fatto.
4. Crea il codice base di LLM-OS utilizzando il comando fi workspace create e seleziona il modello "LLM-OS" per clonarlo.
5. Esporta la tua chiave API di OpenAI, poiché utilizzerai GPT-4 come modello di linguaggio.
6. Esporta la tua chiave API di Anthropic per l'assistente di ricerca (Exa).
7. Esegui fi workspace up per avviare l'applicazione LLM-OS, che creerà i container Docker necessari per il database e l'applicazione LLM-OS.
8. Apri il tuo browser web e vai su http://localhost:8501 per accedere all'interfaccia LLM-OS.
9. Inserisci un nome utente e inizia a interagire con l'LLM-OS, che ha accesso a una calcolatrice, un file system, una ricerca web e Yahoo Finance.
10. Puoi anche aggiungere altri membri del team di assistenti, come un assistente Python, un analista di dati o un assistente per gli investimenti, come dimostrato in altri esempi.

Per eseguire l'LLM-OS su AWS, segui questi passaggi:

1. Esporta le tue credenziali AWS installando l'AWS CLI ed eseguendo aws configure.
2. Aggiungi i tuoi ID subnet al file workspace_settings.py.
3. Aggiungi una password per la tua applicazione e il database nel file workspace_settings.py.
4. Crea le tue risorse AWS eseguendo fir workspace up --prod-infra-aws. Questo configurerà l'infrastruttura necessaria, inclusi i gruppi di sicurezza, i segreti, l'istanza del database, i load balancer e il cluster ECS.
5. Una volta create le risorse, otterrai un DNS del load balancer che puoi utilizzare per accedere al tuo LLM-OS in esecuzione su AWS.
6. Puoi anche accedere all'API LLM-OS aggiungendo /api al DNS del load balancer.
7. Testa l'LLM-OS aggiungendo un post sul blog e ponendogli domande. Puoi anche provare attività più complesse, come il confronto di azioni utilizzando gli strumenti di Yahoo Finance.

Ora che abbiamo l'LLM-OS in esecuzione su AWS, mettiamone alla prova la funzionalità. Eseguiremo alcuni compiti per vedere come funziona il sistema.

Prima di tutto, aggiungiamo un post sul blog alla base di conoscenza e poi chiediamo all'LLM-OS una domanda sul contenuto:

1. Aggiungi un nuovo post sul blog alla base di conoscenza:

   • L'LLM-OS elaborerà il post sul blog e memorizzerà le informazioni nel database vettoriale.

2. Fai la domanda: "Cosa avrebbe voluto sapere Sam Altman?"

   • L'LLM-OS cercherà nella sua base di conoscenza, recupererà le informazioni pertinenti e utilizzerà la generazione aumentata dal recupero per fornire la risposta.

Successivamente, verifichiamo la funzionalità della calcolatrice:

3. Chiedi all'LLM-OS: "Qual è il fattoriale di 10?"
   • L'LLM-OS utilizzerà le sue capacità di calcolo per calcolare il fattoriale e restituire il risultato.

Infine, esploriamo la capacità dell'LLM-OS di eseguire attività più complesse:

4. Chiedi all'LLM-OS di "Scrivere un confronto tra NVIDIA e AMD utilizzando i dati di Yahoo Finance".
   • L'LLM-OS sfrutterà l'accesso ai dati di Yahoo Finance, nonché le sue capacità di generazione del linguaggio naturale, per fornire un'analisi comparativa delle due aziende.

L'LLM OS (Large Language Model Operating System) è un potente framework che ti permette di costruire assistenti AI con memoria a lungo termine, conoscenza contestuale e la capacità di intraprendere azioni utilizzando la chiamata di funzioni. Integrando il framework Fi-data con l'LLM OS, puoi creare una soluzione scalabile e pratica per le tue esigenze AI.

I principali punti salienti dell'implementazione dell'LLM OS trattati in questo tutorial sono:

1. Sfruttare GPT-4 come Large Language Model: L'LLM OS utilizza GPT-4 come modello di linguaggio sottostante, fornendo avanzate capacità di elaborazione del linguaggio naturale.

2. Accesso agli strumenti Software 1.0: L'LLM OS dà all'assistente AI l'accesso a vari strumenti software, come una calcolatrice, un file system e una ricerca web, per migliorare le sue capacità di risoluzione dei problemi.

3. Memoria persistente e archiviazione della conoscenza: L'LLM OS utilizza un database Postgres e PGVector per memorizzare la memoria e la conoscenza dell'assistente AI, consentendo la conservazione e il recupero a lungo termine.

4. Capacità di navigazione su Internet: L'assistente AI può navigare su Internet per raccogliere informazioni aggiuntive, ampliando la sua base di conoscenza.

5. Delega ad assistenti specializzati: L'LLM OS consente all'assistente AI di delegare attività ad altri assistenti specializzati, come un assistente Python o un analista di dati, per capacità più mirate.

6. Distribuzione su AWS: Il tutorial dimostra come distribuire l'LLM OS su AWS, sfruttando l'infrastruttura come codice per configurare le risorse necessarie, inclusi il database, i load balancer e il cluster ECS.