Para executar o LLM-OS localmente, siga estas etapas:

1. Crie um ambiente virtual Python para manter suas dependências isoladas.
2. Instale os pacotes necessários, incluindo as bibliotecas AWS opcionais para o framework FI-Data.
3. Instale o Docker Desktop, caso ainda não tenha feito isso.
4. Crie a base de código do LLM-OS usando o comando fi workspace create e selecione o modelo "LLM-OS" para clonar.
5. Exporte sua chave de API do OpenAI, pois você usará o GPT-4 como modelo de linguagem.
6. Exporte sua chave de API da Anthropic para o assistente de pesquisa (Exa).
7. Execute fi workspace up para iniciar o aplicativo LLM-OS, que criará os contêineres Docker necessários para o banco de dados e o aplicativo LLM-OS.
8. Abra seu navegador da web e vá para http://localhost:8501 para acessar a interface do LLM-OS.
9. Digite um nome de usuário e comece a interagir com o LLM-OS, que tem acesso a uma calculadora, sistema de arquivos, pesquisa na web e Yahoo Finance.
10. Você também pode adicionar outros membros da equipe de assistentes, como um assistente de Python, analista de dados ou assistente de investimentos, conforme demonstrado em outros exemplos.

Para testar o LLM-OS, tente adicionar um post de blog à base de conhecimento e fazer-lhe uma pergunta, como "O que Sam Altman gostaria de saber?". O LLM-OS pesquisará sua base de conhecimento e usará a geração com recuperação aumentada para fornecer a resposta.

Você também pode testar a calculadora perguntando "Qual é o fatorial de 10?", e o LLM-OS usará a calculadora para fornecer o resultado.

A configuração local mantém tudo contido dentro do Docker, facilitando o gerenciamento e a implantação.

Para executar o LLM-OS na AWS, siga estas etapas:

1. Exporte suas credenciais da AWS instalando a CLI da AWS e executando aws configure.
2. Adicione seus IDs de sub-rede ao arquivo workspace_settings.py.
3. Adicione uma senha para seu aplicativo e banco de dados no arquivo workspace_settings.py.
4. Crie seus recursos da AWS executando fir workspace up --prod-infra-aws. Isso configurará a infraestrutura necessária, incluindo grupos de segurança, segredos, instância de banco de dados, balanceadores de carga e cluster do ECS.
5. Assim que os recursos forem criados, você receberá um DNS de balanceador de carga que poderá usar para acessar seu LLM-OS em execução na AWS.
6. Você também pode acessar a API do LLM-OS adicionando /api ao DNS do balanceador de carga.
7. Teste o LLM-OS adicionando um post de blog e fazendo perguntas. Você também pode tentar tarefas mais complexas, como comparar ações usando as ferramentas do Yahoo Finance.

Lembre-se de verificar a documentação do Fi Data para obter instruções mais detalhadas e informações sobre como personalizar e estender o LLM-OS.

Agora que temos o LLM-OS em execução na AWS, vamos testar sua funcionalidade. Realizaremos algumas tarefas para ver como o sistema opera.

Primeiro, vamos adicionar um post de blog à base de conhecimento e, em seguida, fazer uma pergunta ao LLM-OS sobre o conteúdo:

1. Adicione um novo post de blog à base de conhecimento:

   • O LLM-OS processará o post de blog e armazenará as informações no banco de dados de vetores.

2. Faça a pergunta: "O que Sam Altman gostaria de saber?"

   • O LLM-OS pesquisará sua base de conhecimento, recuperará as informações relevantes e usará a geração com recuperação aumentada para fornecer a resposta.

Em seguida, vamos testar a funcionalidade da calculadora:

3. Pergunte ao LLM-OS: "Qual é o fatorial de 10?"
   • O LLM-OS usará seus recursos de calculadora para calcular o fatorial e retornar o resultado.

Finalmente, vamos explorar a capacidade do LLM-OS de realizar tarefas mais complexas:

4. Peça ao LLM-OS para "Escrever uma comparação entre NVIDIA e AMD usando dados do Yahoo Finance".
   • O LLM-OS aproveitará seu acesso aos dados do Yahoo Finance, bem como suas capacidades de geração de linguagem natural, para fornecer uma análise comparativa das duas empresas.

Ao testar essas várias funcionalidades, você pode ver como o LLM-OS pode servir como um assistente de IA poderoso, capaz de acessar e integrar vários recursos para resolver problemas complexos. A integração perfeita do modelo de linguagem, base de conhecimento e ferramentas externas demonstra o potencial dessa estrutura para a construção de aplicativos de IA avançados.

O llm OS (Large Language Model Operating System) é uma estrutura poderosa que permite a você construir assistentes de IA com memória de longo prazo, conhecimento contextual e a capacidade de realizar ações usando chamadas de função. Ao integrar o framework Fi-data com o llm OS, você pode criar uma solução escalável e prática para suas necessidades de IA.

Os principais destaques da implementação do llm OS abordados neste tutorial são:

1. Aproveitando o GPT-4 como o Modelo de Linguagem de Grande Porte: O llm OS usa o GPT-4 como o modelo de linguagem subjacente, fornecendo capacidades avançadas de processamento de linguagem natural.

2. Acesso a Ferramentas de Software 1.0: O llm OS dá ao assistente de IA acesso a várias ferramentas de software, como calculadora, sistema de arquivos e pesquisa na web, para melhorar suas habilidades de resolução de problemas.

3. Memória Persistente e Armazenamento de Conhecimento: O llm OS utiliza um banco de dados Postgres e PGVector para armazenar a memória e o conhecimento do assistente de IA, permitindo retenção e recuperação de longo prazo.

4. Capacidades de Navegação na Internet: O assistente de IA pode navegar na internet para coletar informações adicionais, expandindo sua base de conhecimento.

5. Delegação para Assistentes Especializados: O llm OS permite que o assistente de IA delegue tarefas a outros assistentes especializados, como um assistente de Python ou um analista de dados, para obter capacidades mais específicas.

6. Implantação na AWS: O tutorial demonstra como implantar o llm OS na AWS, aproveitando a infraestrutura como código para configurar os recursos necessários, incluindo o banco de dados, balanceadores de carga e cluster do ECS.

Seguindo as instruções fornecidas na documentação do Fi-data, você pode configurar e executar o llm OS localmente ou na AWS, permitindo que você explore as capacidades dessa estrutura poderosa e construa seus próprios assistentes de IA.