A Meta está visando desenvolver o modelo de IA mais avançado da indústria até 2025. Eles planejam treinar seu próximo modelo Llama 4 em 10 vezes mais dados do que o Llama 3, que eles afirmam já ser competitivo com os modelos mais avançados.

Zuckerberg declarou que a Meta prefere construir uma capacidade de computação em excesso do que insuficiente, pois eles estão planejando para a computação e os dados necessários para os próximos anos. A quantidade de computação necessária para treinar o Llama 4 provavelmente será quase 10 vezes maior do que a usada para o Llama 3, e os modelos futuros continuarão a crescer além disso.

Este objetivo ambicioso significa que o Llama 4 precisará superar os últimos modelos da Google, Anthropic, OpenAI e outros. Resta saber se a Meta conseguirá alcançar isso, pois a corrida pela IA continua a se intensificar com rápidos avanços em toda a indústria. No entanto, a disposição da Meta de investir pesadamente em computação e dados sugere que eles estão determinados a manter sua posição como líder em modelos de linguagem em larga escala.

De acordo com Adam D'Angelo, CEO da Quora e membro do conselho da OpenAI, a inteligência artificial geral (AGI) pode ser alcançada nos próximos 5 a 15 anos. D'Angelo fez essa previsão durante um evento recente, afirmando que o advento da AGI será uma mudança muito importante para o mundo.

A OpenAI, a empresa por trás do popular modelo de linguagem GPT, desenvolveu internamente um novo sistema de classificação em cinco níveis para acompanhar seu progresso na construção da AGI. Os três primeiros níveis incluem:

1. Chatbots com habilidades de linguagem conversacional.
2. Raciocínios e sistemas com habilidades de resolução de problemas em nível humano.
3. Agentes e sistemas que podem tomar ações.

A previsão de D'Angelo sugere que mesmo antes de atingir o marco completo da AGI, a conquista de habilidades de resolução de problemas e tomada de ações em nível humano serão eventos "transformadores" que poderiam transformar significativamente o mundo.

Dados os rápidos avanços na IA testemunhados nos últimos anos, a previsão de AGI nos próximos 5 a 15 anos, embora ambiciosa, é considerada dentro do reino da possibilidade pelos especialistas do setor. Os próximos 5 anos, em particular, devem ver uma aceleração no desenvolvimento da IA, à medida que mais dos principais laboratórios de pesquisa e empresas do mundo concentram seus esforços nesse desafio.

No entanto, resta saber se surgirão quaisquer obstáculos ou barreiras técnicas importantes no caminho da AGI. A corrida para alcançar esse marco está se intensificando, e o impacto de sua realização poderia ser profundo, tornando-o uma área crucial a ser monitorada nos próximos anos.

O novo modelo experimental da Google, o Gemini Pro 0801, foi testado na arena de chatbots durante a última semana, reunindo mais de 20.000 votos da comunidade. Pela primeira vez, o Gemini reivindicou o primeiro lugar, superando o GPT-4 e o CLAUDE 3.5 com uma pontuação impressionante de 1.300 e também alcançando a primeira posição no ranking de visão.

O Gemini Pro se destaca em tarefas multilíngues e entrega um desempenho robusto em áreas técnicas, prompts difíceis e codificação. Essa é uma conquista significativa, pois o Gemini 1.5 Pro conseguiu superar os altamente capazes modelos GPT-4 e CLAUDE 3.5.

Interessantemente, a Google não rotulou esse modelo como Gemini 2, sugerindo que eles podem ter implementado algumas técnicas de raciocínio ou pós-treinamento adicionais para melhorar as capacidades do modelo. Essa abordagem é semelhante ao que a Anthropic fez com o CLAUDE 3.5, onde o modelo demonstra habilidades de raciocínio aprimoradas em comparação com versões anteriores.

O desempenho do Gemini Pro 0801 destaca os contínuos avanços na arena de chatbots, com modelos empurrando constantemente os limites do que é possível. Será interessante ver por quanto tempo o Gemini Pro 0801 conseguirá manter sua posição de liderança e se a OpenAI ou outras empresas de IA responderão com modelos ainda mais capazes no futuro próximo.

A Nvidia está trabalhando para simplificar e acelerar o desenvolvimento de robôs humanoides com sua iniciativa Project Roo. A empresa está introduzindo um conjunto de ferramentas para desenvolvedores no ecossistema de robôs humanoides construírem seus modelos de IA de forma mais eficiente.

Os principais componentes da abordagem da Nvidia incluem:

1. Pipeline de Geração de Dados Sintéticos: A Nvidia começa com demonstrações coletadas por humanos usando dispositivos de realidade mista como o Apple Vision Pro. Eles então multiplicam esses dados por mil ou mais usando as ferramentas de simulação da Nvidia, como Omniverse, RoboSuite e MimicGen.

2. Infraestrutura de Computação Distribuída: A Nvidia está aproveitando suas plataformas de computação DGX, OVX e Jetson Thor para impulsionar o fluxo de trabalho de desenvolvimento. O DGX cuida do processamento de vídeos e textos para treinar o modelo de fundação multimodal, o OVX executa a pilha de simulação e o Jetson Thor é usado para testar o modelo em robôs reais.

3. Simulação Alimentada pelo Omniverse: O framework de simulação Omniverse da Nvidia, integrado ao Isaac Lab, permite que os desenvolvedores gerem um número massivo de ambientes e layouts para aumentar a diversidade dos dados de treinamento.

4. Ferramentas Habilitadas por IA Generativa: A ferramenta MimicGen da Nvidia ajuda a gerar conjuntos de dados sintéticos de movimento em larga escala com base no pequeno número de capturas originais, expandindo ainda mais os dados de treinamento.

O objetivo é permitir que desenvolvedores em todo o mundo construam melhores modelos de IA para plataformas de hardware de robôs humanoides. A Nvidia acredita que a era da "IA física" chegou, onde os robôs podem entender e interagir com o mundo físico.

Ao simplificar o fluxo de trabalho de desenvolvimento e fornecer uma poderosa infraestrutura de computação, a Nvidia visa acelerar o progresso na robótica humanoide e nos aproximar da era dos robôs humanoides alimentados por IA.

Pesquisadores na ICML 2024 apresentaram uma nova técnica de engenharia de prompt chamada "Planejar como um Grafo" que pode melhorar significativamente o desempenho dos modelos de linguagem em tarefas complexas e de várias etapas.

A principal percepção por trás dessa técnica é que os modelos de linguagem atuais têm dificuldade com o planejamento assíncrono - a capacidade de paralelizar certas subtarefas enquanto executam sequencialmente outras. Para abordar isso, o método "Planejar como um Grafo" solicita que o modelo primeiro gere uma representação gráfica da tarefa, capturando as dependências entre as subtarefas. O modelo pode então usar esse grafo para elaborar um plano ideal para concluir a tarefa geral.

Os pesquisadores constataram que essa abordagem superou os métodos de referência em uma variedade de modelos de linguagem. Por exemplo, em uma tarefa envolvendo o preparo do café da manhã (por exemplo, preparar café, fritar um ovo, fazer torradas), o método "Planejar como um Grafo" reduziu o tempo total para concluir a tarefa em mais de 20% em comparação com o planejamento sequencial.

Este trabalho destaca que ainda há um potencial significativo a ser explorado nos modelos de linguagem, e que novas técnicas de engenharia de prompt podem desbloquear novas capacidades. Como os pesquisadores observam, este é um "método de engenharia de prompt pronto para uso" que não requer treinamento adicional, tornando-o uma maneira acessível de impulsionar o desempenho do modelo.

Em geral, a técnica "Planejar como um Grafo" representa um avanço importante nas capacidades dos modelos de linguagem, particularmente quando se trata de raciocínio complexo e de várias etapas. À medida que os modelos de linguagem continuam a evoluir, podemos esperar ver mais abordagens inovadoras de engenharia de prompt que empurrem os limites do que esses sistemas podem alcançar.