Metabot, um agente de codificação nativo do GitHub de última geração, alcançou uma pontuação notável de 38% no benchmark de engenharia de software, superando o estado da arte anterior em 33%. Esta conquista foi realizada pela nova arquitetura cognitiva do Metabot, que aborda questões no fluxo de trabalho estruturado.

A arquitetura envolve um processo de várias etapas:

1. Reunir contexto
2. Planejamento e edição
3. Desconstruir o plano em edições individuais
4. Aplicar as edições
5. Testar e revisar o plano
6. Reunir mais contexto, se necessário
7. Enviar a solução final

Esta abordagem iterativa e estruturada permitiu que o Metabot superasse líderes do setor, como a Fábrica AI da Alibaba e a IBM Research. O rápido progresso nos agentes de codificação impulsionados por IA é um testemunho do ritmo acelerado do desenvolvimento de IA, com melhorias sendo observadas a cada poucas semanas.

As implicações deste avanço são significativas, pois sugerem que a taxa de melhorias no desenvolvimento de software pode ser exponencial nos próximos anos. À medida que os modelos de IA continuam a evoluir, o potencial da codificação assistida por IA para revolucionar a indústria de engenharia de software torna-se cada vez mais evidente.

O Google lançou recentemente dois novos modelos de linguagem, o Gemini 2, com 27 bilhões e 9 bilhões de parâmetros, respectivamente. Esses modelos conseguiram superar modelos maiores, como o LLaMA 3 (70 bilhões de parâmetros), o Chinchilla (70 bilhões de parâmetros) e o ChatGPT em avaliações subjetivas, apesar de seu tamanho menor.

O modelo Gemini 2 de 27 bilhões de parâmetros demonstrou um desempenho impressionante, superando esses modelos maiores na arena de chatbots. Embora possa não superá-los em benchmarks objetivos, o fato de os usuários nem perceberem que estão interagindo com um modelo desse tamanho é bastante notável.

Adicionalmente, o Google fez avanços significativos em seus modelos de linguagem, incluindo o aumento do comprimento da janela de contexto para 2 milhões de tokens no Gemini 1.5 Pro. Essa é uma melhoria significativa em relação aos modelos anteriores e coloca o Google à frente de outros principais laboratórios de IA nessa área.

A natureza de código aberto dos modelos Gemini 2, juntamente com seu desempenho e eficiência impressionantes, os tornam um desenvolvimento promissor no campo do processamento de linguagem natural. À medida que o Google continuar lançando novos modelos e fazendo avanços, podemos esperar ver ainda mais progressos impressionantes nos próximos anos.

O cenário de IA está evoluindo rapidamente, com várias conquistas e previsões-chave que estão moldando o futuro dessa tecnologia. Aqui estão alguns dos desenvolvimentos notáveis:

1. Metabot: Um Agente de Codificação Revolucionário

   • O Metabot, um agente de codificação nativo do GitHub de última geração, alcançou uma pontuação notável de 38% no benchmark de engenharia de software, superando o estado da arte anterior em 33%.
   • Essa conquista demonstra os impressionantes avanços no desenvolvimento de software impulsionado por IA, com o Metabot superando os principais players do setor, como Alibaba, Factory e IBM Research.
   • A arquitetura cognitiva por trás do Metabot, que inclui a coleta de contexto, planejamento, edição e teste, provou ser altamente eficaz na resolução de desafios de codificação complexos.

2. Gemini 2 do Google: Superando Modelos Maiores

   • O Google lançou o Gemini 2, um modelo de 27 bilhões de parâmetros e um modelo de 9 bilhões de parâmetros, que demonstraram um desempenho notável na arena de chatbots.
   • Esses modelos Gemini 2 superaram modelos maiores, como o LLaMA 3 (70 bilhões de parâmetros), o Cohere (72 bilhões de parâmetros) e o ChatGPT, demonstrando o potencial de sistemas de IA eficientes e de alto desempenho.
   • A natureza de código aberto do Gemini 2 e sua ampla compatibilidade com estruturas o tornam uma opção atraente para desenvolvedores e pesquisadores.

3. Expandindo os Comprimentos de Contexto: Empurrando os Limites

   • O Google anunciou a disponibilidade do Gemini 1.5 Pro com uma janela de contexto de 2 milhões de tokens, expandindo significativamente a capacidade de entrada de seus modelos de linguagem.
   • Esse desenvolvimento está alinhado com a exploração do GPT-4 da OpenAI, que demonstrou a capacidade de processar entradas de vídeo de 45 minutos, provavelmente na faixa de 1 milhão de tokens.
   • A corrida para aumentar os comprimentos de contexto destaca os esforços contínuos para melhorar as capacidades dos modelos de IA no manuseio de entradas mais longas e complexas.

4. Previsões da Anthropic: Execuções de Treinamento de Bilhões de Dólares

   • O CEO da Anthropic, Dario Amodei, prevê que, até 2027, os modelos de IA custarão até US$ 100 bilhões para treinar e superarão as capacidades humanas na maioria das tarefas.
   • Essa projeção de custo impressionante ressalta os investimentos significativos necessários para empurrar os limites do desenvolvimento de IA, com os próximos treinamentos potencialmente custando US$ 1 bilhão.
   • As implicações dessas execuções de treinamento de alto custo apontam para a necessidade de financiamento e recursos substanciais para impulsionar o avanço contínuo da tecnologia de IA.

5. Acelerando Descobertas Científicas

   • Amodei também sugere que os modelos de IA poderiam acelerar descobertas e avanços científicos, particularmente em campos como biologia e descoberta de medicamentos.
   • O potencial de sistemas impulsionados por IA para operar no nível de cientistas premiados com o Nobel ou especialistas líderes em vários domínios poderia levar a uma proliferação de descobertas revolucionárias.
   • Essa visão está alinhada com os avanços vistos em projetos como o AlphaFold, que demonstraram a capacidade de acelerar a previsão da estrutura de proteínas.

Dario Amod, o CEO da Anthropic, fez algumas previsões fascinantes sobre o futuro da IA. Ele acredita que, até 2027, os modelos de IA custarão até US$ 100 bilhões para treinar e serão melhores que a maioria dos humanos na maioria das tarefas. Isso sugere que os próximos treinamentos, potencialmente custando US$ 1 bilhão, empurrarão os limites do que a IA pode alcançar.

Uma área em que Amod acredita que a IA terá um impacto significativo é na aceleração de descobertas científicas e na cura de doenças. Ele imagina modelos de IA especializados que sejam tão conhecedores e criativos quanto os cientistas premiados com o Nobel ou os chefes de descoberta de medicamentos em grandes empresas farmacêuticas. Esses modelos poderiam experimentar e explorar de maneiras que os pesquisadores humanos não podem, potencialmente levando a avanços em campos como biologia e descoberta de medicamentos.

Já vimos exemplos de modelos de IA, como o AlphaFold do Google, que conseguiram acelerar a descoberta de estruturas de proteínas de forma significativa. Amod acredita que, se tivéssemos "um milhão de cópias de um sistema de IA que sejam tão conhecedores e criativos sobre o campo quanto todos aqueles cientistas que inventaram aquelas coisas", a taxa de descobertas científicas poderia se proliferar, e até mesmo doenças de longa data poderiam ser abordadas ou curadas.

Embora isso possa parecer um objetivo futurista e desafiador, as capacidades fundamentais dos modelos de IA sugerem que tais avanços são possíveis. À medida que a escala, os algoritmos e o hardware continuarem a melhorar, o potencial da IA para revolucionar a pesquisa científica e os avanços médicos torna-se cada vez mais tangível.

A OpenAI tem trabalhado no desenvolvimento de modelos "críticos" para ajudar a melhorar a precisão e o alinhamento de seus sistemas de IA, particularmente o ChatGPT. Os principais pontos são:

• A OpenAI treinou um modelo chamado "Critic GPT" com base no GPT-4 para identificar erros nas saídas do ChatGPT.
• Quando as pessoas usam o Critic GPT para revisar as respostas do ChatGPT, elas superam aquelas sem o modelo crítico em 60% das vezes.
• A OpenAI agora está trabalhando para integrar modelos semelhantes ao Critic GPT em seu pipeline de aprendizado por reforço com feedback humano (RLHF).
• Esse é um exemplo de "melhoria recursiva automática" em que os modelos de IA são usados para avaliar e melhorar outros modelos de IA.
• À medida que os modelos de IA se tornam mais avançados, torna-se cada vez mais difícil para os treinadores humanos identificar seus erros sutis. Os modelos críticos podem ajudar a resolver esse desafio.
• No entanto, há uma limitação fundamental - em algum momento, os modelos de IA podem se tornar mais inteligentes que qualquer indivíduo humano fornecendo feedback, tornando a abordagem de humano-no-loop mais difícil.
• Isso levanta questões sobre quando e como os sistemas de IA podem fazer a transição para a melhoria recursiva automática total, sem supervisão humana direta.