O relatório do Índice de IA de 2024 destaca que a indústria continua a liderar a pesquisa de IA de ponta. Em 2023, a indústria produziu 51 modelos de aprendizado de máquina notáveis, enquanto a academia contribuiu apenas com 15. Além disso, houve 21 modelos notáveis resultantes de colaborações entre indústria e academia, atingindo um novo recorde.

Essa tendência da indústria de dominar a pesquisa de IA de ponta continua a aumentar. O relatório levanta a questão de se o governo deve se envolver mais em projetos de IA, uma vez que o papel de liderança do setor privado pode criar um desequilíbrio de poder preocupante no futuro.

Alémdisso, o relatório observa que o número de modelos de fundação lançados em 2023 dobrou em comparação a 2022, sendo que 65% desses novos modelos lançados são de código aberto, ante 44% em 2022 e 33% em 2021. Isso sugere uma tendência crescente em direção à IA de código aberto, mesmo que modelos limitados de última geração, como o GPT-4 e seus sucessores, permaneçam de código fechado.

O relatório também fornece estimativas dos custos de treinamento desses modelos, com o GPT-4 estimado em US$ 78 milhões e o Gemini Ultra em US$ 191 milhões, destacando os investimentos significativos necessários para desenvolver esses sistemas avançados de IA.

O relatório do Índice de IA de 2024 destaca a crescente proeminência dos modelos de IA de código aberto. Alguns pontos-chave:

• Em 2023, 65% dos 149 novos modelos de fundação lançados eram de código aberto, ante 44% em 2022 e 33% em 2021. Isso mostra uma tendência clara em direção a um desenvolvimento de IA mais aberto.

• O número de projetos relacionados à IA no GitHub teve um aumento acentuado de 59,3% em 2023, mais que triplicando de 4 milhões em 2022 para 12,2 milhões em 2023. Essa explosão de atividade de código aberto foi impulsionada pelo lançamento do ChatGPT no final de 2022.

• Embora modelos de código fechado como o GPT-4 e o Gemini Ultra ainda dominem em determinados benchmarks, o relatório observa que os sistemas de código aberto estão cada vez mais alcançando e dominando o cenário da IA.

• Essa ascensão da IA de código aberto é vista como uma tendência positiva, promovendo transparência e acessibilidade. No entanto, permanecem preocupações sobre os possíveis riscos de modelos de código aberto poderosos caírem nas mãos erradas.

• Os reguladores provavelmente precisarão lidar com o equilíbrio entre os benefícios da inovação aberta e a necessidade de mitigar o uso indevido e garantir o desenvolvimento responsável dessas tecnologias transformadoras.

Em resumo, o Índice de IA de 2024 destaca o notável crescimento da IA de código aberto, que está remodelando o cenário e desafiando o domínio dos modelos de código fechado. Essa tendência provavelmente continuará a ser um foco-chave para a comunidade de IA nos anos vindouros.

Este capítulo examina o desempenho dos sistemas de IA em uma variedade de benchmarks em comparação com as capacidades humanas. Os dados mostram uma tendência cada vez mais impressionante, com a IA superando o desempenho humano em várias tarefas:

• A IA superou o desempenho humano em benchmarks incluindo classificação de imagens, raciocínio visual e compreensão do inglês.
• No entanto, a IA ainda fica atrás dos humanos em tarefas mais complexas, como matemática de nível competitivo, raciocínio de senso comum visual e planejamento.

A tendência nesses benchmarks indica que, à medida que avançamos para 2023 e além, a IA está fechando rapidamente a lacuna e até mesmo superando a linha de base humana em muitas áreas. Alguns pontos-chave:

• A linha de base humana está sendo superada em domínios como classificação de imagens e compreensão da linguagem natural.
• Embora a IA fique atrás em áreas como matemática e compreensão de leitura, a lacuna de desempenho está diminuindo rapidamente.
• Benchmarks como o Multitask Language Understanding (MMLU) mostram que as capacidades da IA estão se aproximando rapidamente do nível humano.

Esses dados sugerem que, até o final de 2024, os sistemas de IA podem atingir a paridade com os humanos em uma ampla gama de tarefas cognitivas. O contínuo avanço de modelos de linguagem de grande porte, como o GPT-4, provavelmente impulsionará novos avanços no desempenho da IA. À medida que essas capacidades crescem, será crucial monitorar tanto o progresso quanto as limitações dos sistemas de IA em comparação com as habilidades humanas.

Tradicionalmente, os sistemas de IA têm sido limitados em escopo, com modelos de linguagem se destacando na compreensão de texto, mas falhando no processamento de imagens, e vice-versa. No entanto, os avanços recentes levaram ao desenvolvimento de modelos multimodais robustos, como o Gemini, da Google, e o GPT-4, da OpenAI.

Esses modelos demonstram uma flexibilidade notável e são capazes de lidar tanto com imagens quanto com texto. De fato, o Gemini 1.5 Pro pode até processar áudio. A linha de base para a capacidade de IA multimodal continuou a aumentar, atingindo 94,04% em 2023, em comparação com a linha de base humana de 89,8%.

Esse avanço na IA multimodal levou os pesquisadores a desenvolver benchmarks mais desafiadores, como o SWE bench para codificação, o Heim para geração de imagens, o MMU para raciocínio geral e o Mocker para raciocínio moral. Esses novos benchmarks visam empurrar os limites das capacidades da IA e revelar suas limitações.

Enquanto os modelos de IA atingiram a saturação de desempenho em benchmarks estabelecidos, como IMAC, SNAP e SuperGLUE, o surgimento dessas avaliações mais complexas e exigentes continuará a desafiar pesquisadores e desenvolvedores. A capacidade de raciocinar, compreender e interagir em múltiplas modalidades é um passo crucial em direção a sistemas de IA mais versáteis e capazes.

À medida que o campo da IA multimodal avança, podemos esperar ver ainda mais avanços impressionantes nos anos vindouros, com agentes de IA se tornando cada vez mais hábeis em navegar e compreender a natureza diversa e interconectada do mundo real.

O relatório do índice de IA destaca o rápido progresso em benchmarks de IA especializados, além das tarefas tradicionais de linguagem e visão. À medida que os sistemas de IA continuam a avançar, os pesquisadores desenvolveram benchmarks mais desafiadores e sutis para avaliar suas capacidades.

Alguns desenvolvimentos-chave nessa área incluem:

1. Benchmarks de Codificação: A introdução do SWE Bench, um novo benchmark para avaliar as habilidades de codificação de modelos de IA. Esse benchmark gerou controvérsia, com algumas alegações de que os resultados da demonstração não eram inteiramente genuínos. No entanto, muitos projetos de código aberto mostraram desempenho impressionante nessa tarefa desafiadora.

2. Benchmarks de Raciocínio: Benchmarks como o HEIM para raciocínio de imagens, o MMU para raciocínio geral e o MOCKER para raciocínio moral surgiram para empurrar os limites das capacidades de raciocínio da IA. Embora os modelos atuais ainda fiquem atrás dos humanos nessas áreas, o relatório sugere que avanços no raciocínio podem estar no horizonte, possivelmente com o lançamento do GPT-5 e outros modelos avançados.

3. Benchmarks Baseados em Agentes: O Agent Bench, que avalia o desempenho de agentes autônomos em vários ambientes, tem mostrado melhorias constantes. Agentes de IA agora podem dominar jogos complexos como Minecraft e lidar com tarefas do mundo real, como assistência em compras e pesquisas, de forma mais eficaz.

4. Benchmarks de Geração de Música: A avaliação de modelos de geração de música em benchmarks como o MusicCaps demonstrou avanços na capacidade da IA de produzir música de alta qualidade. O relatório observa que a lacuna entre os modelos de código fechado e de código aberto nesse domínio permanece significativa, sugerindo que as capacidades mais avançadas de geração de música ainda estão principalmente em sistemas proprietários.

5. Benchmarks Multimodais: O relatório destaca a ascensão de modelos de IA multimodais robustos, como o Gemini, da Google, e o GPT-4, da OpenAI, que podem lidar com uma combinação de texto, imagens e até áudio. Esses modelos atingiram a paridade de desempenho com os humanos em benchmarks multimodais estabelecidos, indicando um passo significativo à frente nesse campo.

À medida que esses benchmarks especializados continuarem a evoluir, eles fornecerão uma compreensão mais nuançada e abrangente das capacidades e limitações dos sistemas de IA modernos. O relatório sugere que a capacidade de raciocinar, planejar e interagir com o mundo de maneiras mais complexas será um foco-chave para os futuros avanços da IA.

Uma das principais tendências destacadas no relatório é o crescente ênfase na avaliação humana de modelos de linguagem. O relatório observa que a arena de chatbots LMS, que usa testes cegos A/B e avaliações humanas para avaliar o desempenho de diferentes modelos, está se tornando um benchmark cada vez mais importante.

O relatório afirma que essa abordagem de avaliação humana é valiosa porque avalia o desempenho geral dos modelos e a experiência do usuário, em vez de se basear apenas em pontuações de testes específicos. O relatório sugere que alguns dos benchmarks tradicionais podem ter enfrentado problemas de contaminação ou erros, tornando a abordagem de avaliação humana mais confiável.

Especificamente, o relatório observa que na arena de chatbots LMS, o GPT-4 Turbo está liderando atualmente, mesmo após o lançamento do Claude 3. Isso indica que os usuários humanos estão considerando o GPT-4 Turbo como o modelo mais eficaz e desejável, apesar de possíveis melhorias em outros modelos.

O relatório argumenta que essa abordagem de avaliação humana deve ser usada de forma mais ampla, pois fornece uma avaliação mais holística das capacidades dos modelos de linguagem. À medida que os modelos se tornam cada vez mais sofisticados, a capacidade de interagir e avaliá-los sob a perspectiva do usuário está se tornando crucial para entender seu desempenho e impacto no mundo real.

Em geral, a crescente importância da avaliação humana destaca a necessidade de considerar a experiência do usuário e as aplicações práticas dos modelos de linguagem, em vez de se concentrar apenas em benchmarks técnicos. Essa mudança reflete a crescente maturidade e o impacto social desses sistemas de IA, e a necessidade de garantir que eles atendam às necessidades e expectativas dos usuários humanos.

A fusão da modelagem de linguagem com a robótica deu origem a sistemas robóticos mais flexíveis, como o PaLM-E e o RT2. Além de suas capacidades robóticas aprimoradas, esses modelos podem fazer perguntas, o que marca um passo significativo em direção a robôs que podem interagir de forma mais eficaz com o mundo real.

A evolução desses modelos está aumentando suas capacidades, e a robótica é um desafio mais difícil do que a IA tradicional. No entanto, haverá avanços que se complementarão, levando a robôs mais eficazes no futuro. Já estamos vendo demonstrações impressionantes, como os movimentos fluidos e suaves do robô Figure One, que foram alcançados 100% por meio de uma rede neural, mostrando um progresso rápido nessa área.

No Agent Bench, que avalia sistemas de agentes autônomos em oito ambientes, o escore geral está aumentando. Criar sistemas de agentes de IA capazes de operação autônoma em ambientes específicos tem sido um desafio há muito tempo, mas a pesquisa emergente sugere que o desempenho dos agentes autônomos está melhorando. Os agentes atuais podem agora dominar jogos complexos como o Minecraft e lidar efetivamente com tarefas do mundo real, como compras e assistência em pesquisas.

O artigo destaca os avanços de desempenho do Voyager, um sistema da Nvidia, no Minecraft, que usou o GPT-4 para aumentar as habilidades de raciocínio do agente e permitir que ele aprenda, explore e planeje em mundos abertos. Isso demonstra o potencial de sistemas mais poderosos a serem utilizados no futuro para esse tipo de tarefa de agente autônomo.

O relatório destaca várias tendências-chave no desenvolvimento da geração de música alimentada por IA:

1. Melhoria no Desempenho em Benchmarks de Música: A avaliação de modelos de geração de música em benchmarks estabelecidos, como o MusicCaps, mostra que os sistemas de IA estão melhorando constantemente em sua capacidade de gerar música de alta qualidade. Os modelos de linguagem de código fechado estão superando significativamente os de código aberto nesses benchmarks.

2. Surgimento de Modelos Avançados de Geração de Música: Modelos como o Music-LM e o Music-Gen demonstraram capacidades impressionantes na geração de música, mostrando os rápidos avanços nesse domínio. Esses modelos agora podem produzir música que é cada vez mais indistinguível de peças compostas por humanos.

3. Fechando a Lacuna com Música Composta por Humanos: O relatório observa que o desempenho da música gerada por IA está se aproximando do nível da música composta por humanos, com a diferença entre os dois se tornando cada vez mais estreita. Isso sugere que a geração de música alimentada por IA está atingindo um ponto em que pode rivalizar com a qualidade e a criatividade da música criada por humanos.

4. Impacto Potencial na Indústria da Música: À medida que as capacidades de