O assunto da conversa da cidade mudou de aglomerados de computação de 10 bilhões para aglomerados de computação de centenas de bilhões e até mesmo aglomerados de um trilhão de dólares. A cada 6 meses, mais um zero é adicionado aos planos da sala de reuniões. A corrida pela AGI (Inteligência Artificial Geral) começou. Estamos construindo máquinas que podem pensar e raciocinar, e até 2025-2026, essas máquinas superarão os graduados universitários. Até o final da década, elas serão mais inteligentes do que você ou eu, e teremos superinteligência no sentido mais literal da palavra.

No caminho, Forças de Segurança Nacional não vistas há meio século serão liberadas. Antes de muito tempo, o mundo acordará, mas agora, talvez haja algumas centenas de pessoas, principalmente em São Francisco e nos Laboratórios de IA, que realmente têm consciência da situação. Através de quaisquer forças peculiares ou destino, eu me encontrei entre eles, e é por isso que este documento é tão importante.

Minha previsão de AGI - AGI até 2027 é surpreendentemente plausível. Do GPT-2 ao GPT-4, fomos de habilidades de pré-escolar a aluno do ensino médio inteligente em apenas 4 anos. Se traçarmos as linhas de tendência da computação, das eficiências algorítmicas e do "desbloqueio" dos ganhos, devemos esperar outro salto qualitativo de pré-escolar para o tamanho do ensino médio até 2027.

Faço a afirmação de que é surpreendentemente plausível que até 2027, os modelos possam realizar o trabalho de um pesquisador de IA ou engenheiro de software. Isso não requer acreditar em ficção científica, apenas acreditar em linhas retas em um gráfico. A escalabilidade efetiva da computação do GPT-2 ao GPT-4 mostra uma tendência clara, e acredito que o crescimento será ainda mais acentuado nos próximos anos.

As limitações dos modelos atuais se resumem a maneiras óbvias pelas quais eles ainda estão "bloqueados" e artificialmente limitados. À medida que essas restrições forem removidas, a inteligência bruta por trás dos modelos será liberada, levando a um progresso rápido. Já estamos ficando sem benchmarks, com o GPT-4 quebrando a maioria dos testes de aptidão padrão do ensino médio e da faculdade.

A magia do aprendizado profundo é que as linhas de tendência têm sido surpreendentemente consistentes. A contagem confiável das ordens de magnitude no treinamento desses modelos nos permite extrapolar melhorias de capacidade. As eficiências algorítmicas e os ganhos de "desbloqueio" impulsionarão muito do progresso, podendo levar a um modelo no nível do GPT-4 sendo treinável em apenas um minuto até 2027.

No entanto, garantir os segredos algorítmicos e os pesos dos modelos será crucial, pois a falha em fazê-lo poderia levar a vazamentos de avanços-chave da AGI para adversários nos próximos 12-24 meses. Controlar de maneira confiável sistemas de IA muito mais inteligentes do que os humanos é um problema técnico não resolvido, e a falha poderia ser catastrófica. A transição para a superinteligência provavelmente será rápida, com pressões extraordinárias para acertar o alinhamento.

Minha previsão de AGI: AGI até 2027 é surpreendentemente plausível. Do GPT-2 ao GPT-4, fomos de habilidades de pré-escolar a aluno do ensino médio inteligente em apenas 4 anos. Se traçarmos as linhas de tendência da computação, das eficiências algorítmicas e do "desbloqueio" dos ganhos, devemos esperar outro salto qualitativo de pré-escolar para o tamanho do ensino médio até 2027.

Faço a seguinte afirmação: É surpreendentemente plausível que até 2027, os modelos possam realizar o trabalho de um pesquisador de IA/engenheiro de software. Isso não requer acreditar em ficção científica, apenas acreditar em linhas retas em um gráfico.

O gráfico da escalabilidade básica da computação efetiva, contando do GPT-2 ao GPT-4, mostra uma linha de tendência clara. Durante 2022-2023, houve um período de maior "consciência" em torno do GPT-3 e do GPT-4, o que colocou um enorme holofote na era da IA. O GPT-4 e o ChatGPT 3.5 foram produtos reais disponíveis para o público, gerando uma explosão de interesse e investimento em IA.

Isso sugere que a curva de crescimento de 2024-2028 pode ser ainda mais acentuada do que o período anterior. Ter um engenheiro de pesquisa de IA automatizado até 2027-2028 não parece improvável, dadas as tendências de computação. As implicações são drásticas - se pudermos automatizar a pesquisa em IA, não demoraria muito para atingir a superinteligência, pois estaríamos habilitando a melhoria recursiva automática.

O crescimento das capacidades da IA tem sido exponencial nos últimos anos, com cada nova geração de modelos demonstrando avanços notáveis.

Do GPT-2 ao GPT-4, testemunhamos uma rápida progressão semelhante a um pré-escolar a um estudante do ensino médio em apenas 4 anos. Espera-se que essa tendência continue, com a previsão de que até 2027, os modelos de IA serão capazes de desempenhar o trabalho de um pesquisador de IA ou engenheiro de software.

Os principais impulsionadores desse progresso exponencial são:

1. Escalabilidade da Computação: A computação efetiva usada para treinar esses modelos tem sido escalada dramaticamente, seguindo uma linha de tendência consistente. Isso permite que modelos maiores e mais capazes sejam treinados.

2. Eficiência Algorítmica: Os avanços algorítmicos levaram a melhorias significativas na eficiência desses modelos, com o custo para atingir 50% de precisão no benchmark de matemática caindo em quase 3 ordens de magnitude em menos de 2 anos.

3. Desbloqueando Capacidades Latentes: Técnicas como raciocínio em cadeia de pensamento e andaimes ajudaram a desbloquear as capacidades latentes desses modelos, permitindo que eles realizem tarefas muito além de seu treinamento original.

As implicações desse crescimento exponencial são profundas. Se os sistemas de IA puderem automatizar o trabalho de pesquisadores de IA, isso desencadearia um loop de feedback intenso, com os sistemas de IA se aprimorando recursivamente em um ritmo acelerado. Isso poderia levar ao surgimento da inteligência artificial geral (AGI) e da superinteligência na próxima década.

A magia do aprendizado profundo é que simplesmente funciona, e as linhas de tendência têm sido surpreendentemente consistentes, apesar dos céticos a cada passo. Podemos ver que, à medida que a computação é escalada, a qualidade e a consistência dos resultados melhoram drasticamente.

Enquanto os investimentos massivos em computação recebem toda a atenção, o progresso algorítmico é igualmente um importante impulsionador do progresso e é drasticamente subestimado. Para ver quão grande pode ser o progresso algorítmico, considere a seguinte ilustração - a queda no preço para atingir 50% de precisão no benchmark de matemática em apenas 2 anos. Para efeito de comparação, um estudante de doutorado em ciência da computação que não gostava muito de matemática pontuou 40%, então isso já é bastante bom. A eficiência de inferência melhorou em quase três ordens de magnitude ou 1.000x em menos de 2 anos.

Essas eficiências algorítmicas vão impulsionar muito mais ganhos do que você pensa. Há inúmeros artigos de pesquisa publicados todos os dias que desbloqueiam ganhos de 10-30%. Quando você compõe todas essas pequenas melhorias, o progresso geral pode ser impressionante.

Além disso, o "desbloqueio" dos modelos - removendo as restrições artificiais em suas capacidades - pode desbloquear habilidades latentes significativas. Por exemplo, quando o GPT-4 é usado com raciocínio em cadeia de pensamento, seu desempenho em certas tarefas melhora dramaticamente. Os dados brutos e o conhecimento nesses modelos são muitas vezes muito maiores do que seus resultados iniciais sugerem.

As ferramentas e os andaimes que ajudam os modelos a aproveitar suas capacidades plenas também são cruciais. Imagine se os humanos não pudessem usar calculadoras ou computadores - estaríamos severamente limitados. Os LLMs (Modelos de Linguagem de Grande Porte) estão apenas começando a ter acesso a ferramentas básicas como navegadores da web e editores de código. À medida que essas capacidades se expandirem, os modelos poderão aplicar sua inteligência de maneiras cada vez mais poderosas.

Em resumo, a combinação de progresso algorítmico, desbloqueio e ferramentas de andaime impulsionará ganhos explosivos nas capacidades desses sistemas de IA nos próximos anos. As linhas de tendência são claras, e as implicações são profundas.

A próxima década está prestes a ser um período decisivo no desenvolvimento da inteligência artificial. De acordo com a análise, até 2027, é surpreendentemente plausível que os modelos de IA atinjam o nível de capacidade de pesquisadores e engenheiros de IA. Isso permitiria a automação da própria pesquisa em IA, desencadeando um loop de feedback de progresso acelerado.

As principais ideias são:

1. Escalabilidade Exponencial: As linhas de tendência da computação, da eficiência algorítmica e do "desbloqueio" dos modelos de IA apontam para outro salto de pré-escolar para o ensino médio em capacidades até 2027. Isso poderia permitir que os sistemas de IA igualem o trabalho de pesquisadores de IA humanos.

2. Pesquisa de IA Automatizada: Uma vez que a IA possa automatizar seu próprio processo de pesquisa, será capaz de iterar e melhorar rapidamente, levando a uma "explosão de inteligência". Isso poderia comprimir anos de progresso algorítmico em semanas ou meses.

3. Limites de Escalabilidade da Computação: Embora a escalabilidade da computação continue impulsionando o progresso, existem limites práticos para a quantidade de computação que pode ser aplicada ao problema. Isso significa que até o final da década, novos avanços provavelmente exigirão avanços algorítmicos fundamentais, e não apenas mais computação bruta.

4. Desafios de Segurança: A corrida para desenvolver IA avançada cria sérios riscos de segurança, pois os principais avanços algorítmicos podem ser vulneráveis a roubo e uso indevido por adversários. Garantir essa infraestrutura de pesquisa será fundamental para assegurar que o Mundo Livre mantenha sua liderança.

5. Dificuldades de Alinhamento: À medida que os sistemas de IA se tornam vastamente super-humanos, o desafio de garantir que permaneçam alinhados com os valores e interesses humanos se torna exponencialmente mais difícil. Controlar de maneira confiável tais sistemas é um problema técnico não resolvido com potenciais consequências catastróficas se não for abordado.

O progresso da IA não vai parar no nível humano. Centenas de milhões de AGIs poderiam automatizar a pesquisa em IA, comprimindo uma década de progresso algorítmico que adiciona cinco ordens de magnitude em um ano. Passaríamos rapidamente de IA no nível humano para sistemas de IA vastamente super-humanos. O poder e o perigo da superinteligência seriam dramáticos.

Uma vez que alcançarmos a capacidade de automatizar a pesquisa em IA, uma explosão de inteligência se torna provável. Cada vez que um pesquisador de IA faz um avanço, esse avanço pode ser imediatamente aplicado ao sistema de IA, tornando-o mais inteligente e capaz de fazer novos avanços. Esse loop de feedback poderia levar a um aumento extremamente rápido nas capacidades da IA, superando muito a inteligência humana.

A transição da AGI para a superinteligência pode levar apenas 2-3 anos. Nesse ponto, a arquitetura desses sistemas será "alienígena" - projetada por gerações anteriores de IA super-inteligente, não por humanos. Falhas nesse estágio poderiam ser catastróficas, pois não teremos nenhuma capacidade de realmente entender ou supervisionar o comportamento desses sistemas superinteligentes.

Integrar esses sistemas de IA superinteligentes à infraestrutura crítica, como o militar, representa enormes riscos. Um ditador que controla a superinteligência poderia exercer um poder sem precedentes, com agentes de aplicação da lei robóticos e vigilância perfeita. Prevenir tais resultados distópicos é crucial, mas alinhar a superinteligência aos valores humanos é um desafio técnico imenso.

O autor enfatiza a importância crítica de garantir a infraestrutura de pesquisa e proteger os principais segredos algorítmicos e pesos dos modelos à medida que a corrida pela AGI (Inteligência Artificial Geral) se intensifica.

Ele afirma que, atualmente, os principais laboratórios de IA estão tratando a segurança como uma preocupação secundária, essencialmente entregando os segredos para o desenvolvimento da AGI a adversários como o Partido Comunista Chinês (PCC) em uma "bandeja de prata". Garantir os segredos da AGI e mitigar a ameaça dos atores estatais exigirá um esforço imenso, e o trajeto atual não está no caminho certo.

O autor avisa que nos próximos 12-24 meses, avanços-chave da AGI provavelmente serão vazados para o PCC, o que seria um golpe devastador para os interesses de segurança nacional do mundo livre. Ele argumenta que a preservação do mundo livre está em jogo, e uma liderança saudável na corrida da AGI é necessária para ter a margem para acertar a segurança da IA.

O autor explica que os pesos dos modelos, que são essencialmente grandes arquivos de números em um servidor, podem ser facilmente roubados por adversários que podem corresponder aos trilhões de dólares e décadas de trabalho investidos pelos principais laboratórios de IA. Ele traça um paralelo com os nazistas potencialmente obtendo uma cópia exata dos segredos da bomba atômica de Los Alamos, destacando as implicações catastr