Nesta entrevista, Sam Altman, ex-CEO da OpenAI, forneceu algumas informações sobre os esforços da empresa para melhorar a eficiência de dados de seus modelos de linguagem. Altman deu a entender o desenvolvimento de uma nova arquitetura ou método que poderia ajudar a OpenAI a superar as limitações na obtenção de dados de alta qualidade para treinar seus modelos.

Altman reconheceu que, embora tenham gerado grandes quantidades de dados sintéticos para experimentação, seu objetivo é encontrar maneiras de "aprender mais com menos dados". Ele sugeriu que o "melhor modo de treinar um modelo" pode não ser simplesmente gerar grandes quantidades de dados sintéticos, mas sim desenvolver técnicas que permitam que os modelos aprendam de forma mais eficaz a partir de conjuntos de dados menores.

Isso está alinhado com as informações de um artigo anterior, que afirmava que o "avanço" de Altman permitiu que a OpenAI superasse as limitações na obtenção de dados de alta qualidade suficientes para treinar novos modelos. Os comentários de Altman sugerem que a empresa fez progressos nessa área, possivelmente por meio do desenvolvimento de uma nova arquitetura ou técnicas de eficiência de dados.

Sam Altman reconhece que o advento de sistemas de IA avançados, potencialmente atingindo níveis de AGI (Inteligência Geral Artificial), provavelmente exigirá mudanças no contrato social ao longo de um longo período de tempo. Ele espera que o modelo econômico atual baseado no trabalho, no qual as pessoas trocam seu trabalho por renda, precise ser reconfigurado à medida que essas tecnologias poderosas se tornarem mais prevalentes.

Altman observa que, à medida que o mundo se torna mais rico por meio do progresso tecnológico, já houve mudanças nas redes de segurança social e na forma como a sociedade se organiza. Ele antecipa que debates e reconfigurações semelhantes ocorrerão à medida que a AGI se torne uma realidade, liderados pelas empresas de modelos de linguagem de grande porte na vanguarda dessa tecnologia.

Um conceito potencial que Altman menciona é a ideia de "computação básica universal", em que todos podem receber uma certa alocação de recursos computacionais de um sistema de nível AGI, em vez de depender apenas da renda monetária. Essa mudança poderia alterar fundamentalmente o funcionamento da economia e da sociedade, à medida que o valor desses recursos computacionais possa se tornar mais importante do que a moeda tradicional.

Altman reconhece a dificuldade em visualizar como essa transição ocorrerá, pois representa uma mudança social que não foi experimentada antes. Ele sugere que os próprios sistemas de IA podem ajudar a projetar e organizar as novas estruturas sociais que emergem, à medida que a sociedade lida com as implicações da AGI na natureza do trabalho e no contrato social.

O CEO da Open AI, Sam Altman, forneceu algumas informações sobre os planos da empresa para a próxima geração de modelos de linguagem em uma recente entrevista. Aqui estão os principais pontos:

1. Eficiência de Dados: Altman deu a entender avanços em tornar os modelos de linguagem mais eficientes em termos de dados, permitindo que eles aprendam a partir de menores quantidades de dados de alta qualidade, em vez de depender de grandes quantidades de dados sintéticos. Isso poderia levar a melhorias significativas no desempenho dos modelos.

2. Inovações Arquiteturais: Embora Altman tenha sido cauteloso em revelar detalhes específicos, ele sugeriu que a Open AI está trabalhando em uma nova arquitetura ou método que poderia aprimorar ainda mais a eficiência de dados de seus modelos.

3. Melhorias Qualitativas: Altman espera que a próxima geração de modelos mostre melhorias surpreendentes em áreas que anteriormente não eram consideradas possíveis. Ele alerta contra confiar apenas em benchmarks padrão, pois os reais avanços podem estar em aspectos mais qualitativos que são difíceis de medir.

4. Implicações Sociais e Econômicas: Altman reconhece que as crescentes capacidades dos modelos de linguagem poderiam exigir mudanças no contrato social, uma vez que o modelo econômico tradicional baseado no trabalho pode precisar ser reconfigurado. Ele sugere explorar ideias como "computação básica universal" para abordar as possíveis perturbações.

5. Desenvolvimento Responsável: Altman enfatiza a importância da pesquisa e desenvolvimento responsáveis, com foco em entender o funcionamento interno dos modelos e considerações de segurança antes de lançar sistemas mais poderosos.

Sam Altman discorda respeitosa, mas significativamente, da lembrança dos eventos por parte de Helen Toneis sobre sua saída da OpenAI. Embora Toneis seja alguém que se preocupa genuinamente com um bom resultado da IA, Altman lhe deseja o melhor, mas não quer entrar em uma defesa linha por linha de sua reputação.

Quando a OpenAI lançou o ChatGPT, foi chamado de "prévia de pesquisa discreta" na época, e eles não esperavam o nível de resposta que receberam. Altman afirma que discutiram um plano de lançamento com seu conselho, pois tinham o GPT-3.5 disponível por cerca de 8 meses e já haviam concluído o treinamento do GPT-4, trabalhando em um plano de lançamento gradual.

No geral, Altman discorda da lembrança dos eventos por parte de Toneis e acredita que é importante fornecer seu lado da história, dada a significativa polêmica em torno de sua saída da OpenAI.

Sam Altman abordou o fiasco de Scarlett Johansson, em que a atriz alegou que a OpenAI havia usado sua voz sem permissão. Altman esclareceu que a voz usada não era a de Johansson e que a OpenAI tinha um processo de audição de vários atores antes de selecionar cinco vozes, tendo pedido a Johansson para ser a sexta. No entanto, Altman reconheceu a confusão em torno da semelhança da voz usada com a de Johansson.

Altman também discutiu o trabalho da OpenAI em pesquisas de interpretabilidade, que visam entender o processo de tomada de decisão dentro de seus modelos de IA. Ele afirmou que, embora não tenham resolvido o problema da interpretabilidade, fizeram progressos e a veem como uma parte importante de garantir a segurança de seus modelos. Altman enfatizou que, mesmo que não possamos entender completamente o funcionamento interno do cérebro humano, ainda podemos desenvolver maneiras de entender e verificar o comportamento dos sistemas de IA. Ele sugeriu que, quanto mais pudermos entender o que está acontecendo nesses modelos, melhor poderemos fazer e verificar reivindicações de segurança.