Dans cette interview, Sam Altman, l'ancien PDG d'OpenAI, a fourni des informations sur les efforts de l'entreprise pour améliorer l'efficacité des données de leurs modèles de langage. Altman a laissé entendre le développement d'une nouvelle architecture ou méthode qui pourrait aider OpenAI à surmonter les limites de l'obtention de données de haute qualité pour former leurs modèles.

Altman a reconnu que bien qu'ils aient généré de grandes quantités de données synthétiques pour l'expérimentation, leur objectif est de trouver des moyens d'"apprendre davantage avec moins de données". Il a suggéré que la "meilleure façon de former un modèle" pourrait ne pas être de simplement générer des quantités massives de données synthétiques, mais plutôt de développer des techniques permettant aux modèles d'apprendre plus efficacement à partir de petits ensembles de données.

Cela s'aligne avec les informations d'un article précédent, qui indiquait que la "percée" d'Altman avait permis à OpenAI de surmonter les limites de l'obtention d'un nombre suffisant de données de haute qualité pour former de nouveaux modèles. Les commentaires d'Altman suggèrent que l'entreprise a fait des progrès dans ce domaine, potentiellement grâce au développement d'une nouvelle architecture ou de techniques d'efficacité des données.

Sam Altman reconnaît que l'avènement de systèmes d'IA avancés, potentiellement capables d'atteindre des niveaux d'AGI (Intelligence Artificielle Générale), nécessitera probablement des changements dans le contrat social sur une longue période. Il s'attend à ce que le modèle économique actuel basé sur le travail, où les gens échangent leur travail contre un revenu, doive être reconfiguré à mesure que ces technologies puissantes deviendront plus répandues.

Altman note que, alors que le monde devient plus riche grâce aux progrès technologiques, il y a déjà eu des changements dans les filets de sécurité sociale et dans la façon dont la société s'organise. Il prévoit que des débats et des reconfigurations similaires auront lieu à mesure que l'AGI deviendra une réalité, menés par les entreprises de modèles de langage à la pointe de cette technologie.

Un concept potentiel qu'Altman mentionne est l'idée d'un "calcul de base universel", où chacun pourrait recevoir une certaine allocation de ressources de calcul d'un système de niveau AGI, plutôt que de s'appuyer uniquement sur un revenu monétaire. Ce changement pourrait fondamentalement modifier le fonctionnement de l'économie et de la société, car la valeur de ces ressources de calcul pourrait devenir plus importante que la monnaie traditionnelle.

Altman reconnaît la difficulté d'imaginer comment cette transition se produira, car il s'agit d'un changement sociétal qui n'a jamais été vécu auparavant. Il suggère que les systèmes d'IA eux-mêmes pourraient même aider à concevoir et à organiser les nouvelles structures sociales qui émergent, alors que la société se confronte aux implications de l'AGI sur la nature du travail et le contrat social.

Le PDG d'OpenAI, Sam Altman, a fourni quelques informations sur les plans de l'entreprise pour la prochaine génération de modèles de langage dans une récente interview. Voici les points clés :

1. Efficacité des données : Altman a laissé entendre des percées dans la rendre les modèles de langage plus efficaces en termes de données, leur permettant d'apprendre à partir de plus petites quantités de données de haute qualité, plutôt que de s'appuyer sur des quantités massives de données synthétiques. Cela pourrait entraîner des améliorations significatives des performances des modèles.

2. Innovations architecturales : Bien qu'Altman ait été prudent dans la révélation de détails spécifiques, il a suggéré qu'OpenAI travaille sur une nouvelle architecture ou méthode qui pourrait encore améliorer l'efficacité des données de leurs modèles.

3. Améliorations qualitatives : Altman s'attend à ce que la prochaine génération de modèles montre des améliorations surprenantes dans des domaines qui n'étaient pas considérés comme possibles auparavant. Il met en garde contre le fait de se fier uniquement aux références standard, car les véritables progrès peuvent se situer dans des aspects plus qualitatifs, difficiles à mesurer.

4. Implications sociales et économiques : Altman reconnaît que les capacités croissantes des modèles de langage pourraient nécessiter des changements dans le contrat social, car le modèle économique traditionnel basé sur le travail pourrait devoir être reconfiguré. Il suggère d'explorer des idées comme le "calcul de base universel" pour faire face aux perturbations potentielles.

5. Développement responsable : Altman souligne l'importance d'une recherche et d'un développement responsables, en se concentrant sur la compréhension du fonctionnement interne des modèles et des considérations de sécurité avant de publier des systèmes plus puissants.

Sam Altman est en désaccord avec le récit des événements concernant son départ d'OpenAI, tel que rapporté par Helen Toneis. Bien que Toneis soit quelqu'un qui se soucie sincèrement d'un bon résultat en matière d'IA, Altman lui souhaite le meilleur mais ne veut pas s'engager dans une défense ligne par ligne de sa réputation.

Lorsqu'OpenAI a publié ChatGPT, cela a été qualifié de "prévisualisation de recherche discrète" à l'époque, et ils ne s'attendaient pas au niveau de réponse qu'il a reçu. Altman déclare qu'ils avaient discuté d'un plan de publication avec leur conseil d'administration, car ils avaient GPT-3.5 disponible depuis environ 8 mois et avaient depuis longtemps terminé l'entraînement de GPT-4, travaillant sur un plan de publication progressif.

Dans l'ensemble, Altman est en désaccord avec le récit des événements de Toneis et estime qu'il est important de donner sa version des faits, étant donné le drame important entourant son départ d'OpenAI.

Sam Altman a abordé le fiasco de Scarlett Johansson, où l'actrice a affirmé qu'OpenAI avait utilisé sa voix sans autorisation. Altman a précisé que la voix utilisée n'était pas celle de Johansson, et qu'OpenAI avait un processus d'audition de plusieurs acteurs avant de sélectionner cinq voix, avec Johansson qui a été invitée à être la sixième. Cependant, Altman a reconnu la confusion autour de la similitude de la voix utilisée avec celle de Johansson.

Altman a également abordé les travaux d'OpenAI sur la recherche en interprétabilité, qui vise à comprendre le processus décisionnel au sein de leurs modèles d'IA. Il a déclaré que bien qu'ils n'aient pas résolu le problème de l'interprétabilité, ils ont fait des progrès et le considèrent comme une partie importante de la garantie de la sécurité de leurs modèles. Altman a souligné que même si nous ne comprenons pas complètement le fonctionnement interne du cerveau humain, nous pouvons tout de même développer des moyens de comprendre et de vérifier le comportement des systèmes d'IA. Il a suggéré que plus nous pouvons comprendre ce qui se passe dans ces modèles, mieux nous pourrons faire et vérifier les affirmations de sécurité.