In dit interview gaf Sam Altman, de voormalige CEO van OpenAI, enkele inzichten in de inspanningen van het bedrijf om de data-efficiëntie van hun taalmodellen te verbeteren. Altman gaf een hint naar de ontwikkeling van een nieuwe architectuur of methode die OpenAI zou kunnen helpen om de beperkingen bij het verkrijgen van hoogwaardige data voor het trainen van hun modellen te overwinnen.

Altman erkende dat hoewel ze grote hoeveelheden synthetische data hebben gegenereerd voor experimenten, hun doel is om manieren te vinden om "meer te leren met minder data". Hij suggereerde dat de "beste manier om een model te trainen" mogelijk niet is om eenvoudigweg enorme hoeveelheden synthetische data te genereren, maar eerder om technieken te ontwikkelen die de modellen in staat stellen effectiever te leren van kleinere datasets.

Dit sluit aan bij de informatie uit een eerder artikel, waarin werd gesteld dat Altman's "doorbraak" OpenAI in staat stelde om de beperkingen bij het verkrijgen van voldoende hoogwaardige data voor het trainen van nieuwe modellen te overwinnen. Altman's opmerkingen suggereren dat het bedrijf vooruitgang heeft geboekt op dit gebied, mogelijk door de ontwikkeling van een nieuwe architectuur of data-efficiëntietechnieken.

Sam Altman erkent dat de komst van geavanceerde AI-systemen, die mogelijk het niveau van AGI (Artificial General Intelligence) bereiken, waarschijnlijk gedurende een lange periode veranderingen in het sociaal contract zal vereisen. Hij verwacht dat het huidige op arbeid gebaseerde economische model, waarbij mensen hun arbeid ruilen voor inkomen, opnieuw geconfigureerd zal moeten worden naarmate deze krachtige technologieën meer ingang vinden.

Altman merkt op dat naarmate de wereld rijker wordt door technologische vooruitgang, er al verschuivingen zijn geweest in sociale vangnetregelingen en de manier waarop de samenleving zichzelf organiseert. Hij verwacht dat soortgelijke debatten en herconfiguraties zullen plaatsvinden naarmate AGI een realiteit wordt, geleid door de grote taalmodellenmaatschappijen die voorop lopen in deze technologie.

Eén mogelijk concept dat Altman noemt, is het idee van "universele basiscomputing", waarbij iedereen een bepaalde toewijzing van computerbronnen van een AGI-niveau systeem zou kunnen ontvangen, in plaats van uitsluitend te vertrouwen op monetair inkomen. Deze verschuiving zou de manier waarop de economie en de samenleving functioneren fundamenteel kunnen veranderen, aangezien de waarde van deze computerbronnen belangrijker zou kunnen worden dan traditionele valuta.

Altman erkent de moeilijkheid om voor te stellen hoe deze overgang zal plaatsvinden, aangezien het een maatschappelijke verschuiving betreft die nog niet eerder is ervaren. Hij suggereert dat de AI-systemen zelf zelfs kunnen helpen bij het ontwerpen en organiseren van de nieuwe sociale structuren die ontstaan, terwijl de samenleving worstelt met de implicaties van AGI op de aard van werk en het sociaal contract.

Over het geheel genomen benadrukken Altman's opmerkingen de ingrijpende impact die de ontwikkeling van geavanceerde AI-systemen kan hebben op de fundamenten van onze economische en sociale systemen, waarbij een aanzienlijke heroverweging en herconfiguratie nodig is om zich aan te passen aan deze technologische transformatie.

Open AI's CEO, Sam Altman, gaf in een recent interview enkele inzichten in de plannen van het bedrijf voor de volgende generatie taalmodellen. Hier zijn de belangrijkste punten:

1. Data-efficiëntie: Altman gaf een hint naar doorbraken in het maken van taalmodellen die efficiënter omgaan met data, waardoor ze kunnen leren van kleinere hoeveelheden hoogwaardige data, in plaats van afhankelijk te zijn van enorme hoeveelheden synthetische data. Dit zou kunnen leiden tot aanzienlijke verbeteringen in de prestaties van de modellen.

2. Architectonische innovaties: Hoewel Altman voorzichtig was met het onthullen van specifieke details, suggereerde hij dat Open AI werkt aan een nieuwe architectuur of methode die de data-efficiëntie van hun modellen verder kan verbeteren.

3. Kwalitatieve verbeteringen: Altman verwacht dat de volgende generatie modellen verrassende verbeteringen zal laten zien in gebieden die voorheen niet mogelijk werden geacht. Hij waarschuwt tegen het uitsluitend vertrouwen op standaardbenchmarks, aangezien de echte vooruitgang mogelijk zit in meer kwalitatieve aspecten die moeilijk te meten zijn.

4. Sociale en economische implicaties: Altman erkent dat de toenemende mogelijkheden van taalmodellen veranderingen in het sociaal contract kunnen vereisen, aangezien het traditionele op arbeid gebaseerde economische model mogelijk opnieuw geconfigureerd moet worden. Hij suggereert het verkennen van ideeën zoals "universele basiscomputing" om mogelijke verstoringen aan te pakken.

5. Verantwoorde ontwikkeling: Altman benadrukt het belang van verantwoord onderzoek en ontwikkeling, met de nadruk op het begrijpen van de innerlijke werking en veiligheidskwesties van de modellen voordat krachtigere systemen worden vrijgegeven.

Over het geheel genomen suggereren Altman's opmerkingen dat Open AI aanzienlijke vooruitgang boekt in het verbeteren van de mogelijkheden van taalmodellen, terwijl het ook worstelt met de bredere maatschappelijke implicaties van deze vooruitgang. De volgende generatie modellen wordt verwacht de grenzen van wat momenteel mogelijk is op te rekken, maar met een focus op verantwoorde ontwikkeling en een overweging van de langetermijnimpact op de economie en sociale structuren.

Sam Altman is het respectvol maar aanzienlijk oneens met Helen Toneis' herinnering aan de gebeurtenissen rond zijn vertrek bij OpenAI. Hoewel Toneis iemand is die oprecht bezorgd is over een goede AI-uitkomst, wenst Altman haar het beste, maar wil hij zich niet in een regel-voor-regel verdediging van zijn reputatie begeven.

Toen OpenAI ChatGPT vrijgaf, werd het destijds een "low-key onderzoeksvoorvertoning" genoemd, en ze hadden niet verwacht dat het zo'n grote respons zou krijgen. Altman stelt dat ze een vrijgaveplan met hun raad van bestuur hadden besproken, aangezien ze GPT-3.5 ongeveer 8 maanden beschikbaar hadden en GPT-4 al lang hadden afgerond, en werkten aan een geleidelijk vrijgaveplan.

Over het algemeen is Altman het oneens met Toneis' herinnering aan de gebeurtenissen en vindt hij het belangrijk om zijn kant van het verhaal te geven, gezien de aanzienlijke drama rond zijn vertrek bij OpenAI.

Sam Altman sprak over het Scarlett Johansson-fiasco, waarbij de actrice beweerde dat OpenAI haar stem zonder toestemming had gebruikt. Altman verduidelijkte dat de gebruikte stem niet die van Johansson was, en dat OpenAI een proces had doorlopen waarbij ze meerdere acteurs hadden geauditeerd voordat ze vijf stemmen hadden geselecteerd, waarbij Johansson werd gevraagd de zesde te zijn. Altman erkende echter de verwarring rond de gelijkenis van de gebruikte stem met die van Johansson.

Altman sprak ook over het werk van OpenAI op het gebied van interpreteerbaarheidsonderzoek, dat tot doel heeft het besluitvormingsproces binnen hun AI-modellen te begrijpen. Hij stelde dat hoewel ze het probleem van interpreteerbaarheid nog niet hebben opgelost, ze vooruitgang hebben geboekt en het zien als een belangrijk onderdeel van het waarborgen van de veiligheid van hun modellen. Altman benadrukte dat, ook al begrijpen we de innerlijke werking van het menselijke brein mogelijk niet volledig, we toch manieren kunnen ontwikkelen om het gedrag van AI-systemen te begrijpen en te verifiëren. Hij suggereerde dat hoe beter we kunnen begrijpen wat er in deze modellen gebeurt, hoe beter we veiligheidsclaims kunnen maken en verifiëren.