I denna intervju gav Sam Altman, den tidigare VD:n för OpenAI, några insikter om företagets ansträngningar för att förbättra dataeffektiviteten hos deras språkmodeller. Altman antydde utvecklingen av en ny arkitektur eller metod som skulle kunna hjälpa OpenAI att övervinna begränsningar i att få tag på högkvalitativa data för att träna deras modeller.

Altman erkände att även om de har genererat stora mängder syntetiska data för experiment, är deras mål att hitta sätt att "lära sig mer från mindre data". Han antydde att "det bästa sättet att träna en modell" kanske inte är att helt enkelt generera enorma mängder syntetiska data, utan snarare att utveckla tekniker som gör att modellerna kan lära sig mer effektivt från mindre datamängder.

Detta överensstämmer med informationen från en tidigare artikel, som sade att Altmans "genombrott" gjorde det möjligt för OpenAI att övervinna begränsningar i att få tag på tillräckligt med högkvalitativa data för att träna nya modeller. Altmans kommentarer tyder på att företaget har gjort framsteg på detta område, möjligen genom utvecklingen av en ny arkitektur eller tekniker för dataeffektivitet.

Sam Altman erkänner att framväxten av avancerade AI-system, som potentiellt kan nå AGI-nivåer (Artificiell Generell Intelligens), sannolikt kommer att kräva förändringar i det sociala kontraktet under en lång tidsperiod. Han förväntar sig att den nuvarande arbetsbaserade ekonomiska modellen, där människor utbyter sitt arbete mot inkomst, kommer att behöva omkonfigureras när dessa kraftfulla teknologier blir mer utbredda.

Altman noterar att i takt med att världen blir rikare genom teknologiska framsteg, har det redan skett förändringar i sociala skyddsnät och hur samhället organiserar sig. Han förutser att liknande debatter och omkonfigurationer kommer att ske när AGI blir verklighet, ledda av de stora språkmodellföretagen i framkanten av denna teknologi.

En potentiell idé som Altman nämner är konceptet "universell grundläggande beräkning", där alla kanske får en viss tilldelning av beräkningsresurser från ett AGI-system, snarare än att enbart förlita sig på monetär inkomst. Denna förskjutning skulle kunna förändra hur ekonomin och samhället fungerar fundamentalt, eftersom värdet av dessa beräkningsresurser kan bli viktigare än traditionell valuta.

OpenAI:s VD, Sam Altman, gav några insikter om företagets planer för nästa generation av språkmodeller i en nylig intervju. Här är de viktigaste punkterna:

1. Dataeffektivitet: Altman antydde genombrott i att göra språkmodeller mer dataeffektiva, så att de kan lära sig från mindre mängder högkvalitativa data, snarare än att förlita sig på enorma mängder syntetiska data. Detta skulle kunna leda till betydande förbättringar i modellernas prestanda.

2. Arkitektoniska innovationer: Även om Altman var försiktig med att avslöja detaljer, antydde han att OpenAI arbetar på en ny arkitektur eller metod som ytterligare skulle kunna förbättra dataeffektiviteten hos deras modeller.

3. Kvalitativa förbättringar: Altman förväntar sig att nästa generation av modeller kommer att visa överraskande förbättringar inom områden som tidigare inte ansågs möjliga. Han varnar för att enbart förlita sig på standardbenchmarks, eftersom de verkliga framstegen kan ligga i mer kvalitativa aspekter som är svåra att mäta.

Sam Altman respekterar men är betydligt oense med Helen Toneis återberättelse av händelserna kring hans avgång från OpenAI. Även om Toneis är någon som genuint bryr sig om ett bra AI-utfall, önskar Altman henne väl men vill inte gå in i ett försvar rad för rad av sitt rykte.

När OpenAI släppte ChatGPT, kallades det en "lågmäld forskningsförhandstitt" vid den tidpunkten, och de förväntade sig inte den nivå av respons den fick. Altman säger att de hade diskuterat en släppplan med sin styrelse, eftersom de hade GPT-3.5 tillgänglig i cirka 8 månader och länge sedan hade färdigställt träningen av GPT-4, och arbetade med en gradvis släppplan.

Sam Altman tog itu med Scarlett Johansson-skandalen, där skådespelerskan hävdade att OpenAI hade använt hennes röst utan tillstånd. Altman förtydligade att den röst som användes inte var Johanssons, och att OpenAI hade en process för att provlyssna på flera skådespelare innan de valde fem röster, där Johansson ombads vara den sjätte. Altman erkände dock förvirringen kring likheten mellan den använda rösten och Johanssons.