In questa intervista, Sam Altman, l'ex CEO di OpenAI, ha fornito alcuni spunti sugli sforzi dell'azienda per migliorare l'efficienza dei dati dei loro modelli linguistici. Altman ha accennato allo sviluppo di una nuova architettura o metodo che potrebbe aiutare OpenAI a superare i limiti nell'ottenere dati di alta qualità per addestrare i loro modelli.

Altman ha riconosciuto che, mentre hanno generato grandi quantità di dati sintetici per sperimentazione, il loro obiettivo è trovare modi per "imparare di più con meno dati". Ha suggerito che il "miglior modo per addestrare un modello" potrebbe non essere semplicemente generare grandi quantità di dati sintetici, ma piuttosto sviluppare tecniche che permettano ai modelli di apprendere in modo più efficace da dataset più piccoli.

Questo è in linea con le informazioni di un articolo precedente, che affermava che la "svolta" di Altman ha permesso a OpenAI di superare i limiti nell'ottenere abbastanza dati di alta qualità per addestrare nuovi modelli. I commenti di Altman suggeriscono che l'azienda abbia fatto progressi in quest'area, potenzialmente attraverso lo sviluppo di una nuova architettura o tecniche di efficienza dei dati.

Sam Altman riconosce che l'avvento di sistemi di IA avanzati, potenzialmente raggiungendo livelli di AGI (Intelligenza Artificiale Generale), richiederà probabilmente cambiamenti al contratto sociale in un lungo periodo di tempo. Si aspetta che l'attuale modello economico basato sul lavoro, in cui le persone scambiano il loro lavoro per un reddito, dovrà essere riconfigurato man mano che queste potenti tecnologie diventano più diffuse.

Altman nota che, mentre il mondo diventa più ricco grazie al progresso tecnologico, ci sono già stati spostamenti nei sistemi di sicurezza sociale e nel modo in cui la società si organizza. Prevede che dibattiti e riconfigurazioni simili si verificheranno man mano che l'AGI diventerà una realtà, guidati dalle grandi aziende di modelli linguistici all'avanguardia di questa tecnologia.

Un possibile concetto che Altman menziona è l'idea di "calcolo di base universale", in cui tutti potrebbero ricevere una certa allocazione di risorse di calcolo da un sistema di livello AGI, anziché fare affidamento solo sul reddito monetario. Questo spostamento potrebbe cambiare fondamentalmente il funzionamento dell'economia e della società, poiché il valore di queste risorse di calcolo potrebbe diventare più importante della valuta tradizionale.

Il CEO di OpenAI, Sam Altman, ha fornito alcuni spunti sui piani dell'azienda per la prossima generazione di modelli linguistici in una recente intervista. Ecco i punti chiave:

1. Efficienza dei dati: Altman ha accennato a progressi nell'ottenere modelli linguistici più efficienti dal punto di vista dei dati, permettendo loro di apprendere da quantità più piccole di dati di alta qualità, anziché affidarsi a grandi quantità di dati sintetici. Ciò potrebbe portare a miglioramenti significativi nelle prestazioni dei modelli.

2. Innovazioni architetturali: Sebbene Altman sia stato cauto nel rivelare dettagli specifici, ha suggerito che OpenAI sta lavorando su una nuova architettura o metodo che potrebbe ulteriormente migliorare l'efficienza dei dati dei loro modelli.

3. Miglioramenti qualitativi: Altman si aspetta che la prossima generazione di modelli mostri miglioramenti sorprendenti in aree che in precedenza non erano ritenute possibili. Esorta a non affidarsi solo a benchmark standard, poiché i veri progressi potrebbero essere in aspetti più qualitativi difficili da misurare.

Sam Altman rispetta ma è in disaccordo in modo significativo con la ricostruzione degli eventi da parte di Helen Toneis riguardo alla sua partenza da OpenAI. Mentre Toneis è qualcuno che si preoccupa sinceramente di un buon esito dell'IA, Altman le augura il meglio ma non vuole entrare in una difesa puntuale della sua reputazione.

Quando OpenAI ha rilasciato ChatGPT, è stato definito un "anteprima di ricerca a basso profilo" all'epoca, e non si aspettavano il livello di risposta che ha ricevuto. Altman afferma che avevano discusso un piano di rilascio con il loro consiglio di amministrazione, poiché avevano GPT-3.5 disponibile per circa 8 mesi e avevano da tempo finito l'addestramento di GPT-4, lavorando su un piano di rilascio graduale.

Sam Altman ha affrontato la vicenda di Scarlett Johansson, in cui l'attrice ha affermato che OpenAI aveva utilizzato la sua voce senza autorizzazione. Altman ha chiarito che la voce utilizzata non era quella di Johansson e che OpenAI aveva un processo di audizione di più attori prima di selezionarne cinque, con Johansson che era stata invitata ad essere la sesta. Tuttavia, Altman ha riconosciuto la confusione sulla somiglianza della voce utilizzata con quella di Johansson.

Altman ha anche discusso del lavoro di OpenAI sulla ricerca sull'interpretabilità, che mira a comprendere il processo decisionale all'interno dei loro modelli di IA. Ha affermato che, sebbene non abbiano risolto il problema dell'interpretabilità, hanno fatto progressi e lo vedono come una parte importante per garantire la sicurezza dei loro modelli. Altman ha sottolineato che anche se potremmo non comprendere appieno il funzionamento interno del cervello umano, possiamo comunque sviluppare modi per comprendere e verificare il comportamento dei sistemi di IA. Ha suggerito che più riusciamo a capire cosa sta succedendo in questi modelli, meglio possiamo formulare e verificare le affermazioni di sicurezza.