En esta entrevista, Sam Altman, el ex CEO de OpenAI, proporcionó algunas ideas sobre los esfuerzos de la compañía por mejorar la eficiencia de datos de sus modelos de lenguaje. Altman insinuó el desarrollo de una nueva arquitectura o método que podría ayudar a OpenAI a superar las limitaciones en la obtención de datos de alta calidad para entrenar sus modelos.

Altman reconoció que si bien han generado grandes cantidades de datos sintéticos para experimentación, su objetivo es encontrar formas de "aprender más con menos datos". Sugirió que la "mejor manera de entrenar un modelo" puede no ser simplemente generar grandes cantidades de datos sintéticos, sino más bien desarrollar técnicas que permitan a los modelos aprender de manera más efectiva a partir de conjuntos de datos más pequeños.

Esto se alinea con la información de un artículo anterior, que afirmaba que el "avance" de Altman le permitió a OpenAI superar las limitaciones en la obtención de suficientes datos de alta calidad para entrenar nuevos modelos. Los comentarios de Altman sugieren que la compañía ha progresado en esta área, posiblemente a través del desarrollo de una nueva arquitectura o técnicas de eficiencia de datos.

Sam Altman reconoce que la llegada de sistemas de IA avanzados, que potencialmente alcancen niveles de AGI (Inteligencia General Artificial), probablemente requerirá cambios en el contrato social a lo largo de un período prolongado de tiempo. Espera que el modelo económico actual basado en el trabajo, donde las personas intercambian su trabajo por ingresos, deba ser reconfigurado a medida que estas poderosas tecnologías se vuelvan más prevalentes.

Altman señala que a medida que el mundo se vuelve más rico a través del progreso tecnológico, ya se han producido cambios en las redes de seguridad social y en la forma en que la sociedad se organiza. Anticipa que se producirán debates y reconfiguraciones similares a medida que la AGI se convierta en una realidad, liderados por las empresas de modelos de lenguaje a la vanguardia de esta tecnología.

Uno de los conceptos potenciales que menciona Altman es la idea de "computación básica universal", donde todos puedan recibir una cierta asignación de recursos de computación de un sistema a nivel de AGI, en lugar de depender únicamente de ingresos monetarios. Este cambio podría cambiar fundamentalmente el funcionamiento de la economía y la sociedad, ya que el valor de estos recursos de computación puede volverse más importante que la moneda tradicional.

Altman reconoce la dificultad de imaginar cómo se producirá esta transición, ya que representa un cambio social que no se ha experimentado antes. Sugiere que los propios sistemas de IA podrían ayudar a diseñar y organizar las nuevas estructuras sociales que surjan, mientras la sociedad se enfrenta a las implicaciones de la AGI en la naturaleza del trabajo y el contrato social.

En general, los comentarios de Altman resaltan el profundo impacto que el desarrollo de sistemas de IA avanzados podría tener en los cimientos de nuestros sistemas económicos y sociales, lo que requerirá un replanteamiento y reconfiguración significativos para adaptarse a esta transformación tecnológica.

El CEO de Open AI, Sam Altman, proporcionó algunas ideas sobre los planes de la compañía para la próxima generación de modelos de lenguaje en una entrevista reciente. Aquí están los puntos clave:

1. Eficiencia de datos: Altman insinuó avances en hacer que los modelos de lenguaje sean más eficientes en el uso de datos, permitiéndoles aprender a partir de cantidades más pequeñas de datos de alta calidad, en lugar de depender de grandes cantidades de datos sintéticos. Esto podría conducir a mejoras significativas en el rendimiento de los modelos.

2. Innovaciones arquitectónicas: Si bien Altman fue cauteloso al revelar detalles específicos, sugirió que Open AI está trabajando en una nueva arquitectura o método que podría mejorar aún más la eficiencia de datos de sus modelos.

3. Mejoras cualitativas: Altman espera que la próxima generación de modelos muestre mejoras sorprendentes en áreas que anteriormente no se consideraban posibles. Advierte contra confiar únicamente en puntos de referencia estándar, ya que los verdaderos avances pueden estar en aspectos más cualitativos que son difíciles de medir.

4. Implicaciones sociales y económicas: Altman reconoce que las crecientes capacidades de los modelos de lenguaje podrían requerir cambios en el contrato social, ya que el modelo económico tradicional basado en el trabajo puede necesitar ser reconfigurado. Sugiere explorar ideas como la "computación básica universal" para abordar las posibles disrupciones.

5. Desarrollo responsable: Altman enfatiza la importancia de la investigación y el desarrollo responsables, centrándose en comprender el funcionamiento interno de los modelos y las consideraciones de seguridad antes de lanzar sistemas más poderosos.

En general, los comentarios de Altman sugieren que Open AI está haciendo progresos significativos en el avance de las capacidades de los modelos de lenguaje, al mismo tiempo que aborda las implicaciones sociales más amplias de estos avances. Se espera que la próxima generación de modelos supere los límites de lo que es posible actualmente, pero con un enfoque en el desarrollo responsable y una consideración del impacto a largo plazo en la economía y las estructuras sociales.

Sam Altman discrepa respetuosa pero significativamente de la recapitulación de los hechos por parte de Helen Toneis con respecto a su salida de OpenAI. Si bien Toneis es alguien que se preocupa genuinamente por un buen resultado de la IA, Altman le desea lo mejor pero no quiere entrar en una defensa de reputación línea por línea.

Cuando OpenAI lanzó ChatGPT, se le llamó "avance de investigación de bajo perfil" en ese momento, y no esperaban el nivel de respuesta que recibió. Altman afirma que habían discutido un plan de lanzamiento con su junta directiva, ya que tenían GPT-3.5 disponible durante aproximadamente 8 meses y habían terminado de entrenar GPT-4 hace mucho tiempo, trabajando en un plan de lanzamiento gradual.

En general, Altman discrepa de la recapitulación de los hechos por parte de Toneis y cree que es importante proporcionar su versión de la historia, dada la importante controversia que rodea su salida de OpenAI.

Sam Altman abordó el escándalo de Scarlett Johansson, donde la actriz afirmó que OpenAI había utilizado su voz sin permiso. Altman aclaró que la voz utilizada no era la de Johansson, y que OpenAI había tenido un proceso de audición de múltiples actores antes de seleccionar cinco voces, y se le pidió a Johansson que fuera la sexta. Sin embargo, Altman reconoció la confusión en torno a la similitud de la voz utilizada con la de Johansson.

Altman también habló sobre el trabajo de OpenAI en la investigación de interpretabilidad, que tiene como objetivo comprender el proceso de toma de decisiones dentro de sus modelos de IA. Afirmó que si bien no han resuelto el problema de la interpretabilidad, han avanzado y lo ven como una parte importante para garantizar la seguridad de sus modelos. Altman enfatizó que, aunque es posible que no entendamos completamente el funcionamiento interno del cerebro humano, aún podemos desarrollar formas de comprender y verificar el comportamiento de los sistemas de IA. Sugirió que cuanto más podamos entender lo que está sucediendo en estos modelos, mejor podremos hacer y verificar las afirmaciones de seguridad.