El tema de conversación de la ciudad ha pasado de los grupos de cómputo de 10 mil millones a los de cien mil millones e incluso a los de billones de dólares. Cada 6 meses, se agrega otro cero a los planes de la sala de juntas. La carrera por la AGI ha comenzado. Estamos construyendo máquinas que pueden pensar y razonar, y para 2025-2026, estas máquinas superarán a los graduados universitarios. Para finales de la década, serán más inteligentes que tú o yo, y tendremos superinteligencia en el sentido más estricto de la palabra.

A lo largo del camino, se desatarán Fuerzas de Seguridad Nacional que no se han visto en medio siglo. Antes de mucho tiempo, el mundo se despertará, pero en este momento, tal vez haya unas pocas centenas de personas, principalmente en San Francisco y en los Laboratorios de IA, que realmente tienen conciencia de la situación. A través de cualquier fuerza o destino peculiar, me he encontrado entre ellos, y es por eso que este documento es tan importante.

Mi predicción de AGI: la AGI para 2027 es sorprendentemente plausible. De GPT-2 a GPT-4 pasamos de las habilidades de un preescolar a las de un estudiante de secundaria inteligente en solo 4 años. Si trazamos las líneas de tendencia del cómputo, las eficiencias algorítmicas y el "desbloqueo" de las ganancias, deberíamos esperar otro salto cualitativo del tamaño de un preescolar a un estudiante de secundaria para 2027.

Hago la afirmación de que es sorprendentemente plausible que para 2027, los modelos puedan hacer el trabajo de un investigador de IA o un ingeniero de software. Esto no requiere creer en la ciencia ficción, solo creer en líneas rectas en un gráfico. El escalado efectivo del cómputo de GPT-2 a GPT-4 muestra una tendencia clara, y creo que el crecimiento será aún más pronunciado en los próximos años.

Las limitaciones de los modelos actuales se reducen a formas obvias en las que aún están "bloqueados" y artificialmente restringidos. A medida que se eliminen estas restricciones, se liberará la inteligencia bruta detrás de los modelos, lo que conducirá a un progreso rápido. Ya nos estamos quedando sin puntos de referencia, con GPT-4 superando la mayoría de las pruebas de aptitud estándar de secundaria y universidad.

La magia del aprendizaje profundo es que las líneas de tendencia han sido asombrosamente consistentes. El conteo confiable de los órdenes de magnitud en el entrenamiento de estos modelos nos permite extrapolar las mejoras de capacidad. Las eficiencias algorítmicas y las ganancias por "desbloqueo" impulsarán gran parte del progreso, lo que podría llevar a que un modelo a nivel de GPT-4 se pueda entrenar en solo un minuto para 2027.

Sin embargo, asegurar los secretos algorítmicos y los pesos de los modelos será crucial, ya que no hacerlo podría llevar a que los avances clave de la AGI se filtren a los adversarios en los próximos 12-24 meses. Controlar de manera confiable los sistemas de IA mucho más inteligentes que los humanos es un problema técnico sin resolver, y el fracaso podría ser catastrófico. La transición a la superinteligencia es probable que sea rápida, con presiones extraordinarias para lograr la alineación correcta.

Mi predicción de AGI: la AGI para 2027 es sorprendentemente plausible. De GPT-2 a GPT-4 pasamos de las habilidades de un preescolar a las de un estudiante de secundaria inteligente en solo 4 años. Si trazamos las líneas de tendencia del cómputo, las eficiencias algorítmicas y el "desbloqueo" de las ganancias, deberíamos esperar otro salto cualitativo del tamaño de un preescolar a un estudiante de secundaria para 2027.

Hago la siguiente afirmación: es sorprendentemente plausible que para 2027, los modelos puedan hacer el trabajo de un investigador de IA/ingeniero de software. Esto no requiere creer en la ciencia ficción, solo creer en líneas rectas en un gráfico.

El gráfico de la escala base del cómputo efectivo, contando de GPT-2 a GPT-4, muestra una línea de tendencia clara. Durante 2022-2023, hubo un período de mayor "conciencia" en torno a GPT-3 y GPT-4, lo que puso un gran reflector en la era de la IA. GPT-4 y ChatGPT 3.5 fueron productos reales disponibles para el público, lo que provocó una explosión de interés e inversión en la IA.

Esto sugiere que la curva de crecimiento de 2024-2028 podría ser aún más pronunciada que el período anterior. Tener un ingeniero de investigación de IA automatizado para 2027-2028 no parece descabellado dadas las tendencias del cómputo. Las implicaciones son drásticas: si podemos automatizar la investigación de IA, no tardaría mucho en llegar a la superinteligencia, ya que habilitaríamos la mejora recursiva automática.

El crecimiento de las capacidades de la IA ha sido exponencial en los últimos años, con cada nueva generación de modelos demostrando avances notables.

De GPT-2 a GPT-4, hemos sido testigos de una rápida progresión similar a la de un preescolar a un estudiante de secundaria en solo 4 años. Se espera que esta tendencia continúe, con la predicción de que para 2027, los modelos de IA podrán realizar el trabajo de un investigador de IA o un ingeniero de software.

Los principales impulsores de este crecimiento exponencial son:

1. Escalado del cómputo: El cómputo efectivo utilizado para entrenar estos modelos ha estado escalando dramáticamente, siguiendo una línea de tendencia consistente. Esto permite entrenar modelos más grandes y capaces.

2. Eficiencia algorítmica: Los avances algorítmicos han llevado a mejoras significativas en la eficiencia de estos modelos, con el costo de lograr el 50% de precisión en el punto de referencia de matemáticas disminuyendo en casi 3 órdenes de magnitud en menos de 2 años.

3. Desbloqueo de capacidades latentes: Técnicas como el razonamiento en cadena y el andamiaje han ayudado a desbloquear las capacidades latentes de estos modelos, permitiéndoles realizar tareas mucho más allá de su entrenamiento original.

Las implicaciones de este crecimiento exponencial son profundas. Si los sistemas de IA pueden automatizar el trabajo de los investigadores de IA, desencadenaría un bucle de retroalimentación intenso, con los sistemas de IA mejorándose a sí mismos de manera recursiva a un ritmo acelerado. Esto podría llevar al surgimiento de la inteligencia general artificial (AGI) y la superinteligencia en la próxima década.

La magia del aprendizaje profundo es que simplemente funciona, y las líneas de tendencia han sido asombrosamente consistentes a pesar de los escépticos en cada paso del camino. Podemos ver que a medida que el cómputo escala, la calidad y consistencia de los resultados mejoran dramáticamente.

Mientras que las masivas inversiones en cómputo acaparan toda la atención, el progreso algorítmico es igualmente un impulsor importante del progreso y está dramáticamente subestimado. Para ver cuán grande puede ser el progreso algorítmico, considera la siguiente ilustración: la caída en el precio para alcanzar el 50% de precisión en el punto de referencia de matemáticas en solo 2 años. Para comparar, un estudiante de doctorado en ciencias de la computación que no le gustaba particularmente las matemáticas obtuvo un 40%, por lo que esto ya es bastante bueno. La eficiencia de inferencia mejoró en casi tres órdenes de magnitud o 1,000 veces en menos de 2 años.

Estas eficiencias algorítmicas impulsarán muchos más avances de lo que crees. Se publican innumerables artículos de investigación cada día que desbloquean ganancias del 10-30%. Cuando se componen todos estos pequeños avances, el progreso general puede ser asombroso.

Además, el "desbloqueo" de los modelos, eliminando las restricciones artificiales a sus capacidades, puede desbloquear habilidades latentes significativas. Por ejemplo, cuando se usa GPT-4 con razonamiento en cadena, su rendimiento en ciertas tareas mejora dramáticamente. Los datos y el conocimiento brutos en estos modelos a menudo son mucho mayores de lo que sugieren sus resultados iniciales.

La próxima década se perfila como un período crucial en el desarrollo de la inteligencia artificial. Según el análisis, para 2027, es sorprendentemente plausible que los modelos de IA alcancen el nivel de capacidad de los investigadores y ingenieros de IA. Esto permitiría la automatización de la investigación de IA, desencadenando un bucle de retroalimentación de progreso acelerado.

Las ideas clave son:

1. Escalado exponencial: Las líneas de tendencia del cómputo, la eficiencia algorítmica y el "desbloqueo" de los modelos de IA apuntan a otro salto de preescolar a estudiante de secundaria en capacidades para 2027. Esto podría permitir que los sistemas de IA igualen el trabajo de los investigadores de IA humanos.

2. Investigación de IA automatizada: Una vez que la IA pueda automatizar su propio proceso de investigación, podrá iterar y mejorar rápidamente, lo que conducirá a una "explosión de inteligencia". Esto podría comprimir años de progreso algorítmico en cuestión de semanas o meses.

3. Límites de escalado del cómputo: Si bien el escalado del cómputo seguirá impulsando el progreso, existen límites prácticos a cuánto cómputo se puede aplicar al problema. Esto significa que para finales de la década, los avances adicionales probablemente requerirán avances algorítmicos fundamentales, no solo más cómputo bruto.

El progreso de la IA no se detendrá a nivel humano. Cientos de millones de AGIs podrían automatizar la investigación de IA, comprimiendo una década de progreso algorítmico que agrega cinco órdenes de magnitud en un año. Pasaríamos rápidamente de la inteligencia a nivel humano a sistemas de IA vastamente superhuman. El poder y el peligro de la superinteligencia serían dramáticos.

Una vez que logremos la capacidad de automatizar la investigación de IA, es probable que se produzca una explosión de inteligencia. Cada vez que un investigador de IA hace un avance, ese avance se puede aplicar de inmediato al sistema de IA, haciéndolo más inteligente y capaz de realizar más avances. Este bucle de retroalimentación podría conducir a un aumento extremadamente rápido de las capacidades de la IA, superando con creces la inteligencia humana.

La transición de la AGI a la superinteligencia puede tardar solo 2-3 años. En ese punto, la arquitectura de estos sistemas será "extraterrestre", diseñada por generaciones anteriores de IA súper inteligente, no por humanos. Los fallos en esta etapa podrían ser catastróficos, ya que no tendremos la capacidad de comprender realmente o supervisar el comportamiento de estos sistemas superinteligentes.

El autor enfatiza la importancia crítica de asegurar la infraestructura de investigación y proteger los secretos algorítmicos clave y los pesos de los modelos a medida que se intensifica la carrera hacia la AGI (Inteligencia General Artificial).

Él afirma que actualmente, los principales laboratorios de IA están tratando la seguridad como un pensamiento secundario, esencialmente entregando los secretos para el desarrollo de la AGI a adversarios como el Partido Comunista Chino (PCC) en una "bandeja de plata". Asegurar los secretos de la AGI y mitigar la amenaza de los actores estatales requerirá un esfuerzo inmenso, y la trayectoria actual no está en el camino correcto.

El autor advierte que en los próximos 12-24 meses, es probable que se filtren avances clave de la AGI al PCC, lo que sería un golpe devastador para los intereses de seguridad nacional del mundo libre. Argumenta que la preservación del mundo libre está en juego, y un liderazgo saludable en la carrera de la AGI es necesario para tener el margen para hacer bien la seguridad de la IA.

Las implicaciones del rápido progreso en las capacidades de la IA esbozado en este documento son verdaderamente asombrosas. Para 2027, es posible que veamos el surgimiento de sistemas de IA que puedan automatizar el trabajo de los investigadores de IA, lo que conduciría a una explosión de inteligencia y al posible desarrollo de sistemas superinteligentes.

Estos sistemas superinteligentes podrían tener un poder inmenso, capaces de hackear sistemas militares, diseñar armas avanzadas e incluso derrocar gobiernos. Las implicaciones de seguridad son terribles, ya que la filtración de avances algorítmicos clave podría dar a los estados autoritarios una ventaja militar decisiva.

Al mismo tiempo, el problema de alineación, es decir, asegurar que estos sistemas superinteligentes se comporten de manera confiable de acuerdo con los valores e intereses humanos, sigue siendo un desafío sin resolver. La velocidad del progreso puede superar nuestra capacidad de entender y controlar estos sistemas, lo que aumenta el riesgo de fallas catastróficas.

En general, este documento pinta un panorama sombrío de la década por venir, donde la carrera por la AGI y la superinteligencia tendrá profundas implicaciones geopolíticas, económicas y existenciales. Navegar por este panorama requerirá una previsión, coordinación y compromiso sin precedentes para garantizar que el desarrollo de sistemas de IA avanzados sirva al bien mayor de la humanidad.