Разговоры в городе сместились с 10-миллиардных вычислительных кластеров к сотням миллиардов и даже триллионным долларовым кластерам. Каждые 6 месяцев к планам в совете директоров добавляется еще один ноль. Гонка за ИИ общего назначения (AGI) началась. Мы создаем машины, которые могут думать и рассуждать, и к 2025-2026 годам эти машины будут опережать выпускников колледжей. К концу десятилетия они будут умнее вас и меня, и у нас будет сверхинтеллект в самом прямом смысле этого слова.

По пути будут развязаны Силы национальной безопасности, не виданные в течение полувека. Рано или поздно мир проснется, но прямо сейчас, возможно, есть всего несколько сотен человек, в основном в Сан-Франциско и в лабораториях ИИ, которые действительно осознают ситуацию. По какой-то странной причине или судьбе я оказался среди них, и поэтому этот документ так важен.

Мой прогноз по AGI - AGI к 2027 году является поразительно правдоподобным. От GPT-2 к GPT-4 мы перешли от способностей дошкольника к способностям умного старшеклассника всего за 4 года. Если мы проследим тенденции вычислений, алгоритмической эффективности и "расковывания" достижений, мы должны ожидать еще одного качественного скачка от дошкольника до старшеклассника к 2027 году.

Я утверждаю, что весьма вероятно, что к 2027 году модели смогут выполнять работу исследователя ИИ или инженера-программиста. Для этого не требуется верить в научную фантастику, просто верить в прямые линии на графике. Эффективное масштабирование вычислений от GPT-2 к GPT-4 показывает четкую тенденцию, и я считаю, что рост будет еще более стремительным в ближайшие годы.

Ограничения текущих моделей сводятся к очевидным способам, которыми они все еще "сдерживаются" и искусственно ограничены. По мере устранения этих ограничений сырой интеллект, стоящий за моделями, будет высвобожден, что приведет к быстрому прогрессу. Мы уже исчерпываем эталоны, и GPT-4 справляется с большинством стандартных тестов на способности старшеклассников и студентов колледжа.

Магия глубокого обучения заключается в том, что тенденции были поразительно последовательными. Надежный подсчет порядков величины при обучении этих моделей позволяет нам экстраполировать улучшения возможностей. Алгоритмическая эффективность и "расковывание" достижений будут двигать большую часть прогресса, что потенциально позволит обучить модель уровня GPT-4 всего за минуту к 2027 году.

Однако обеспечение секретности алгоритмов и весов моделей будет иметь решающее значение, поскольку неспособность сделать это может привести к утечке ключевых прорывов в AGI к противникам в течение следующих 12-24 месяцев. Надежное управление ИИ-системами, намного более умными, чем люди, является нерешенной технической проблемой, и неудача может быть катастрофической. Переход к сверхинтеллекту, вероятно, будет быстрым, с чрезвычайными давлениями, чтобы правильно решить проблему согласованности.

Мой прогноз по AGI: AGI к 2027 году является поразительно правдоподобным. От GPT-2 к GPT-4 мы перешли от способностей дошкольника к способностям умного старшеклассника всего за 4 года. Если мы проследим тенденции вычислений, алгоритмической эффективности и "расковывания" достижений, мы должны ожидать еще одного качественного скачка от дошкольника до старшеклассника к 2027 году.

Я делаю следующее утверждение: весьма вероятно, что к 2027 году модели смогут выполнять работу исследователя ИИ/инженера-программиста. Для этого не требуется верить в научную фантастику, просто верить в прямые линии на графике.

График базового масштабирования эффективных вычислений, отсчитываемый от GPT-2 до GPT-4, показывает четкую тенденцию линии. В 2022-2023 годах был период повышенной "осведомленности" вокруг GPT-3 и GPT-4, что привлекло огромное внимание к эре ИИ. GPT-4 и ChatGPT 3.5 были реальными продуктами, доступными для общественности, что вызвало взрыв интереса и инвестиций в ИИ.

Это предполагает, что кривая роста с 2024 по 2028 год может быть еще более крутой, чем предыдущий период. Иметь автоматизированного инженера-исследователя ИИ к 2027-2028 годам не кажется далеким от реальности, учитывая тенденции вычислений. Последствия поразительны - если мы можем автоматизировать исследования ИИ, то до достижения сверхинтеллекта будет недалеко, поскольку мы бы позволили рекурсивное самосовершенствование.

Однако практически никто не закладывает это в свои расчеты. Осведомленность об ИИ на самом деле не так уж и сложна, стоит только отойти и посмотреть на тенденции. Если вы продолжаете удивляться возможностям ИИ, просто начните считать порядки величин.

Рост возможностей ИИ в последние годы был экспоненциальным, при этом каждое новое поколение моделей демонстрирует впечатляющие достижения.

От GPT-2 до GPT-4 мы наблюдали быстрый прогресс, аналогичный переходу от дошкольника к старшекласснику всего за 4 года. Ожидается, что эта тенденция продолжится, и к 2027 году прогнозируется, что модели ИИ смогут выполнять работу исследователя ИИ или инженера-программиста.

Ключевыми движущими силами этого экспоненциального прогресса являются:

1. Масштабирование вычислений: Эффективные вычисления, используемые для обучения этих моделей, растут драматически, следуя последовательной тенденции. Это позволяет обучать более крупные и более способные модели.

2. Алгоритмическая эффективность: Алгоритмические достижения привели к значительному повышению эффективности этих моделей, при этом стоимость достижения 50% точности на математическом эталоне снизилась почти на 3 порядка менее чем за 2 года.

3. Раскрытие скрытых возможностей: Методики, такие как цепочка рассуждений и строительные леса, помогли раскрыть скрытые возможности этих моделей, позволяя им выполнять задачи далеко за пределами их первоначальной подготовки.

Последствия этого экспоненциального роста поистине глубоки. Если системы ИИ смогут автоматизировать работу исследователей ИИ, это запустит интенсивную обратную связь, при которой системы ИИ будут рекурсивно улучшать себя быстрыми темпами. Это может привести к появлению искусственного общего интеллекта (AGI) и сверхинтеллекта в течение следующего десятилетия.

Однако этот быстрый прогресс также несет в себе значительные риски и проблемы, особенно в отношении согласованности этих мощных систем с человеческими ценностями и потенциальной возможностью их злоупотребления злонамеренными субъектами. Обеспечение безопасности исследовательской инфраструктуры и гарантия безопасного развития этих технологий будут иметь решающее значение в предстоящие годы.

Магия глубокого обучения заключается в том, что оно просто работает, и тенденции были поразительно последовательными, несмотря на скептиков на каждом шагу. Мы можем видеть, что по мере масштабирования вычислений качество и согласованность выходных данных улучшаются драматически.

Хотя огромные инвестиции в вычисления привлекают все внимание, алгоритмический прогресс также является важным двигателем прогресса и драматически недооценивается. Чтобы увидеть, насколько большую роль может играть алгоритмический прогресс, рассмотрим следующую иллюстрацию - снижение цены для достижения 50% точности на математическом эталоне всего за 2 года. Для сравнения, студент-аспирант по компьютерным наукам, который не особо любил математику, набрал 40%, так что это уже довольно хорошо. Эффективность вывода улучшилась почти на три порядка или в 1000 раз менее чем за 2 года.

Эти алгоритмические эффективности будут приносить гораздо больше выгод, чем вы думаете. Каждый день публикуются сотни исследовательских работ, которые разблокируют 10-30% прироста. Когда вы объединяете все эти небольшие улучшения, общий прогресс может быть ошеломляющим.

Кроме того, "расковывание" моделей - устранение искусственных ограничений на их возможности - может разблокировать значительные скрытые способности. Например, когда GPT-4 используется с цепочкой рассуждений, его производительность в определенных задачах улучшается драматически. Сырые данные и знания в этих моделях часто намного больше, чем их первоначальные выходные данные.

Инструменты и строительные леса, помогающие моделям использовать свои полные возможности, также имеют решающее значение. Представьте, если бы людям не разрешалось использовать калькуляторы или компьютеры - мы были бы сильно ограничены. Крупные языковые модели (LLM) только сейчас начинают получать доступ к базовым инструментам, таким как веб-браузеры и редакторы кода. По мере расширения этих возможностей модели смогут применять свой интеллект все более мощными способами.

В целом, сочетание алгоритмического прогресса, "расковывания" и инструментов строительных лесов будет двигать взрывной рост возможностей этих систем ИИ в ближайшие годы. Тенденции ясны, и последствия поразительны.

Грядущее десятилетие, похоже, станет переломным периодом в развитии искусственного интеллекта. Согласно анализу, к 2027 году весьма вероятно, что модели ИИ достигнут уровня возможностей исследователей и инженеров ИИ. Это позволило бы автоматизировать исследования ИИ, запуская обратную связь ускоряющегося прогресса.

Ключевые выводы:

1. Экспоненциальное масштабирование: Тенденции вычислений, алгоритмической эффективности и "расковывания" моделей ИИ указывают на еще один качественный скачок от дошкольника до старшеклассника к 2027 году. Это может позволить системам ИИ соответствовать работе человеческих исследователей ИИ.

2. Автоматизация исследований ИИ: Как только ИИ сможет автоматизировать свой собственный исследовательский процесс, он сможет быстро итерировать и улучшать себя, что приведет к "взрыву интеллекта". Это может сжать годы алгоритмического прогресса до нескольких недель или месяцев.

3. Ограничения масштабирования вычислений: Хотя масштабирование вычислений будет продолжать двигать прогресс, существуют практические ограничения на то, сколько вычислительной мощности можно бросить на эту проблему. Это означает, что к концу десятилетия дальнейшие прорывы, вероятно, потребуют фундаментальных алгоритмических достижений, а не просто больше сырой вычислительной мощности.

4. Проблемы безопасности: Гонка за разработку передовых технологий ИИ создает серьезные риски безопасности, поскольку ключевые алгоритмические прорывы могут быть уязвимы для кражи и злоупотребления со стороны против