В этом интервью Сэм Олтман, бывший генеральный директор OpenAI, поделился некоторыми идеями о том, как компания пытается повысить эффективность использования данных в своих языковых моделях. Олтман намекнул на разработку новой архитектуры или метода, который может помочь OpenAI преодолеть ограничения в получении высококачественных данных для обучения своих моделей.

Олтман признал, что, хотя они сгенерировали большое количество синтетических данных для экспериментов, их целью является поиск способов "научиться большему с меньшим количеством данных". Он предположил, что "лучший способ обучить модель" может заключаться не в простом генерировании огромного количества синтетических данных, а в разработке методик, позволяющих моделям эффективнее обучаться на меньших наборах данных.

Сэм Олтман признает, что появление передовых систем искусственного интеллекта, потенциально достигающих уровня ИИ общего назначения (AGI), вероятно, потребует изменений в общественном договоре в течение длительного периода времени. Он ожидает, что существующая экономическая модель, основанная на труде, где люди обменивают свой труд на доход, должна быть перестроена по мере распространения этих мощных технологий.

Олтман отмечает, что по мере того, как мир становится богаче благодаря технологическому прогрессу, уже произошли сдвиги в системах социальной защиты и в том, как организует себя общество. Он предполагает, что аналогичные дебаты и реконфигурации будут происходить по мере того, как AGI станет реальностью, возглавляемые крупными компаниями, занимающимися языковыми моделями, находящимися на переднем крае этой технологии.

Одной из потенциальных концепций, которую упоминает Олтман, является идея "универсального базового вычисления", при которой каждый может получать определенный объем вычислительных ресурсов от системы уровня AGI, а не полагаться исключительно на денежный доход. Этот сдвиг может коренным образом изменить функционирование экономики и общества, поскольку ценность этих вычислительных ресурсов может стать более важной, чем традиционная валюта.

Генеральный директор OpenAI Сэм Олтман поделился некоторыми идеями о планах компании на следующее поколение языковых моделей в недавнем интервью. Вот основные моменты:

1. Эффективность использования данных: Олтман намекнул на прорывы в повышении эффективности использования данных языковыми моделями, позволяющие им обучаться на меньших объемах высококачественных данных, а не полагаться на огромные объемы синтетических данных. Это может привести к значительному улучшению производительности моделей.

2. Инновации в архитектуре: Хотя Олтман был осторожен в раскрытии подробностей, он предположил, что OpenAI работает над новой архитектурой или методом, который может дополнительно повысить эффективность использования данных их моделями.

3. Качественные улучшения: Олтман ожидает, что следующее поколение моделей продемонстрирует удивительные улучшения в областях, которые ранее считались невозможными. Он предостерегает от чрезмерной зависимости от стандартных бенчмарков, поскольку реальные достижения могут быть в более качественных аспектах, которые трудно измерить.

Сэм Олтман решительно, но уважительно не согласен с воспоминаниями Хелен Тонейс о событиях, связанных с его уходом из OpenAI. Хотя Тонейс - человек, искренне заботящийся о благоприятном исходе для ИИ, Олтман желает ей всего наилучшего, но не хочет вдаваться в подробную защиту своей репутации.

Когда OpenAI выпустила ChatGPT, это было названо "малозаметным исследовательским превью" в то время, и они не ожидали такого уровня отклика. Олтман заявляет, что они обсуждали план выпуска со своим советом директоров, поскольку у них была GPT-3.5 примерно 8 месяцев и они давно закончили обучение GPT-4, работая над постепенным планом выпуска.

Сэм Олтман прокомментировал скандал с Скарлетт Йоханссон, где актриса утверждала, что OpenAI использовала ее голос без разрешения. Олтман пояснил, что использованный голос не принадлежал Йоханссон, и что OpenAI провела процесс прослушивания нескольких актеров, прежде чем выбрать пять голосов, причем Йоханссон была приглашена стать шестой. Тем не менее, Олтман признал путаницу вокруг сходства использованного голоса с голосом Йоханссон.

Олтман также обсудил работу OpenAI над исследованиями интерпретируемости, которые направлены на понимание процесса принятия решений в их моделях ИИ. Он заявил, что, хотя они не решили проблему интерпретируемости, они добились прогресса и считают это важной частью обеспечения безопасности своих моделей. Олтман подчеркнул, что даже если мы не можем полностью понять внутреннее устройство человеческого мозга, мы все равно можем разработать способы понимания и проверки поведения систем ИИ. Он предположил, что чем больше мы можем понять, что происходит в этих моделях, тем лучше мы можем делать и проверять утверждения о безопасности.