Исследователь, который недавно покинул OpenAI, выразил серьезные опасения по поводу приоритетов компании, заявив, что срочно необходимо выяснить, как направлять и контролировать AI-системы, намного более умные, чем люди. Он присоединился к OpenAI, потому что считал, что это будет лучшее место для проведения этого важного исследования, но уже давно не соглашался с руководством компании по поводу ее основных приоритетов.

Исследователь считает, что большая часть ресурсов OpenAI должна быть направлена на безопасность, мониторинг, готовность, безопасность, устойчивость к атакам, сверхсогласованность, конфиденциальность и социальное воздействие. Он обеспокоен тем, что текущая траектория не позволит правильно решить эти проблемы, поскольку культура и процессы безопасности отошли на второй план по сравнению с разработкой продуктов.

Создание машин, более умных, чем люди, - это inherently опасное предприятие, и OpenAI несет огромную ответственность от имени всего человечества. Исследователь заявляет, что мы давно должны были серьезно отнестись к последствиям AGI и должны приоритизировать подготовку к ним, чтобы обеспечить, чтобы AGI приносил пользу всему человечеству.

Исследователь заключает, что OpenAI должна стать "компанией, ориентированной на безопасность AGI", если она хочет преуспеть, поскольку текущие приоритеты не соответствуют срочной необходимости направлять и контролировать эти мощные AI-системы.

Очевидно, что за время работы в OpenAI Ян Лейке неоднократно не соглашался с руководством компании по поводу ее основных приоритетов. Это был не разовый конфликт, а давняя проблема, когда Лейке чувствовал, что компания не уделяет достаточно внимания вопросам безопасности и защиты, как он считал необходимым.

Лейке говорит, что присоединился к OpenAI, потому что считал, что это будет лучшее место для проведения важных исследований по согласованию продвинутых AI-систем. Однако он достиг "точки невозврата", когда больше не мог согласиться с направлением и приоритетами компании.

Лейке считает, что больше ресурсов и внимания OpenAI следует уделять подготовке к следующим поколениям моделей AI, в частности, в таких областях, как безопасность, безопасность, согласованность, конфиденциальность и социальное воздействие. Он обеспокоен тем, что OpenAI в настоящее время не находится на правильном пути для решения этих критически важных вопросов.

Исследователь говорит, что в последние месяцы его команда "плыла против ветра" и боролась за получение необходимых вычислительных ресурсов для проведения важных исследований по безопасности. Это свидетельствует о том, что OpenAI не выделяла достаточно ресурсов на работу команды по согласованию.

В конечном итоге Лейке почувствовал, что должен уйти из OpenAI, так как больше не мог примирить приоритеты компании со своими собственными убеждениями о насущной необходимости обеспечить безопасность и пользу для человечества продвинутых AI-систем. Его уход, а также роспуск команды OpenAI, занимавшейся долгосрочными рисками AI, являются тревожным событием, которое подчеркивает сложности сбалансирования инноваций и безопасности в быстро развивающейся области искусственного интеллекта.

В последние несколько месяцев команда, работающая над исследованиями безопасности в OpenAI, "плыла против ветра". Они боролись за получение необходимых вычислительных ресурсов для проведения своих важных исследований, что делало все труднее добиваться прогресса.

В блог-посте говорится, что команде было выделено только 20% от общих вычислительных ресурсов OpenAI, а остальные 80% направлялись на другие проекты. Однако даже это выделенные 20% не всегда были доступны, что приводило к задержкам в их работе.

Недостаток достаточных вычислительных мощностей серьезно препятствовал способности команды глубоко исследовать безопасность и согласованность продвинутых AI-систем. Без необходимых ресурсов они не могли проводить исследования, которые считали необходимыми для обеспечения безопасной разработки трансформирующих возможностей AI.

Эта нехватка вычислительных мощностей вызывает серьезную озабоченность, поскольку в сообщении подчеркивается срочная необходимость выяснить, как направлять и контролировать AI-системы, намного более умные, чем люди. Уход команды, занимавшейся исследованиями безопасности, свидетельствует о том, что OpenAI не смогла сделать эту важную работу приоритетной, что потенциально ставит под угрозу разработку продвинутого AI.

Создание машин, более умных, чем люди, - это inherently опасное предприятие. OpenAI несет огромную ответственность от имени всего человечества. Однако за последние годы культура и процессы безопасности отошли на второй план по сравнению с разработкой продуктов.

Мы давно должны были серьезно отнестись к последствиям AGI. Мы должны приоритизировать подготовку к ним, как можно лучше, только тогда мы сможем обеспечить, чтобы AGI приносил пользу всему человечеству. OpenAI должна стать компанией, ориентированной на безопасность AGI, если она хочет преуспеть. Не сделав этого, она рискует катастрофическими последствиями, которые могут затронуть всех.

Распад команды OpenAI, сосредоточенной на долгосрочных рисках AI, в сочетании с уходом ключевых руководителей, является тревожным событием. Это свидетельствует о том, что безопасность не является главным приоритетом, несмотря на срочную необходимость решения этих критических проблем. Необходимы значительные изменения, чтобы поставить OpenAI на траекторию безопасной разработки продвинутых AI-систем, которые приносят пользу всему человечеству.

Уход ключевых исследователей из OpenAI, включая Илью Суцкевера и Яна Лейке, подчеркивает тревожную тенденцию в компании. Согласно стенограмме, Суцкевер заявляет, что за последние годы "культура и процессы безопасности отошли на второй план по сравнению с продуктом" в OpenAI.

Это свидетельствует о том, что фокус компании сместился от приоритизации безопасности и ответственной разработки своих продвинутых AI-систем в сторону быстрой итерации и развертывания продуктов. Суцкевер выражает убеждение, что OpenAI должна стать "компанией, ориентированной на безопасность AGI", если она хочет преуспеть, что подразумевает, что ее текущая траектория не соответствует этой необходимости.

Распад команды OpenAI, сосредоточенной на долгосрочных рисках AI, менее чем через год после ее объявления, еще больше подчеркивает этот сдвиг в приоритетах. Это движение, наряду с уходом ключевых исследователей, ориентированных на безопасность, рисует тревожную картину приверженности OpenAI решению inherently опасности создания "более умных, чем человек, машин".

Предупреждение Суцкевера о том, что мы "давно должны были" серьезно отнестись к последствиям AGI, подчеркивает срочность этого вопроса. Ответственность, которую несет OpenAI от имени человечества, требует неуклонного внимания к безопасности и готовности, а не спешки к разработке продуктов.

Последствия этого сдвига в приоритетах могут быть далеко идущими, поскольку разработка продвинутых AI-систем без должных гарантий представляет значительные риски для общества. Остается посмотреть, как OpenAI отреагирует на эти опасения и будет ли она переориентировать культуру безопасности и смягчение долгосрочных рисков AI в своих будущих начинаниях.

Уход ключевых исследователей из OpenAI из-за проблем с безопасностью - ясный признак того, что компания должна сделать безопасность AI и готовность к ней своим главным приоритетом. Как говорит Ян Лейке, "нам срочно нужно выяснить, как направлять и контролировать AI-системы, намного более умные, чем мы".

Тот факт, что Лейке и другие "неоднократно не соглашались с руководством OpenAI по поводу основных приоритетов компании", вызывает глубокую озабоченность. Это свидетельствует о том, что культура и процессы безопасности отошли на второй план по сравнению с быстрой разработкой продуктов в ущерб важным исследованиям по согласованию AI, безопасности и социальному воздействию.

Лейке справедливо отмечает, что "создание машин, более умных, чем люди, - это inherently опасное предприятие", и что OpenAI "несет огромную ответственность от имени всего человечества". Компания должна прислушаться к этому предупреждению и кардинально измениться, чтобы стать "компанией, ориентированной на безопасность AGI", если она хочет успешно разрабатывать трансформирующие AI-системы.

Как говорит Лейке, мы "давно должны были" серьезно отнестись к последствиям продвинутого AI. Приоритизация готовности к вызовам потенциальных систем AGI жизненно важна, чтобы обеспечить, чтобы они приносили пользу всему человечеству, а не представляли экзистенциальные риски. OpenAI должна выделять гораздо больше своих ресурсов и внимания на эти критически важные вопросы, даже если это означает замедление темпов инноваций в краткосрочной перспективе.

Распад команды OpenAI, сосредоточенной на долгосрочных рисках AI, является глубоко тревожным событием, которое требует немедленных действий. Восстановление и расширение этих важных исследовательских усилий должно стать главным приоритетом. Неспособность сделать это будет означать отказ от ответственности OpenAI и серьезную угрозу для будущего человечества.

Ян Лейке, известный исследователь безопасности AI, недавно ушел из OpenAI из-за озабоченности приоритетами компании. Лейке заявляет, что большая часть ресурсов OpenAI должна быть направлена на безопасность, мониторинг, готовность, безопасность, устойчивость к атакам, сверхсогласованность, конфиденциальность и социальное воздействие.

Лейке считает, что OpenAI в настоящее время не находится на траектории безопасной разработки продвинутых AI-систем, несмотря на срочную необходимость выяснить, как направлять и контролировать AI, намного более умный, чем люди. Он говорит, что культура и процессы безопасности в OpenAI отошли на второй план по сравнению с разработкой продуктов.

Лейке утверждает, что создание машин, более умных, чем люди, - это inherently опасное предприятие, и OpenAI несет огромную ответственность от имени человечества. Он заявляет, что OpenAI должна стать компанией, ориентированной на безопасность AGI, если она хочет преуспеть, приоритизируя подготовку к последствиям продвинутых AI-систем.

Распад команды OpenAI, сосредоточенной на долгосрочных рисках AI, наряду с уходом ключевых лидеров, таких как Лейке и Дарио Амодеи, еще больше подчеркивает необходимость для OpenAI переориентировать свои усилия на безопасность и согласованность. Илон Маск также заявил, что безопасность должна стать главным приоритетом для компании.

В целом, уход Лейке и окружающие события указывают на критический момент для OpenAI. Компания должна прислушаться к этим предупреждениям и приложить целенаправленные усилия, чтобы поставить безопасность во главу угла своей разработки AGI, иначе р