Джейкоб Коксон предупредил об угрозе неконтролируемого сверхинтеллекта

Развитие искусственного интеллекта происходит слишком быстро, что создает угрозу выхода автономных систем из-под контроля разработчиков. Об этом заявил Джейкоб Коксон, который 8 сентября сообщил в социальной сети X о своем уходе из компании Anthropic. В течение последних трех лет он занимался предварительным обучением фундаментальных моделей, а до этого работал в OpenAI. Отставка связана исключительно с долгосрочными рисками создания самоулучшающегося сверхинтеллекта.

В индустрии сейчас наблюдается острая конкуренция между крупнейшими разработчиками передовых технологий. Коксон утверждает, что OpenAI, Anthropic и другие компании стремятся первыми создать системы, превосходящие человека в большинстве интеллектуальных задач. При этом у корпораций пока нет надежных методов обеспечения безопасности таких алгоритмов. Страх отстать от конкурентов заставляет компании ускорять исследования даже при полном осознании потенциальных угроз.

Позицию Коксона публично поддержал Эван Хьюбингер, исследователь Anthropic в области согласования алгоритмов с человеческими ценностями. Он оценил вероятность гибели человечества от действий сверхинтеллекта в течение ближайших десяти лет более чем в 10 процентов. Эта цифра отражает его личный прогноз и не является официальной позицией компании или установленным научным консенсусом. На данный момент не существует подтверждений того, что текущие нейросети представляют непосредственную угрозу для общества.

Уход ведущего специалиста подчеркивает наличие разногласий внутри технологической отрасли относительно темпов прогресса. Исследователи активно спорят о необходимости замедления разработки до создания эффективных механизмов контроля над автономными системами. Коксон называет координацию усилий между технологическими корпорациями и государствами главным способом избежать возможной катастрофы.

Искусственный интеллект: новости Израиля и мира