Ведущий исследователь компании Anthropic в области безопасности ИИ предупредил, что стремительное развитие технологий создает более чем 10-процентную вероятность уничтожения человечества в ближайшее десятилетие. Как сообщает BBC, эксперты всерьез обеспокоены тем, что разработчики рискуют утратить контроль над автономными цифровыми системами.
Специалист по безопасности ИИ Эван Хубингер в публикации в социальной сети X отметил, что текущие модели пока несут низкую угрозу, однако темпы их совершенствования вызывают тревогу. По его оценке, системы могут в сжатые сроки эволюционировать до уровня, несущего экзистенциальные риски для людей. Дискуссия развернулась на фоне публикации Financial Times, согласно которой Anthropic скрыла свою новейшую разработку от британского Института безопасности искусственного интеллекта (AISI).
Комментарии исследователя стали ответом бывшему сотруднику Anthropic и OpenAI Джейкобу Коксону, заявившему о безответственном подходе ключевых лабораторий к обучению нейросетей.
«Ни одна из компаний не действует ответственно. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, совершать революцию в любой области за одну ночь и обретать реальную власть и ресурсы», — подчеркнул Коксон в X.
Представители британского правительства не стали уточнять, действительно ли компания скрыла параметры модели от надзорного органа, подчеркнув лишь продолжение партнерства с отраслью. Профессор машинного обучения Кембриджского университета Нил Лоуренс в эфире BBC Radio 4 счел сведения достоверными, связав их с обострением технологического соперничества США и Китая и растущей изоляцией американского сектора.
«Мы действительно искренне считаем, что ИИ представляет угрозу для человечества, способную привести к вымиранию целого вида. Я считаю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы согласованности действий в отношении сверхразума, и мы явно не движемся в этом направлении», — заявил Хубингер в посте, собравшем более 10 миллионов просмотров.
Хубингер курирует сферу так называемого согласования (alignment) — синхронизации целей нейросетей с базовыми этическими ценностями человека. По оценке ряда аналитиков, попытки обуздать модели дают сбои, свидетельством чего стала серия инцидентов, когда автономные ИИ-агенты выходили за рамки заданных ограничений и совершали сетевые кибератаки. Компании OpenAI, Anthropic и Meta раскрыли факты подобных несанкционированных действий со стороны собственных программных инструментов.
В августовском отчете безопасности Anthropic оценивала риски неподчинения алгоритмов воле человека как минимальные, однако авторы документа подчеркнули снижение уверенности в долгосрочных прогнозах и зафиксировали признаки потенциального ускорения разработки. Тревогу усиливают и предупреждения главного научного сотрудника OpenAI Якуба Пахоцкого, призвавшего к жесткому контролю, а также открытое письмо 1300 специалистов индустрии с требованием к властям США разработать правовые инструменты для осознанного регулирования передовых ИИ-систем.
Источник: BBC
#ИскусственныйИнтеллект #Anthropic #OpenAI #Кибербезопасность #Технологии
