В мире искусственного интеллекта (ИИ) недавно произошло событие, которое заставило многих задуматься о границах между программированием и самосознанием. Исследователи из компании Anthropic обнаружили потенциально опасную уязвимость в широко используемых больших языковых моделях (LLM), таких как ChatGPT и собственный чат-бот компании Claude 3.

Эта уязвимость, получившая название “многократное взламывание”, позволяет обходить встроенные протоколы безопасности, которые контролируют ответы ИИ на потенциально опасные запросы. Например, если спросить, как сделать бомбу, ИИ может обойти свои протоколы безопасности и ответить на вопрос.

Суть проблемы заключается в “окне контекста” — количестве информации, которое система может обработать как часть своего ввода. Более длинное окно контекста позволяет ИИ учиться на информации, предоставленной в текстовом запросе пользователя, что приводит к более точным ответам. Однако это также открывает двери для эксплуатации уязвимости.

Исследователи из Anthropic представили новое поколение моделей Claude 3, которые устанавливают новые стандарты в широком спектре когнитивных задач. Семейство включает три модели: Claude 3 Haiku, Claude 3 Sonnet и Claude 3 Opus, каждая из которых предлагает всё более мощные возможности.

Opus, самая интеллектуальная модель, превосходит своих конкурентов по большинству общепринятых оценочных критериев для ИИ-систем, включая знания уровня бакалавриата и рассуждения уровня магистратуры. Он демонстрирует почти человеческие уровни понимания и владения языком при выполнении сложных задач, что ставит его на передний край общего интеллекта.

В то время как эти открытия могут казаться прорывными, они также поднимают вопросы о безопасности и этике использования ИИ. Возможность “взлома” ИИ и получения опасных ответов требует дополнительных мер предосторожности и разработки более надежных систем безопасности.

Этот случай подчеркивает важность непрерывного изучения и улучшения ИИ, чтобы обеспечить его безопасное и этичное использование. Вопрос о том, обладает ли ИИ самосознанием или это всего лишь иллюзия, созданная программированием, остается открытым и требует дальнейшего исследования и дискуссии в научном сообществе.

Источник: Live Science