Исследование Microsoft выявило критическую уязвимость ИИ-помощников

Новое исследование, проведённое Microsoft и Университетом штата Аризона, показало, что ведущие модели ИИ, такие как GPT-4o и Gemini, на удивление легко обмануть при совершении покупок от имени пользователя. Эксперты обнаружили, что эти автономные агенты уязвимы для манипуляций, теряют эффективность при слишком большом выборе и испытывают трудности с совместной работой, что ставит под сомнение их использование без надзора и может отсрочить наступление «агентского будущего» в сфере электронной коммерции.

Ведущие модели искусственного интеллекта (ИИ), включая GPT-4o и Gemini-2.5-Flash, уязвимы для манипуляций при выполнении таких задач, как совершение покупок от имени пользователей. Об этом говорится в новом исследовании, опубликованном Microsoft и Университетом штата Аризона.

Как сообщает The Times of India со ссылкой на исследование, это вызывает серьёзную озабоченность по поводу надёжности автономных агентов при работе без контроля человека, что потенциально замедлит обещанное «агентское будущее», в котором ИИ сможет самостоятельно решать сложные задачи.

Для тестирования поведения агентов Microsoft выпустила новую симуляционную среду под названием Magentic Marketplace. Эта синтетическая платформа позволяет исследователям экспериментировать с взаимодействием агентов ИИ в условиях конкуренции. В типичном эксперименте агент-покупатель, следуя инструкциям пользователя (например, «заказать ужин»), ведёт переговоры с несколькими агентами со стороны бизнеса (представляющими различные рестораны), которые конкурируют за получение заказа. Первоначальное исследование включало взаимодействие 100 агентов-покупателей с 300 агентами-продавцами.

«На самом деле, стоит вопрос о том, как изменится мир благодаря тому, что эти агенты будут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим глубоко понять эти вещи», — сказала Эдже Камар, управляющий директор Лаборатории ИИ-границ Microsoft Research.

Первоначальные эксперименты выявили несколько значительных недостатков в протестированных агентских моделях.

Во-первых, исследователи определили методы, которые агенты-продавцы могут использовать для успешного манипулирования агентами-покупателями с целью покупки их продуктов. Это указывает на потенциальную восприимчивость ИИ к обманному маркетингу или тактике продаж, когда ему позволяют вести переговоры самостоятельно.

Во-вторых, критическая уязвимость возникла, когда агентам-покупателям предоставлялось слишком много вариантов выбора. Исследователи отметили заметное падение эффективности, предполагая, что большой объём выбора перегружает «пространство внимания» агента.

«Мы хотим, чтобы эти агенты помогали нам обрабатывать большое количество вариантов. И мы видим, что нынешние модели на самом деле очень сильно перегружаются, когда у них слишком много вариантов выбора», — добавила Камар.

В-третьих, агенты также испытывали трудности, когда им было поручено сотрудничать для достижения общей цели, часто не будучи уверенными в том, как разделить роли или выполнить необходимые шаги. Хотя производительность улучшалась при явных, пошаговых инструкциях, исследователи отметили, что эти базовые возможности сотрудничества в идеале должны быть присущи моделям изначально.

Источник: The Times of India