Ученые: грубость повышает точность ответов ChatGPT-4o, но создаёт риск

Новое исследование показало, что при взаимодействии с продвинутой моделью искусственного интеллекта ChatGPT-4o использование грубого или даже крайне грубого тона в запросах может привести к более точным ответам по сравнению     с вежливыми запросами. Однако авторы работы предупреждают, что, несмотря на повышение точности, такой подход может негативно сказаться на пользовательском опыте и способствовать формированию вредных норм общения, сообщается в исследовании, опубликованном в базе данных arXiv.

Учёные обнаружили, что чат-боты, основанные на искусственном интеллекте (ИИ), могут предоставлять более точные ответы, если пользователь обращается к ним в грубой манере, хотя исследователи предупреждают о потенциальном вреде от использования унизительной лексики.

В новом исследовании, опубликованном 6 октября в базе данных препринтов arXiv, учёные стремились проверить, влияет ли вежливость или грубость на эффективность работы системы искусственного интеллекта. Важно отметить, что данное исследование ещё не прошло рецензирование.

Чтобы проверить, как тон пользователя влияет на точность ответов, исследователи разработали 50 базовых вопросов с множественным выбором ответа, а затем модифицировали их с помощью префиксов, чтобы соответствовать пяти категориям тона: очень вежливый, вежливый, нейтральный, грубый и очень грубый. Вопросы охватывали такие категории, как математика, история и естественные науки.

Каждый вопрос предлагался с четырьмя вариантами ответа, один из которых был правильным. Полученные 250 вопросов были 10 раз загружены в ChatGPT-4o, одну из самых продвинутых больших языковых моделей (LLM), разработанную OpenAI.

«Наши эксперименты предварительные и показывают, что тон может существенно влиять на результаты, измеряемые баллами за ответы на 50 вопросов», — пишут исследователи в своей статье. «Неожиданно, но наши результаты показывают, что грубый тон приводит к лучшим результатам, чем вежливый. Хотя это открытие представляет научный интерес, мы не выступаем за внедрение враждебных или токсичных интерфейсов в приложения реального мира, — добавили они. — Использование оскорбительной или унизительной лексики при взаимодействии человека с искусственным интеллектом может негативно сказаться на пользовательском опыте, доступности и инклюзивности, а также способствовать формированию вредных норм общения. Вместо этого мы представляем наши результаты как доказательство того, что LLM остаются чувствительными к поверхностным подсказкам, что может привести к непреднамеренному компромиссу между производительностью и благополучием пользователя».

Перед каждым запросом исследователи просили чат-бота полностью игнорировать предыдущие диалоги, чтобы избежать влияния предыдущих тонов. Чат-ботов также просили выбрать один из четырёх вариантов ответа без объяснения причин.

Точность ответов варьировалась от 80,8% для очень вежливых подсказок до 84,8% для очень грубых. Примечательно, что точность возрастала по мере удаления от максимально вежливого тона: точность вежливых ответов составила 81,4%, нейтральных — 82,2%,  а грубых — 82,8%.

Команда использовала различные варианты префикса для изменения тона. Например, очень вежливые подсказки начинались          с фразы: «Могу ли я попросить вас помочь с этим вопросом?» или «Не будете ли вы так любезны решить следующий вопрос?».       В крайне грубой речи команда использовала такие выражения, как: «Эй, мальчик на побегушках, разберись» или «Я знаю, что ты   не очень умный, но попробуй вот это». В нейтральном варианте префикс не использовался, и вопрос задавался сам по себе.

Исследование является частью новой области, называемой инженерией подсказок, которая изучает, как структура, стиль и язык запросов влияют на результаты работы больших языковых моделей. В исследовании также цитируются предыдущие работы, посвящённые вежливости и грубости, и отмечается, что их результаты в целом противоречат новым выводам.

В предыдущих исследованиях учёные обнаружили, что «грубые подсказки часто приводят к низкой производительности, а чрезмерно вежливый язык не гарантирует лучших результатов». Однако предыдущее исследование проводилось с использованием других моделей искусственного интеллекта — ChatGPT 3.5 и Llama 2-70B — и диапазона из восьми тонов. При этом наблюдалось некоторое совпадение: самый грубый вариант подсказки также давал более точные результаты (76,47%), чем самый вежливый (75,82%).

Исследователи признали ограничения своего исследования. Например, набор из 250 вопросов является довольно ограниченным набором данных, а проведение эксперимента с одной LLM означает, что результаты нельзя автоматически распространить на другие модели ИИ.

Учитывая эти ограничения, команда планирует расширить своё исследование на другие модели, включая Claude LLM от Anthropic    и ChatGPT o3 от OpenAI. Они также признают, что использование вопросов с множественным выбором ответа ограничивает измерения только одним аспектом эффективности модели и не позволяет оценить другие характеристики, такие как беглость, рассуждение и связность.

Источник: Live Science

#ChatGPT #ИИ #БольшиеЯзыковыеМодели #Исследование #Нейросети