Ученые провели сравнение эффективности YandexGPT2 и GPT 3.5 от OpenAI. Согласно выводам исследования, в 63% всех задач искусственный интеллект от Яндекса превзошел ChatGPT.

Для сравнения был использован метод Side by Side (SBS), который предполагает сравнение двух групп данных, где одна группа рассматривается как зависимая переменная, а другая - как независимая. Этот метод позволяет определить связь между двумя переменными и исследовать влияние одной переменной на другую. Обе программы решали одну и ту же задачу. AI-тренеры Яндекса выбирали ответ, который наиболее соответствовал критериям, не зная, какая модель его сгенерировала. Задачи были взяты из базы реальных запросов пользователей к YandexGPT 2, что позволило выбрать задачи, которые действительно соответствуют реальным темам и потребностям аудитории.

Алексей Гусаков, технический директор одного из подразделений “Яндекс Поиска”, заявил, что сравнение нейросетей проводилось не для получения “абстрактных чисел в бенчмарке”, а для улучшения показателей, развития и совершенствования продукта. По его словам, это объясняет решение использовать для сравнения реальные запросы.

Источник: Overclockers