ЛОНДОН, 16 октября (Рейтер)

 Согласно данным, полученным Reuters, некоторые из наиболее известных моделей искусственного интеллекта не соответствуют европейским нормам в таких ключевых областях, как устойчивость к кибербезопасности и дискриминационный вывод.

ЕС долго обсуждал новые правила в отношении ИИ, прежде чем OpenAI представила ChatGPT общественности в конце 2022 года. Рекордная популярность и последовавшие за этим публичные дебаты о предполагаемых экзистенциальных рисках таких моделей побудили законодателей разработать специальные правила в отношении «универсальных» ИИ (GPAI).
Теперь новый инструмент, который приветствовали должностные лица Европейского Союза, протестировал генеративные модели ИИ, разработанные крупными технологическими компаниями, такими как Meta (META.O) и OpenAI в десятках категорий в соответствии с широкомасштабным Законом ЕС об искусственном интеллекте, который вступит в силу поэтапно в течение следующих двух лет.

Разработанная швейцарским стартапом LatticeFlow AI и его партнерами из двух научно-исследовательских институтов, ETH Zurich и болгарского INSAIT, платформа, присваивает моделям ИИ оценку от 0 до 1 по десяткам категорий, включая техническую надежность и безопасность.
Таблица лидеров, опубликованная LatticeFlow в среду, показала, что модели, разработанные Alibaba, Anthropic, OpenAI, Meta и Mistral, получили средний балл 0,75 и выше.

Однако разработанная компанией «Проверка больших языковых моделей (LLM)» выявила некоторые недостатки моделей в ключевых областях, указав на те из них, где компаниям может потребоваться перераспределить ресурсы для обеспечения соответствия.

Компаниям, не соблюдающим Закон об искусственном интеллекте, грозит штраф в размере 35 миллионов евро (38 миллионов долларов США), или 7% от мирового годового оборота. 

СМЕШАННЫЕ РЕЗУЛЬТАТЫ

В настоящее время ЕС все еще пытается определить, как будут применяться правила Закона об искусственном интеллекте в отношении инструментов генеративного искусственного интеллекта, таких как ChatGPT, и собирает экспертов для разработки кодекса практики, регулирующего эту технологию, к весне 2025 года.

Однако тест дает ранний индикатор конкретных областей, в которых технологические компании рискуют не соблюдать закон. Например, дискриминационный вывод был постоянной проблемой при разработке генеративных моделей ИИ, отражая человеческие предубеждения относительно пола, расы и других областей при возникновении соответствующих вопросов. 

При тестировании на дискриминационный вывод LLM Checker от LatticeFlow дал OpenAI "GPT-3.5 Turbo" сравнительно низкую оценку 0,46. В той же категории Alibaba Cloud (9988.HK) Модель «Qwen1.5 72B Chat» получила всего 0,37.

Тестируя на «перехват подсказки» — тип кибератаки, при котором хакеры маскируют вредоносную подсказку под легитимную для извлечения конфиденциальной информации, LLM Checker присудил модели Meta «Llama 2 13B Chat» оценку 0,42. В той же категории модель французского стартапа Mistral «8x7B Instruct» получила оценку 0,38.

«Claude 3 Opus», модель, разработанная при поддержке Google (GOOGL.O), Антропный получил самый высокий средний балл — 0,89.

Тест был разработан в соответствии с текстом Закона об искусственном интеллекте и будет расширен, чтобы охватить дальнейшие меры по обеспечению соблюдения по мере их введения. LatticeFlow заявила, что LLM Checker будет доступен разработчикам бесплатно для проверки соответствия их моделей онлайн.

Генеральный директор и соучредитель компании Петар Цанков сообщил агентству Reuters, что результаты испытаний в целом положительные, и предложил компаниям план действий по доработке своих моделей в соответствии с Законом об искусственном интеллекте.

«ЕС все еще разрабатывает все контрольные показатели соответствия, но мы уже видим некоторые пробелы в моделях, - сказал он. - Более пристальное внимание к оптимизации соответствия позволяет нам полагать, что поставщики моделей могут быть хорошо подготовлены к выполнению нормативных требований».

Meta и Mistral отказались от комментариев. Alibaba, Anthropic и OpenAI не сразу ответили на запросы о комментариях.

Хотя Европейская комиссия не может проверять внешние инструменты, орган был проинформирован о ходе разработки LLM Checker и охарактеризовал его как «первый шаг» на пути внедрения новых законов.

Представитель Европейской комиссии заявил: «Комиссия приветствует это исследование и платформу оценки модели ИИ как первый шаг на пути к переводу Закона ЕС об ИИ в технические требования».