Исследователи Института интеллектуальных систем и искусственного интеллекта (ISSAI) Nazarbayev University (NU) представили главе государства К. Токаеву большую языковую модель казахского языка ISSAI KAZ-LLM, разработанную на основе нейронной сети. Это основа казахского чата GPT.

Адаптированная к уникальному многоязычному и мультикультурному контексту страны, модель ISSAI KAZ-LLM разработана для казахского, русского и английского языков с дополнительной поддержкой турецкого, что позволяет устранить языковые пробелы и продвинуть генеративный искусственный интеллект для языков с ограниченными ресурсами. 

Команда ISSAI собрала, обработала, синтезировала и перевела более 150 миллиардов токенов (т.е. слова или подслова), что обеспечило надежную языковую работу. Уровень обучения ISSAI KAZ-LLM очень высок и конкурирует в результатах на казахском, русском и английском языках с мировыми лидерами в области искусственного интеллекта.

Помимо этого команда ISSAI KAZ-LLM предоставила практический опыт местным IT-талантам, укрепив возможности национального искусственного интеллекта. Проект способствовал не только созданию передового инструмента искусственного интеллекта, но и росту числа казахстанских специалистов в области искусственного интеллекта. 

Казахстанские исследователи участвовали во всех этапах процесса, от подготовки данных до внедрения моделей, создавая основу для устойчивых инноваций в области искусственного интеллекта. Сотрудничество с ведущими казахстанскими институтами позволило создать инструменты сравнительного анализа и наборы данных, адаптированные для казахского языка с помощью лингвистов и передовых методов машинного перевода.

Применение KAZ-LLM повсеместно – от переводов казахского языка и генерации контента до обработки объемных текстов. Проект был начат в апреле 2024 г., и только обучение модели заняло у разработчиков около пяти месяцев. Тренировочные данные были собраны только из общедоступных источников, включая казахские веб-сайты, новостные статьи и онлайн-библиотеки. Были также использованы данные, предоставленные различными организациями. 

«Эта модель отражает стремление Казахстана к инновациям, самостоятельности и росту своей технологической экосистемы. Наша команда подготовила две версии ISSAI KAZ-LLM с восемью миллиардами и 70 миллиардами параметров, построенные на архитектуре Meta Llama и оптимизированные для высокопроизводительных систем и сред с ограниченными ресурсами. Модели, выпущены по лицензии CC-BY-NC, которые доступны для некоммерческого использования на сайте Hugging Face, способствуют глобальному академическому и исследовательскому сотрудничеству. Таким образом, разработчики смогут скачать и запустить нашу модель как на сложных серверах, так и на ноутбуках», - рассказал директор ISSAI, профессор NU Хусейн Атакан Варол. 

ISSAI рассматривает разработку систем искусственного интеллекта следующего поколения, включая модели языкового видения, и расширения этих моделей для поддержки дополнительных тюркских и региональных языков. Эти усилия могут быть направлены на укрепление региональных связей, содействие языковой интеграции и содействие значительному экономическому и технологическому влиянию в Казахстане и за его пределами.

Проект ISSAI KAZ-LLM стал возможен благодаря поддержке Фонда развития NU и NIS, а также Astana Hub и QazCode (Beeline), а разработка велась независимо от государственного финансирования. Ключевыми партнерами в создании национальной большой языковой модели стали Beeline Казахстан и его ИТ-компания QazCode. Поддержка в виде предоставленного сервера с вычислительными мощностями 8 DGX H100 позволила завершить проект в срок к Дню независимости РК, сократив время одной итерации обучения моделей с трех лет на сервере A100 до всего лишь 50 дней в Облаке.

«Наша команда активно участвовала в разработке и обучении модели Kaz-LLM. Сложный процесс, включающий создание модели, учитывающей особенности казахского языка, и 50 дней вычислений, позволил улучшить понимание контекста и обеспечить качественное взаимодействие с пользователями. Тестирование показало, что модель эффективно решает технические задачи, учитывая культурные особенности. Мы уверены, что Kaz-LLM станет важным инструментом для всего Казахстана, помогая преодолеть языковой цифровой барьер и улучшить качество цифровых сервисов в регионе», - прокомментировал СЕО QazCode Алексей Шаравар.