В Казахстане проведена большая работа по обеспечению корпуса казахского языка для национальной языковой модели KazLLM. К ее созданию были привлечены представители Министерством науки и высшего образования, Института информационных систем и искусственного интеллекта (ISSAI), научных институтов и высших учебных заведений, передает портал Качественный Казахстан со ссылкой на пресс-службу МНВО РК.   

Как отметили в ведомстве, свыше 140 ученых и сотрудников 26 ведущих научных институтов и вузов страны, принимавших участие в разработке корпуса казахского языка для KazLLM, занимались подготовкой больших объемов данных по экономике, финансам, математике, истории, биологии, химии, медицине, технологиям и другим 115 областям науки на казахском языке.

Например, Казахский национальный университет им. аль-Фараби осуществил подготовку данных по философии, этике, PR, астрономии, астрофизике и информационным технологиям. Институт математики и математического моделирования – занимался составлением данных по направлениям математики. Институт истории и этнологии имени Ш.Уалиханова – контентом по истории, а медицинские университеты – составлением данных в области медицины.

«Это сотрудничество с учреждениями науки и высшего образования способствовало созданию уникального контента на казахском языке, что обеспечит качественную и эффективную разработку модели. Данная мера будет способствовать созданию эффективных решений для обработки, перевода и анализа текстовой информации на казахском языке, а также интеграции казахского языка в современные технологии. В условиях глобализации и стремления к сохранению культурной самобытности страны значимость проекта становится особенно актуальной. Данную модель, которая является важной частью цифровой инфраструктуры, можно использовать в некоммерческих научных и академических целях, а также в создании чат-ботов, виртуальных помощников, автоматических переводчиков, по аналогии с Google Translate», – отметили в пресс-службе министерства.

Также отмечено, что на сегодняшний день доступна версия KazLLM с открытым исходным кодом на платформе Huggingface.