Китайская корпорация Huawei разработала инновационную вычислительную архитектуру Peerium, позволяющую объединить до миллиона ИИ-ускорителей в единый распределенный суперкомпьютер. Платформа создана для обучения базовых нейросетей сверхкрупного масштаба объемом до 40 триллионов параметров, что многократно превосходит возможности современных западных кластеров. Об этом сообщает агентство Associated Press со ссылкой на презентацию компании на конференции CONNECT и заявления руководства телеком-гиганта.
Технологическая платформа опирается на трехуровневую инженерную систему: вложенный параллелизм (nested parallelism), единую сквозную адресацию оперативной памяти (unified memory addressing) и прямые пиринговые межсоединения (peer-to-peer). Для преодоления «бутылочного горлышка» передачи данных инженеры разработали собственный интерфейс связи UnifiedBus с межстоечной пропускной способностью до 800 ГБ/с. Это в четыре раза выше показателей стандартной связки NVLink и InfiniBand от NVIDIA, обеспечивающей около 200 ГБ/с между стойками.
«В ближайшие два года в Китае будут действовать 6–7 передовых ИИ-лабораторий, и все они будут нацелены на обучение фундаментальных языковых моделей размером от 10 до 40 триллионов параметров. Для обучения моделей такого уровня необходима инфраструктура соответствующего масштаба», — заявил агентству Associated Press главный научный сотрудник разработчика чипов HiSilicon (подразделение Huawei) Ляо Хэн.
Первым аппаратным воплощением архитектуры стал вычислительный модуль Atlas 950 SuperPoD, объединяющий более 8 000 фирменных ускорителей Ascend 950DT. Поставки SuperPoD заказчикам начнутся в начале следующего года, после чего компания планирует масштабировать их в суперкластеры. В настоящее время Huawei уже тестирует прототип мегасистемы SuperCluster на 256 000 вычислительных плат.
«Когда миллион процессоров функционируют как единый компьютер, это создает основу для качественного скачка в обучении и инференсе искусственного интеллекта. UnifiedBus открывает путь в новую эру ИИ-технологий, и в ближайшие годы другим игрокам рынка неизбежно придется последовать этому примеру», — подчеркнул сменяемый председатель совета директоров Huawei Эрик Сюй.
Источник: Associated Press
#huawei #искусственныйинтеллект #технологии #процессоры #китай
