Технология искусственного интеллекта, лежащая в основе ChatGPT, была разработана в Айове - с использованием большого количества воды

ДЕ-МОЙН, Айова (AP) — 

Стоимость создания продукта на основе искусственного интеллекта, такого как ChatGPT, трудно поддается измерению.

Но для работы своей технологии OpenAI, поддерживаемой Microsoft, требовалось много воды, забираемой из водосборного бассейна рек Ракун и Де-Мойн в центральной Айове, чтобы охлаждать мощный суперкомпьютер, который помогал обучать системы искусственного интеллекта имитировать человеческий почерк.

Стремясь извлечь выгоду из повального увлечения генеративным искусственным интеллектом, ведущие разработчики технологий, включая Microsoft, OpenAI и Google, признают, что растущий спрос на их инструменты ИИ влечет за собой значительные издержки, от дорогостоящих полупроводников до увеличения потребления воды.

Но они часто скрывают подробности. Мало кто в Айове знал о том, что именно здесь была создана самая передовая модель обработки больших языков программирования от OpenAI, GPT-4, до того как один из высокопоставленных руководителей Microsoft заявил в своей речи, что она «была буквально создана рядом с кукурузными полями к западу от Де-Мойна».

Создание крупной языковой модели требует анализа закономерностей в огромном массиве текста, написанного людьми. Все эти вычисления потребляют много электроэнергии и выделяют много тепла. Чтобы охладиться в жаркие дни, центрам обработки данных приходится закачивать воду — часто в градирню, расположенную снаружи их зданий размером со склад.

В своем последнем экологическом отчете Microsoft сообщила, что ее глобальное потребление воды выросло на 34% в период         с 2021 по 2022 год (почти до 1,7 миллиарда галлонов, или более 2500 бассейнов олимпийского размера), что является резким увеличением по сравнению с предыдущими годами, и сторонние исследователи связывают это с исследованиями Microsoft              в области искусственного интеллекта.

«Можно с уверенностью сказать, что большая часть роста обусловлена ​​ИИ, включая «значительные инвестиции в генеративный ИИ и партнерство с OpenAI», — заявил Шаолей Рен, исследователь из Калифорнийского университета в Риверсайде, который пытается рассчитать воздействие на окружающую среду продуктов генеративного ИИ, таких как ChatGPT.

В статье, которая должна быть опубликована позже в этом году, команда Рена подсчитала, что ChatGPT потребляет 500 миллилитров воды (примерно столько же, сколько в 16-унцовой бутылке воды) каждый раз, когда вы задаете ему серию из 5–50 вопросов или запросов. Диапазон варьируется в зависимости от местоположения серверов и времени года. Оценка включает косвенное потребление воды, которое компании не измеряют, — например, для охлаждения электростанций, которые снабжают центры обработки данных электроэнергией.

«Большинство людей не знают о том, какие ресурсы используются в ChatGPT, — сказал Рен. — Если вы не знаете об использовании ресурсов, то мы никак не сможем помочь их экономить».

Google сообщила о 20-процентном росте потребления воды за тот же период, что Рен также в значительной степени объясняет своей работой в области искусственного интеллекта. Рост потребления воды в Google был неравномерным — он оставался стабильным в Орегоне, где потребление воды привлекло внимание общественности, в то время как за пределами Лас-Вегаса оно удвоилось. Компания также испытывала нехватку питьевой воды в Айове, используя для своих центров обработки данных в Каунсил-Блаффс больше воды, чем где-либо еще.

В ответ на вопросы агентства Associated Press компания Microsoft на этой неделе заявила, что инвестирует в исследования по измерению энергетического и углеродного следа ИИ, «одновременно работая над способами повышения эффективности крупных систем как в процессе обучения, так и в процессе их применения».

«Мы продолжим отслеживать наши выбросы, ускорять прогресс, одновременно увеличивая использование чистой энергии для питания центров обработки данных, закупая возобновляемую энергию и предпринимая другие усилия для достижения наших целей в области устойчивого развития: к 2030 году стать углеродно-нейтральными, водопотребляющими и безотходными», — говорится   в заявлении компании.

В своем заявлении в пятницу компания OpenAI повторила эти комментарии, сообщив, что уделяет «значительное внимание» оптимальному использованию вычислительных мощностей. «Мы понимаем, что обучение больших моделей может быть энерго- и водоемким процессом», и работаем над повышением эффективности, говорится в заявлении.

В 2019 году Microsoft впервые инвестировала миллиард долларов в компанию OpenAI, базирующуюся в Сан-Франциско, более чем за два года до того, как стартап представил ChatGPT и вызвал всемирный интерес к достижениям в области искусственного интеллекта. В рамках сделки гигант программного обеспечения должен был предоставить вычислительные мощности, необходимые для обучения моделей ИИ.

Чтобы выполнить хотя бы часть этой работы, две компании обратились к городу Уэст-Де-Мойн, штат Айова, с населением 68 000 человек, где Microsoft уже более десяти лет накапливает центры обработки данных для обеспечения работы своих облачных вычислительных сервисов. Четвертый и пятый центры обработки данных должны открыться там позже в этом году.

«Они строят их так быстро, как только могут», — сказал Стив Гаер, который был мэром города, когда Microsoft пришла в город. Гаер сказал, что компанию привлекло стремление города к развитию общественной инфраструктуры, и она внесла «ошеломляющую» сумму денег в виде налоговых платежей, поддерживающих эти инвестиции.

«Но, знаете ли, они довольно скрытно рассказывали о том, что там делают», — добавил он.

В 2020 году Microsoft впервые заявила о разработке одного из самых мощных в мире суперкомпьютеров для OpenAI, отказавшись тогда раскрыть его местоположение агентству AP, но описав его как «единую систему» ​​с более чем 285 000 ядрами обычных полупроводников и 10 000 графическими процессорами — типом чипов, которые стали критически важными для задач искусственного интеллекта.

Эксперты утверждают, что «предварительное обучение» модели ИИ в одном месте может быть целесообразным из-за больших объемов данных, которые необходимо передавать между вычислительными ядрами.

Лишь в конце мая президент Microsoft Брэд Смит сообщил о создании в Айове «передового суперкомпьютерного центра обработки данных для ИИ», предназначенного исключительно для обучения модели GPT-4, ставшей уже четвертым поколением ИИ.             Эта модель теперь используется в премиальных версиях ChatGPT и некоторых собственных продуктов Microsoft, а также активизировала дискуссию о сдерживании социальных рисков, связанных с ИИ.

«Его создали эти выдающиеся инженеры в Калифорнии, но на самом деле он был изготовлен в Айове», — сказал Смит.

В некотором смысле, Вест-Де-Мойн — относительно эффективное место для обучения мощной системы искусственного интеллекта, особенно по сравнению с центрами обработки данных Microsoft в Аризоне, которые потребляют гораздо больше воды при той же вычислительной нагрузке.

«Поэтому, если вы разрабатываете модели ИИ в Microsoft, вам следует планировать обучение в Айове, а не в Аризоне, — сказал Рен. — С точки зрения обучения разницы нет. Но с точки зрения потребления воды или энергии — разница существенная».

Большую часть года в Айове достаточно прохладно, чтобы Microsoft могла использовать наружный воздух для поддержания нормальной работы суперкомпьютера и отвода тепла из здания. Как сообщила компания в публичном заявлении, забор воды начинается только тогда, когда температура превышает 29,3 градуса Цельсия (около 85 градусов по Фаренгейту).

Это всё ещё может быть очень много воды, особенно летом. В июле 2022 года, за месяц до того, как, по заявлению OpenAI, завершилось обучение GPT-4, Microsoft закачала около 11,5 миллионов галлонов воды в свой кластер центров обработки данных    в Айове, согласно данным водопроводной компании West Des Moines Water Works. Это составило около 6% от всего объёма воды, используемой в округе, который также обеспечивает питьевой водой жителей города.

В 2022 году в документе водопроводной компании West Des Moines Water Works говорилось, что она и городское правительство «будут рассматривать будущие проекты центров обработки данных от Microsoft только в том случае, если эти проекты смогут «продемонстрировать и внедрить технологии, позволяющие значительно снизить пиковое потребление воды по сравнению с текущим уровнем», чтобы сохранить водоснабжение для жилых и других коммерческих нужд.

В четверг Microsoft заявила, что работает напрямую с водопроводной компанией, чтобы учесть ее замечания. В письменном заявлении водопроводная компания сообщила, что является хорошим партнером и сотрудничает с местными властями для сокращения потребления воды, одновременно удовлетворяя свои потребности.

О'Брайен вел репортаж из Провиденса, штат Род-Айленд

Источник: https://apnews.com/article/chatgpt-gpt4-iowa-ai-water-consumption-microsoft-f551fde98083d17a7e8d904f8be822c4