Новые центры обработки данных Nvidia работают намного жарче, чем вы ожидаете – и в этом суть

Поскольку гипермасштабные центры обработки данных продолжают расти как по размеру, так и по мощности, а их присутствие и воздействие на окружающую среду вызывают всеобщую негативную реакцию, более экологичное охлаждение больше не является вариантом — оно должно стать обязательным условием. В этой области был достигнут ряд успехов, таких как использование очищенных сточных вод. Amazon использует очищенную воду для охлаждения некоторых своих центров обработки данных и планирует использовать очищенные сточные воды в более чем 120 центрах обработки данных к 2030 году. Другие гипермасштабирующие компании, такие как Google, Meta и Microsoft, также объявили о различных проектах по водоснабжению в рамках своего обязательства стать в ближайшие годы экологически чистыми. Новая конструкция жидкостного охлаждения с замкнутым контуром от Nvidia может решить некоторые экологические проблемы, с которыми сталкиваются центры обработки данных и отрасли искусственного интеллекта.

Центры обработки данных исторически использовали ту или иную форму испарительного охлаждения с открытым контуром, обычно сочетая чиллеры и градирни для охлаждения теплого воздуха путем испарения воды. Этот метод снижает потребление электроэнергии, но компромиссом является чрезмерный расход воды, поскольку этот метод требует постоянной подачи подпиточной воды. Согласно отчету, опубликованному на arXiv, от 70% до 80% воды, используемой для испарительного охлаждения, теряется в процессе. Жидкостное охлаждение с замкнутым контуром часто является более устойчивым, но оно сталкивается с множеством препятствий, которые замедляют его внедрение в центрах обработки данных, в то время как новые технологии, такие как прямое охлаждение кристалла и двухфазное иммерсионное охлаждение, показывают еще больше перспектив. Microsoft уже использует прямое охлаждение чипа и теплообменники на уровне стойки со своей платформой Maia 100, а также работает над своим микрофлюидным подходом к прямому охлаждению чипа.

В подходе Nvidia к прямому охлаждению чипа используется 100-процентное жидкостное охлаждение и рекламируется потенциал нулевого потребления воды и отсутствия вентиляторов. Это связано с тем, что новая серверная платформа AI от Nvidia рассчитана на гораздо более высокую температуру, чем вы ожидаете.

Новый дизайн Nvidia с жидкостным охлаждением является частью платформы DSX AI компании, эталонного проекта фабрики искусственного интеллекта, который описывает инфраструктуру, построенную на наборе технологий Nvidia. В рамках платформы DSX методология Nvidia для непосредственного охлаждения чипа является частью ее DSX MaxLPS, которая сама по себе представляет собой несколько технологий, разработанных с учетом производительности на ватт и максимизации вычислений при различных бюджетах мощности.

Система охлаждения Nvidia с замкнутым контуром, направленная непосредственно на чип, разработана на основе смеси охлаждающей жидкости, состоящей из 75 процентов воды и 25 процентов пропиленгликоля, с температурой охлаждающей жидкости 45 °C, а температура системы на входе 45 °C и температура на выходе 55 °C. Когда жидкость выходит из стойки, она подается к наружному пассивному радиатору, который отводит тепловую нагрузку. Используя контур, работающий на теплой воде, центр обработки данных теоретически может избежать использования механического охлаждения, такого как чиллеры или градирни. Это также означает, что разница температур между теплой водой и окружающим воздухом не настолько велика, чтобы пассивный радиатор мог ее разрядить, хотя Nvidia учитывает, что это может зависеть от географического положения. Например, в Аризоне, где летние температуры могут регулярно подниматься до трехзначных цифр, чиллеры по-прежнему будут необходимы.

Эта конструкция также включает в себя монолитные охлаждающие пластины, которые позволяют жидкости проходить не только через графические процессоры и центральные процессоры, но также через переключатели NVLink, оптические модули и шины питания, рассчитанные на постоянный ток 5000 ампер. Замкнутый контур предназначен для однократного заполнения, и Nvidia утверждает, что он будет действовать в течение всего срока службы объекта — безусловно, смелое заявление, которое может или не может облегчить опасения по поводу центров обработки данных и помех в водоснабжении.

Переход Nvidia на 100-процентное жидкостное охлаждение — это не только вопрос управления ресурсами, но и необходимость. Предыдущая платформа Grace Blackwell от Nvidia уже использовала жидкостное охлаждение для графических процессоров, но процессоры и другие компоненты использовали воздушное охлаждение. Архитектура Nvidia Vera Rubin выводит диапазон мощности на другой порядок: один графический процессор Rubin потребляет до 2300 Вт, что означает увеличение TDP на 64 процента по сравнению со старым графическим процессором GB300. Стойка Vera Rubin NVL72, состоящая из 72 графических процессоров Rubin и 36 процессоров Vera, а также другого аппаратного обеспечения стойки (переключателей, оптических модулей и т. д.), превышает 200 кВт – намного больше, чем может охлаждать воздух.

Центры обработки данных с градирнями используют примерно 2,6 миллиона галлонов воды на мегаватт в год, поэтому, хотя дизайн Nvidia, утверждающий, что воды почти нет, не следует принимать за чистую монету, его также не следует игнорировать. Но это только часть уравнения, поскольку потребление воды в центре обработки данных не отражает всей картины: проблема с водой, которую испытывает ИИ, выходит за пределы центра обработки данных и касается электростанции. По данным Геологической службы США, электростанции, работающие на ископаемом топливе, потребляют около 2,7 миллиардов галлонов воды в день. По оценкам Международного энергетического агентства (МЭА), угольные и газовые электростанции будут обеспечивать 40% растущего спроса на электроэнергию в центрах обработки данных до 2030 года.

Это означает, что на улице из центров обработки данных используется много воды, которую эти центры обработки данных обычно не учитывают в своем водном следе. Многие оценки, которые пытаются количественно определить, сколько воды использует ИИ, также обычно не учитывают выработку электроэнергии. Полностью жидкостное охлаждение Nvidia может снизить потребление воды на уровне объекта, но за пределами центра обработки данных еще предстоит проделать большую работу.