Ажиотаж вокруг чат-бота ChatGPT и других генеративных нейросетей не остался без внимания со стороны Nvidia. Специально для запуска больших языковых моделей, вроде семейства GPT от компании OpenAI, «зелёный» чипмйкер подготовил ускоритель H100 NVL. Это сдвоенная модификация H100 с увеличенным объёмом и пропускной способностью памяти.
Ускоритель Nvidia H100 NVL фактически представляет собой две карты расширения PCI Express 5.0 x16, объединённые с помощью интерфейса NVLink (600 Гбайт/с). В сервере такое устройство займёт четыре слота. Каждая из половинок выполнена на 4-нм процессоре GH100, характеризуется максимальным TDP 350-400 Вт и обеспечивает вычислительную мощность уровня SXM-версии H100.
Процессор Nvidia GH100
Впрочем, главная «фишка» ускорителя кроется в подсистеме памяти. В новом варианте процессора GH100 активно шесть стеков многослойной памяти HBM3, тогда как выпущенные ранее версии были ограничены пятью. Это не только увеличило объём буфера, но и повысило его пропускную способность. Спецификации ускорителя Nvidia H100 NVL, а также модификаций SXM и PCIe, собраны в таблице.
Релиз Nvidia H100 NVL запланирован на вторую половину этого года. Относительно цены устройства информации не поступало.