Компания Google начала полноценные поставки и развертывание систем с новыми процессорами для искусственного интеллекта. Они ориентированы как на обучение масштабных моделей ИИ, так и на задачи логического вывода ИИ с низкой задержкой. Эти чипы будут использоваться в крупных масштабируемых серверных решениях.
Серверные модули сочетают процессоры Axion и специализированные чипы TPU Ironwood. Это единая серверная платформа, объединяющая вычислительные мощности, хранилище и сетевые коммуникации на одном уровне управления. TPU Ironwood — это уже седьмое поколение тензорных процессоров Google, которые были анонсированы еще весной текущего года. Пиковая производительность чипа Ironwood достигает 4614 TFLOPS в вычислениях FP8, он оснащен 192 ГБ памяти BM3E с пропускной способностью до 7,37 ТБ/с. Серверные системы Ironwood могут масштабироваться вплоть до объединения 9216 ускорителей в одну сеть, что позволит суммарно получить невероятную производительность в 42,5 экзафлопс. Высокоскоростное соединение модулей осуществляется через сеть Inter-Chip Interconnect со скоростью 9,6 Тбит/с, что позволяет получить общий объем памяти HBM3E до 1,77 ПБ.
Процессоры Axion основаны на архитектуре Armv9 и ориентированы на работу в сочетании с TPU для обработки данных и задач ИИ. Эти процессоры могут использоваться как для серверов искусственного интеллекта, так и серверов общего назначения. Сейчас Google предлагает три конфигурации этих CPU — C4A, N4A и C4A Metal. Старший вариант C4A Metal предлагает до 96 виртуальных ядер с поддержкой 768 ГБ памяти DDR5 и сетевого подключения 100 Гбит/с.
Новые серверные решения будут развернуты для внутренних нужд и облачной платформы Google Cloud. Недавно стало известно, что одним из крупных заказчиков облачных мощностей Google Cloud на базе TPU станет компания Anthropic, один из крупных игроков на рынке ИИ.
Источник:
Tom’s Hardware