Компания NVIDIA хоть и остается лидером на рынке вычислительных решений для искусственного интеллекта, но многие другие технологические корпорации стремятся обеспечить себе определенную независимость благодаря собственным специализированным чипам. Есть такие чипы и у компании Amazon, которая на конференции re:Invent в Лас-Вегасе представила новое поколение чипов Trainium3. Это специализированные ASIC под внутренние потребности облачной платформы AWS и для некоторых сторонних клиентов.
Чип Trainium3 обеспечивает производительность 2,52 PetaFLOPS в формате вычислений FP8 при объеме встроенной памяти до 144 ГБ HBM3E с пропускной способностью 4,9 ТБ/с. Trainium3 поддерживает как «плотные» (dense), так и экспертно-параллельные топологии моделей ИИ, а также типы данных MXFP8 и MXFP4, что улучшает баланс между памятью и вычислительными ресурсами для задач реального времени, мультимодальных задач и задач с рассуждениями при длинном контексте. Чипы производится на базе техпроцесса TSMC N3 (3 нм).
Trainium3 доступны в составе серверных систем Amazon EC2 Trn3 UltraServer, которые поддерживают до 144 чипов на одном сервере с общей производительностью 362 PetaFLOPS. Серверы можно объединить в EC2 UltraClusters 3.0. Полностью укомплектованный UltraServer предлагает около 20,7 ТБ памяти HBM3E при общей пропускной способности памяти около 706 ТБ/с. NeuronSwitch-v1 обеспечивает высокую пропускную способность для обмена данными между чипами.
По заявлению производителя новое поколение систем с Trainium3 обеспечит рост производительности до 4,4 раз, пропускная способность памяти выше в 3,9 раз, а производительность на ватт примерно в 4 раза лучше Trainium2. Также заметно улучшены функции вывода и эффективность обработки токенов для сервисов Amazon.
Источник:
TechPowerUp