Вычисления искусственного интеллекта зависят не только от потенциала вычислительного чипа, но и от памяти. Сейчас память HBM является основной для специализированных GPU, но разные технологические компании ищут альтернативные варианты. Над таким вариантом работает компания d‑Matrix — ее инженеры разрабатывают особую память с технологией 3DIMC, которая будет в 10 раз быстрее и в 10 раз эффективнее HBM.
В модулях HBM высокая пропускная способность обеспечивается за счет объединения в стек нескольких слоев. Это лучшее производительнее решение для задач разного спектра. А d‑Matrix предлагает более специализированный вариант для вычислений ИИ, который объединит ячейки памяти с возможностью вычислений прямо в этом же модуле. Специалисты уже создали опытные образцы чипов d‑Matrix Pavehawk 3DIMC. Это кристаллы памяти LPDDR5 с установленными поверх чиплетами DIMC, которые подключенными через слой interposer. DIMC состоит из логических элементов, которые настроены на умножение матрицы на вектор – основной метод вычислений для моделей искусственного интеллекта на основе трансформации (transformer-based AI).
Память 3DIMC позволяет переосмыслить весь подход к вычислениям ИИ благодаря тесной интеграции памяти и вычислений. Такие трехмерные модули обеспечат повышенную пропускную способность, сократят задержки и повысят общую эффективность вычислительной системы. Опытные образцы Pavehawk доступны в лаборатории, а компания уже работает над прототипом следующего поколения 3DIMC Raptor, которое будет в 10 раз быстрее HBM в задачах вывода (инференс) и на 90% энергоэффективнее.
Пока это все опытные образцы. Но судя по всему, компания d‑Matrix настроена на то, чтобы довести разработку до этапа коммерческого внедрения.
Источник:
Tom’s Hardware