Настольный суперкомпьютер DGX Spark, который NVIDIA изначально планировала выпустить ещё весной, недавно начал поступать к первым владельцам. Во время анонса «зелёные» обещали впечатляющую для такого форм-фактора вычислительную мощность, но первые владельцы отмечают несоответствие заявленным характеристикам. Среди них небезызвестный Джон Кармак (John Carmack), который поделился своими впечатлениями в социальной сети X.
«Похоже, что DGX Spark максимально потребляет всего 100 Вт, что составляет менее половины номинальной мощности 240 Вт, и, судя по всему, обеспечивает только около половины заявленной производительности (при условии, что 1 PF sparse FP4 = 125 TF dense BF16), — рассказывает г‑н Кармак. — Даже при таком уровне он сильно нагревается, и я видел сообщение о самопроизвольной перезагрузке при длительной работе. Так что, его мощность была снижена перед релизом?»
Схожими наблюдениями также поделился ведущий разработчик фреймворка Apple MLX. Ему удалось получить 60 Тфлопс в вычислениях BF16, что существенно ниже ожидаемого показателя. Сама NVIDIA эту ситуацию ещё никак не прокомментировала, но возможное объяснение уже предоставили зарубежные коллеги.
Скорее всего, заявленная производительность до 1000 TOPS в вычислениях FP4 указана с учётом структурной разреженности. Эта аппаратная функция пропускает операции с нулевыми значениями в нейронных сетях, эффективно удваивая пиковую скорость вычислений, однако требует дополнительных оптимизаций. В обычных операциях фактическая производительность составляет примерно половину, что соответствует результатам вышеуказанных тестов.
Источник:
VideoCardz