На конференции GDC представители Intel провели презентацию, которая посвящена технологии нейронного сжатия текстур Texture Set Neural Compression (TSNC). Аналогичную технологию несколько лет разрабатывает NVIDIA. Оба метода используют сжатие с помощью обученных нейронных сетей, что позволяет серьезно уменьшить использование памяти без потери в качестве текстур. Технология TSNC предлагает два варианта сжатия — метод A с 9‑кратным сжатием текстур и метод B с небольшим снижением качества и 18-кратным сжатием.
Технология TSNC выходит за рамки привычного блочного сжатия текстур, используя обученную нейросеть для кодирования данных, которые хранятся в дополнительной пирамиде признаков BC1. Потом данные восстанавливаются с помощью трехслойного MLP-декодера.
Декомпрессию можно осуществлять во время установки, во время загрузки, во время потоковой передачи или попиксельно во время выполнения. Это зависит от того, какова конечная цель — экономия места на диске, снижение пропускной способности или уменьшение использование видеопамяти.
Intel предлагает два варианта TSNC — качественный A для высокого качества и вариант B для более сильного сжатия. Согласно внутренним тестам, в сцене, где обычный блочный метод BC обеспечивал сжатие в 4,8 раз, алгоритмы TSNC A обеспечивали сжатие в 9 раз, а TSNC B сжимал данные почти в 18 раз.
Конечно, все это связано с некоторыми потерями и вероятностью небольших артефактов данных. В анализе восприятия с использованием инструмента FLIP от NVIDIA специалисты Intel оценили потерю восприятия примерно в 5% для варианта A и в 6–7% для варианта B. Сама Intel рассматривает вариант A как наиболее сбалансированный режим.
Источник:
Videocardz