Сейчас графические процессоры NVIDIA повсеместно используются для обучения и работы искусственного интеллекта. Это направление считается новым этапом технической революции. Однако когда-то даже сама NVIDIA не предполагала, что их графические устройства можно использовать под такие задачи. Глава компании Дженсен Хуанг на подкасте Джо Рогана рассказал, что все началось с двух видеокарт GeForce GTX 580 в режиме SLI, которые использовались для обучения нейросети в 2012 году.

Начало этому эксперименту положили исследователи из Университета Торонто, которые разрабатывали метод глубокого обучения для улучшенного распознавания изображений в системах компьютерного зрения. В 2011 году Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон искали новые эффективные способы создания инструментов под эти задачи. На тот момент современных нейронных сетей еще не существовало. Разработчики использовали отдельные алгоритмы для обнаружения краёв, углов и текстур для распознавания изображений. Трое исследователей создали AlexNet — архитектуру, состоящую из восьми слоёв, содержащую около 60 миллионов параметров. Она была способна к самостоятельному обучению, используя комбинацию сверточных и глубоких нейронных сетей. Архитектура была настолько хороша, что сразу превзошла лучший на тот момент алгоритм распознавания изображений более чем на 70%. Это сразу привлекло внимание к технологии.

Разработчики AlexNet построили свой алгоритм распознавания изображений на двух видеокартах GeForce GTX 580 (архитектура Fermi) с 3 ГБ видеопамяти, которые работали в режиме SLI. Сеть была оптимизирована для работы на двух графических процессорах, которые при необходимости обменивались информацией между собой. Благодаря этому GeForce GTX 580 стала первой видеокартой, которая использовалась для машинного обучения и ИИ. И произошло это в тот момент, когда NVIDIA не инвестировала в эту область. В то время почти все исследования и разработки компании были направлены на 3D-графику и развитие платформы CUDA, а GeForce GTX 580 была исключительно игровой видеокартой. Но оказалось, что высокая эффективность GPU в параллельных вычислениях проложила путь к развитию современных нейросетей.

После запуска AlexNet в NVIDIA осознали потенциал этого направления и начала вкладывать деньги в разработки для глубокого обучения. Это привело к появлению первого сервера NVIDIA DGX в 2016 году, который был отправлен Илону Маску. А в следующем году были представлены чипы на архитектуре Volta с тензорными ядрами, которые дали начало массовому внедрению GPU в вычисления для ИИ.

Источник:
Tom’s Hardware