Корпорация NVIDIA уже некоторое время предлагает разработчикам набор инструментов на основе искусственного интеллекта, призванный облегчить создание видеоигр. Одним из них является ИИ-модель Audio2Face, которая используется для генерации реалистичной лицевой анимации. Теперь «зелёные» решили сделать эту технологию полностью открытой, обнародовав исходный код и соответствующий SDK.
«NVIDIA открывает исходный код моделей Audio2Face и SDK, чтобы каждый разработчик игр и 3D-приложений мог создавать и использовать высококачественные персонажи с первоклассной анимацией, — рассказывает компания. — Мы также открываем исходный код учебной среды Audio2Face, чтобы любой мог настраивать и адаптировать наши существующие модели для конкретных случаев использования».
Инструмент Audio2Face использует искусственный интеллект для создания реалистичной лицевой анимации на основе звукового ввода. Он анализирует акустические характеристики, вроде фонемы и интонации, для генерации анимационных данных мимики NPC. Что важно, Audio2Face может использоваться в режиме реального времени, например, для создания интерактивных ИИ-персонажей.
NVIDIA также не упустила возможности упомянуть разработчиков, которые уже используют инструмент Audio2Face в своих проектах. Среди них Convai, Codemasters, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs, UneeQ Digital Humans и украинская GSC Games World. Она, напомним, использовала Audio2Face при работе над шутером S.T.A.L.K.E.R. 2: Heart of Chornobyl.
Больше подробностей об Audio2Face приведено на сайте NVIDIA.