Корпорація NVIDIA вже деякий час пропонує розробникам набір інструментів на основі штучного інтелекту, покликаний полегшити створення відеоігор. Одним із них є ШІ-модель Audio2Face, яка використовується для генерації реалістичної лицьової анімації. Тепер «зелені» вирішили зробити цю технологію повністю відкритою, оприлюднивши вихідний код та відповідний SDK.
«NVIDIA відкриває вихідний код моделей Audio2Face та SDK, щоб кожен розробник ігор та 3D-застосунків міг створювати та впроваджувати високоякісних персонажів з найсучаснішими анімаціями, — розповідає компанія. — Ми також відкриваємо вихідний код навчальної платформи Audio2Face, щоб кожен міг налаштувати та адаптувати наші існуючі моделі під конкретні випадки використання».
Інструмент Audio2Face використовує штучний інтелект для створення реалістичної лицьової анімації на основі звукового введення. Він аналізує акустичні характеристики, на кшталт фонеми та інтонації, для генерації анімаційних даних міміки NPC. Що важливо, Audio2Face може використовуватися в режимі реального часу, наприклад, для створення інтерактивних ШІ-персонажів.
NVIDIA також не упустила можливості згадати розробників, які вже використовують інструмент Audio2Face у своїх проєктах. Серед них Convai, Codemasters, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs, UneeQ Digital Humans та українська GSC Games World. Вона, нагадаємо, використовувала Audio2Face під час роботи над шутером S.T.A.L.K.E.R. 2: Heart of Chornobyl.
Більше подробиць про Audio2Face наведено на сайті NVIDIA.