Компания NVIDIA в рамках своей презентации на выставке Computex 2023 представила сервис Avatar Cloud Engine (ACE) for Games, который позволит сделать умнее неигровых персонажей (NPC) в играх. Представленный сервис позволит разработчикам создавать собственные ИИ-модели, которые позволят генерировать для NPC более естественную речь, включая диалоги, а также движения.
Как отметила NVIDIA, разработчики промежуточного программного обеспечения, инструментов разработки и самих игр смогут использовать ACE for Games для создания и развертывания индивидуальных моделей ИИ для генерации речи, разговоров и анимации в своём программном обеспечении и играх.
«Генеративный ИИ способен произвести революцию в интерактивном взаимодействии игроков с игровыми персонажами и значительно повысить степень погружения в игру, — говорит Джон Спитцер (John Spitzer), вице-президент NVIDIA по технологиям для разработчиков. — Опираясь на нашу компетенцию в области ИИ и десятилетия опыта работы с разработчиками игр, NVIDIA возглавляет использование генеративного ИИ в играх».
Основываясь на NVIDIA Omniverse, сервис ACE for Games предоставляет оптимизированные базовые ИИ-модели для речи, разговора и анимации персонажей, включая:
- NVIDIA NeMo — для создания, настройки и развертывания языковых моделей на собственных наборах данных разработчиков. Большие языковые модели могут быть настроены в соответствии с историями и предысториями персонажей, а также обладают защитой от «контрпродуктивных или небезопасных» разговоров с помощью NeMo Guardrails.
- NVIDIA Riva — для автоматического распознавания речи и преобразования текста в речь. Эта модель позволяет вести в игре естественный разговор в реальном времени.
- NVIDIA Omniverse Audio2Face — для мгновенного создания выразительной лицевой анимации игрового персонажа под любую речевую дорожку. Audio2Face включает коннекторы Omniverse для Unreal Engine 5, так что разработчики могут добавлять лицевую анимацию непосредственно к персонажам MetaHuman.
Как отмечают в NVIDIA, разработчики могут интегрировать все решение NVIDIA ACE for Games или использовать только те компоненты, которые им необходимы.
NVIDIA сотрудничала со стартапом Convai, чтобы продемонстрировать, как разработчики скоро смогут использовать NVIDIA ACE for Games для создания NPC. Сфокусированная на разработке передового разговорного ИИ для виртуальных игровых миров Convai интегрировала модули ACE в свою сквозную платформу аватаров реального времени. В демо под названием Kairos игроки взаимодействуют с Джином, владельцем кафе. Хотя он является NPC, Джин отвечает на запросы на естественном языке реалистично и в соответствии с предысторией повествования — всё это с помощью генеративного ИИ.
Нейросети NVIDIA ACE for Games оптимизированы для различных потребностей, предлагают разные варианты по размеру, производительности и качеству. Сервис ACE for Games поможет разработчикам точно настроить модели для своих игр, а затем развертывать через облачные системы NVIDIA DGX или прямо на ПК с видеокартами GeForce RTX в режиме реального времени подведения итогов.
Наконец NVIDIA отметила, что разработчики игр и стартапы уже используют её технологии генеративного ИИ для своих рабочих процессов:
- GSC Game World внедряет Audio2Face в свою предстоящую игру S.T.A.L.K.E.R. 2 Heart of Chernobyl.
- Fallen Leaf, инди-разработчик игр, использует Audio2Face для лицевой анимации персонажей в Fort Solis, научно-фантастическом триллере от третьего лица, действие которого происходит на Марсе.
- Charisma.ai, компания, создающая виртуальных персонажей с помощью искусственного интеллекта, использует Audio2Face для анимации в своем разговорном движке.
