На выставке Computex 2024 посетители стали свидетелями захватывающей демонстрации новейших достижений NVIDIA в области технологии цифровых людей, представленных через техно-демо и игровой демонстрации Covert Protocol. Это сотрудничество с Inworld AI использует мощь технологий NVIDIA ACE для создания реалистичных игровых персонажей, обладающих уникальными личностями, знаниями и отношениями. Игроки отправляются в детективное приключение, используя текстовые или голосовые команды для получения определенной информации от этих AI-генерированных персонажей.
Инновации в разработке игр
Демонстрация предоставила увлекательный взгляд на будущее разработки игр, все это благодаря высокопроизводительному GPU GeForce RTX 40 Series. Мой опыт включал извлечение критической информации от одного из персонажей путем прохождения серии шагов, похожих на головоломки, что подчеркивает потенциал этой технологии в улучшении вовлеченности игроков.
В преддверии дальнейших событий, NVIDIA готовится представить игровую версию этой технологии на Gamescom 2024, в предстоящей многопользовательской игре про мехов Mecha BREAK, разработанной Amazing Seasun Games. Эта игра работает на революционной модели малого языка NVIDIA Nemotron-4 4B NIM, которая обещает ускорить интеграцию цифровых людей в игровые процессы.
Цифровой персонаж в Mecha BREAK использует Audio2Face-3D NIM для динамической анимации лиц, все это обрабатывается на устройстве. Дополнительно, сторонние модели от Whisper обеспечивают распознавание речи, а Elevenlabs предоставляет реалистичный синтез голоса через облачную обработку. Этот сложный набор технологий позволяет игрокам взаимодействовать с механиком Мартелом, который предлагает советы по предстоящим миссиям, загрузкам мехов и настройкам.
Способность Мартела отвечать на голосовые команды и предлагать модификации улучшает игровой опыт, особенно для новичков, осваивающих обширные возможности настройки игры. Демонстрация цифрового человека будет доступна для исследования на выставочном стенде Gamescom, приглашая игроков лично взаимодействовать с этой инновационной функцией.
NVIDIA подчеркивает необходимость мощного оборудования для обеспечения производительности в реальном времени, так как компоненты AI требуют значительных вычислительных ресурсов. Однако интеграция облачных возможностей позволяет эффективно разгружать некоторые задачи обработки. Примечательно, что влияние на частоту кадров при использовании цифровых людей в Mecha BREAK минимально — около 5%, что сопоставимо с изменением качества текстур с низкого на высокое. Это впечатляющая производительность достигается на установке с GeForce RTX 4090, демонстрируя высокие возможности этой новой технологии в области ПК-гейминга.
Для тех, кто хочет узнать больше о Mecha BREAK, дополнительные детали можно найти на странице игры в Steam.