Google DeepMind представляет миро-модель Genie 4 с аудио и редактированием в реальном времени

Google DeepMind выпустила Genie 4, свою новейшую миро-модель, в виде исследовательской превью во вторник. Модель может генерировать аудио, соответствующее визуальной симуляции, включая музыку, фоновые звуки и интерактивные диалоги, а также позволяет пользователям изменять сцену с помощью текстовых подсказок во время её выполнения. Она поддерживает правки, такие как изменение погоды, угла камеры или добавление объектов и персонажей, и может поддерживать согласованную сцену до двух минут, вдвое дольше, чем её предшественник Genie 3.

Новая модель тесно связана с Gemini AI от Google, которая планирует действия и проверяет кадры, пока Genie создаёт визуальные элементы. В связанном эксперименте модель Gemini 4 Argon разбивала задачи на шаги, которые Genie 4 симулировала в реальном времени, демонстрируя потенциальный рабочий процесс тестирования сценариев роботов в виртуальных средах.

"В будущем мы всё чаще будем видеть гибридные миро-модели, где сочетание Gemini, пишущего код и текст, и Genie, воспринимающего это в реальном времени и симулирующего реальность на разных уровнях абстракции," — сказал Тейяс Кулкарни, директор исследований в Google, во время брифинга.

Google подчеркнула возможные применения в играх, интерактивном обучении и робототехнике, а также отметил, что первые тестировщики исследуют использование модели для прототипирования фильмов.

"Аспект реального времени становится особенно ценным в областях, где поддержание состояния потока в творческом пространстве оказывается чрезвычайно полезным," — сказал Диего Ривас, инженер Google DeepMind. Он привёл в пример генерацию идей и раскадровку как примеры, где быстрая симуляция может помочь создателям.

Google также упомянула свой инструмент Veo для генерации видео, который создаёт высококачественные клипы с синхронным аудио из текстовых, изображений или видеоподсказок, и отметил будущую мультимодальную модель Gemini Omni, способную генерировать видео из комбинированных входных данных. Однако команда признала, что Genie 4 остаётся экспериментальной, с проблемами, такими как дрейф деталей при более длительных запусках и обеспечение точного аудио и разборчивого текста внутри сцены.