Google DeepMind запускает Project Genie для создания интерактивных миров с помощью ИИ

Google DeepMind представила Project Genie — инструмент на базе искусственного интеллекта, который позволяет пользователям создавать и исследовать интерактивные игровые миры, используя текстовые подсказки или изображения. Начиная с четверга, подписчики Google AI Ultra в США получили доступ к этому экспериментальному исследовательскому прототипу, который объединяет последнюю модель мира DeepMind, Genie 3, с моделью генерации изображений Nano Banana Pro и системой Gemini.

Эта инициатива следует за предварительным исследовательским просмотром Genie 3 пять месяцев назад и направлена на сбор отзывов пользователей и данных для обучения с целью продвижения разработки моделей мира. Модели мира — это системы ИИ, которые создают внутренние представления окружающей среды, позволяя предсказывать будущие события и планировать действия. DeepMind рассматривает эти модели как важные шаги на пути к достижению искусственного общего интеллекта (AGI) и видит их применение в видеоиграх, развлечениях и обучении робототехнике.

Запуск Project Genie совпал с ростом активности в области разработки моделей мира. Недавно World Labs под руководством Фэй-Фэй Ли выпустила свой первый коммерческий продукт Marble, а стартап по генерации видео с ИИ Runway представил собственную модель мира. Кроме того, AMI Labs, основанная бывшим главным ученым Meta Янном Лекуном, сосредоточена на разработке моделей мира.

Шломи Фрухтер, директор по исследованиям в DeepMind, выразил энтузиазм по поводу расширенного доступа к Project Genie, заявив: «Я считаю захватывающим то, что теперь больше людей могут получить к нему доступ и дать нам обратную связь».

DeepMind признает экспериментальный характер Project Genie, отмечая, что хотя инструмент может создавать игровые миры, результаты могут варьироваться. Пользователи начинают с предоставления текстовых подсказок для окружения и главного персонажа, которые Nano Banana Pro использует для создания изображения. Это изображение служит основой для Genie при генерации интерактивного мира. Пользователи могут изменять изображение до генерации мира, а также использовать фотографии из реальной жизни в качестве базовых, хотя результаты могут быть непредсказуемыми.

После генерации мира пользователи могут исследовать его от первого или третьего лица, ремикшировать существующие миры или изучать отобранные миры в галерее. В настоящее время DeepMind ограничивает время генерации и навигации по миру 60 секундами из-за бюджетных и вычислительных ограничений. Фрухтер объяснил: «Причина ограничения в 60 секунд заключается в том, что мы хотели предоставить доступ большему числу пользователей. По сути, когда вы используете его, где-то есть чип, который выделен только вам и вашей сессии».

Он добавил, что увеличение времени снизит прирост ценности тестирования, отметив: «Миры интересны, но в какой-то момент из-за ограниченного уровня взаимодействия и динамичности среды возможности ограничены. Тем не менее, мы рассматриваем это как ограничение, которое надеемся улучшить».

В тестах Project Genie хорошо справлялся с художественными подсказками, такими как акварель или аниме-стили, но испытывал трудности с фотореалистичными или кинематографическими мирами, часто создавая результаты, похожие на видеоигры, а не на реальные локации. Использование реальных фотографий в качестве основы также давало смешанные результаты, иногда создавая стерильные, цифровые по виду окружения.

Интерактивность — еще одна область для улучшения. Пользователи сообщали о случаях, когда персонажи проходили сквозь стены или объекты. Кроме того, элементы управления навигацией иногда не реагировали или направляли пользователей в нежелательные направления.

Фрухтер признал эти недостатки, подчеркнув, что Project Genie — это экспериментальный прототип. Он заявил, что команда стремится повысить реалистичность и улучшить возможности взаимодействия, включая предоставление пользователям большего контроля над действиями и окружением.

«Мы не рассматриваем Project Genie как конечный продукт, к которому люди будут возвращаться каждый день, но уже сейчас виден проблеск чего-то интересного и уникального, что нельзя сделать иным способом», — сказал Фрухтер.

По мере развития Project Genie DeepMind планирует устранить эти ограничения и расширить доступ для большего числа пользователей, стремясь усовершенствовать инструмент на основе отзывов и дальнейших исследований.