Google DeepMind lance le Projet Génie pour des mondes interactifs générés par IA

Google DeepMind a dévoilé le Projet Génie, un outil d'IA qui permet aux utilisateurs de créer et d'explorer des mondes de jeu interactifs en utilisant des descriptions textuelles ou des images. À partir de jeudi, les abonnés Google AI Ultra aux États-Unis peuvent accéder à ce prototype de recherche expérimental, qui combine le dernier modèle de monde de DeepMind, Genie 3, avec le modèle de génération d'images Nano Banana Pro et le système Gemini.

Cette initiative fait suite à l'aperçu de recherche de Genie 3 il y a cinq mois et vise à recueillir les retours des utilisateurs ainsi que des données d'entraînement pour faire progresser le développement des modèles de monde. Les modèles de monde sont des systèmes d'IA qui génèrent des représentations internes d'environnements, permettant de prédire des résultats futurs et de planifier des actions. DeepMind considère ces modèles comme des étapes cruciales vers l'intelligence artificielle générale (IAG) et envisage des applications dans les jeux vidéo, le divertissement et la formation en robotique.

Le lancement du Projet Génie coïncide avec une activité accrue dans le développement des modèles de monde. World Labs, dirigé par Fei-Fei Li, a récemment lancé son premier produit commercial, Marble, tandis que la startup de génération vidéo par IA Runway a introduit son propre modèle de monde. De plus, AMI Labs, fondé par l'ancien scientifique en chef de Meta Yann LeCun, se concentre sur le développement de modèles de monde.

Shlomi Fruchter, directeur de recherche chez DeepMind, a exprimé son enthousiasme quant à l'accès élargi au Projet Génie, déclarant : « Je trouve excitant d'être dans une position où nous pouvons permettre à plus de personnes d'y accéder et de nous donner leur avis. »

DeepMind reconnaît le caractère expérimental du Projet Génie, notant que bien qu'il puisse générer des mondes jouables, les résultats peuvent varier. Les utilisateurs commencent par fournir des descriptions textuelles de l'environnement et du personnage principal, que Nano Banana Pro utilise pour créer une image. Cette image sert de base à Genie pour générer un monde interactif. Les utilisateurs peuvent modifier l'image avant la génération du monde et peuvent également utiliser des photos réelles comme base, bien que les résultats puissent être incohérents.

Une fois le monde généré, les utilisateurs peuvent l'explorer en vue à la première ou à la troisième personne, remixer des mondes existants ou explorer des mondes sélectionnés dans la galerie. Actuellement, DeepMind limite la génération et la navigation dans les mondes à 60 secondes en raison de contraintes budgétaires et informatiques. Fruchter a expliqué : « La raison pour laquelle nous limitons à 60 secondes est que nous voulions le rendre accessible à plus d'utilisateurs. En gros, quand vous l'utilisez, il y a une puce quelque part qui vous est uniquement dédiée et qui est affectée à votre session. »

Il a ajouté que prolonger la durée diminuerait la valeur incrémentale des tests, notant : « Les environnements sont intéressants, mais à un certain point, en raison de leur niveau d'interaction et du dynamisme de l'environnement qui est quelque peu limité. Cela reste une limitation que nous espérons améliorer. »

Lors des tests, le Projet Génie a bien fonctionné avec des descriptions artistiques, telles que les aquarelles ou les styles anime, mais a eu des difficultés avec des mondes photoréalistes ou cinématographiques, produisant souvent des résultats ressemblant à des jeux vidéo plutôt qu'à des environnements réels. L'utilisation de photos réelles comme base a également donné des résultats mitigés, générant parfois des environnements stériles et numériques.

L'interactivité est un autre domaine à améliorer. Les utilisateurs ont signalé des cas où les personnages traversaient les murs ou les objets. De plus, les contrôles de navigation étaient parfois non réactifs ou envoyaient les utilisateurs dans des directions non souhaitées.

Fruchter a reconnu ces défauts, soulignant que le Projet Génie est un prototype expérimental. Il a déclaré que l'équipe vise à améliorer le réalisme et les capacités d'interaction, notamment en donnant aux utilisateurs plus de contrôle sur les actions et les environnements.

« Nous ne considérons pas [le Projet Génie] comme un produit fini auquel les gens peuvent revenir tous les jours, mais nous pensons qu'il offre déjà un aperçu de quelque chose d'intéressant et d'unique qui ne peut pas être réalisé autrement », a déclaré Fruchter.

Alors que le Projet Génie continue d'évoluer, DeepMind prévoit de résoudre ces limitations et d'élargir l'accès à davantage d'utilisateurs, dans le but de perfectionner l'outil en fonction des retours des utilisateurs et des recherches complémentaires.