Nouveau cadre améliorant la recherche texte-image en atténuant les hallucinations visuelles

Des chercheurs ont présenté Diffusion-aware Multi-view Contrastive Learning (DMCL), un cadre conçu pour améliorer les systèmes de recherche interactive texte-image augmentée par diffusion (DAI-TIR) en atténuant les « hallucinations » visuelles — des indices trompeurs générés lors du processus de diffusion pouvant dégrader les performances de recherche.

L'équipe, composée de Zhuocheng Zhang de l'Université de Hunan, Kangheng Liang et Paul Henderson de l'Université de Glasgow, ainsi que Guanxuan Li, Richard Mccreadie et Zijun Long, a démontré empiriquement que ces indices hallucinés réduisent significativement la précision de la recherche.

DMCL traite ce problème en optimisant les représentations à la fois de l'intention de la requête et des images cibles, filtrant efficacement ces signaux trompeurs. Le cadre introduit deux objectifs d'entraînement clés : un objectif d'alignement multi-vues requête-cible, qui met l'accent sur les indices partagés entre les vues tout en filtrant les incohérences, et un objectif de cohérence texte-diffusion, qui améliore l'accord entre les requêtes textuelles et de diffusion, réduisant la sensibilité aux discordances et aux hallucinations génératives.

La visualisation de l'attention et les analyses géométriques de l'espace d'embedding confirment la capacité du modèle à discerner et ignorer les informations visuelles non pertinentes. Sur cinq benchmarks standards, DMCL a constamment amélioré la précision des recherches multi-tours, atteignant des gains allant jusqu'à 7,37 % par rapport aux méthodes existantes.

Les auteurs reconnaissent que leur implémentation actuelle utilise un schéma de fusion additive simple pour l'intégration des requêtes et prévoient d'explorer des techniques de fusion plus sophistiquées dans leurs recherches futures. Ils ont également publié un jeu de données d'entraînement DAI-TIR à grande échelle pour faciliter les investigations ultérieures dans ce domaine.