Nuevo Marco Mejora la Recuperación de Texto a Imagen al Mitigar Alucinaciones Visuales

Investigadores han presentado Diffusion-aware Multi-view Contrastive Learning (DMCL), un marco diseñado para mejorar los sistemas de Recuperación Interactiva de Texto a Imagen Aumentada por Difusión (DAI-TIR) al mitigar las 'alucinaciones' visuales, es decir, señales engañosas generadas durante el proceso de difusión que pueden degradar el rendimiento de la recuperación.

El equipo, compuesto por Zhuocheng Zhang de la Universidad de Hunan, Kangheng Liang y Paul Henderson de la Universidad de Glasgow, junto con Guanxuan Li, Richard Mccreadie y Zijun Long, demostraron empíricamente que estas señales alucinadas reducen significativamente la precisión en la recuperación.

DMCL aborda este problema optimizando las representaciones tanto de la intención de la consulta como de las imágenes objetivo, filtrando efectivamente estas señales engañosas. El marco introduce dos objetivos clave de entrenamiento: un objetivo de Alineación Multi-Vista Consulta-Objetivo, que enfatiza las señales compartidas entre vistas mientras filtra las inconsistencias, y un objetivo de Consistencia Texto-Difusión, que mejora el acuerdo entre las consultas de texto y difusión, reduciendo la sensibilidad a desajustes y alucinaciones generativas.

La visualización de atención y los análisis del espacio de incrustación geométrica corroboran la capacidad del modelo para discernir y descartar información visual irrelevante. En cinco benchmarks estándar, DMCL mejoró consistentemente la precisión en recuperación de múltiples rondas, logrando aumentos de hasta un 7.37% sobre métodos existentes.

Los autores reconocen que su implementación actual utiliza un esquema simple de fusión aditiva para la integración de consultas y planean explorar técnicas de fusión más sofisticadas en investigaciones futuras. También han liberado un conjunto de datos de entrenamiento DAI-TIR a gran escala para facilitar una mayor investigación en esta área.