Новая платформа улучшает поиск по тексту и изображению за счёт снижения визуальных галлюцинаций

Исследователи представили Diffusion-aware Multi-view Contrastive Learning (DMCL) — платформу, предназначенную для улучшения систем Diffusion-Augmented Interactive Text-to-Image Retrieval (DAI-TIR) путём снижения визуальных «галлюцинаций» — вводящих в заблуждение сигналов, возникающих в процессе диффузии, которые могут ухудшать качество поиска.

Команда, включающая Чжучэна Чжана из Университета Хунань, Канхэна Ляна и Пола Хендерсона из Университета Глазго, а также Гуансюаня Ли, Ричарда Маккриди и Цзюня Лонга, эмпирически доказала, что эти галлюцинированные сигналы значительно снижают точность поиска.

DMCL решает эту проблему, оптимизируя представления как запроса, так и целевых изображений, эффективно фильтруя вводящие в заблуждение сигналы. Платформа вводит две ключевые цели обучения: цель согласования многовидового запроса и цели, которая подчёркивает общие сигналы между видами и фильтрует несоответствия, а также цель согласованности текста и диффузии, которая улучшает согласованность между текстовыми и диффузионными запросами, снижая чувствительность к несоответствиям и генеративным галлюцинациям.

Визуализация внимания и анализ геометрического пространства встраивания подтверждают способность модели распознавать и игнорировать нерелевантную визуальную информацию. На пяти стандартных тестах DMCL стабильно улучшал точность многораундового поиска, достигая прироста до 7,37% по сравнению с существующими методами.

Авторы отмечают, что текущая реализация использует простую схему аддитивного объединения запросов и планируют в будущем исследовать более сложные методы слияния. Они также выпустили крупномасштабный обучающий набор данных DAI-TIR для дальнейших исследований в этой области.