仅事实
新框架通过减轻视觉幻觉提升文本到图像检索效果
Summary
研究人员开发了扩散感知多视角对比学习（DMCL）框架，通过解决扩散模型引入的误导性视觉线索，提升了文本到图像的检索性能。
研究人员提出了扩散感知多视角对比学习（Diffusion-aware Multi-view Contrastive Learning，简称DMCL）框架，旨在通过减轻扩散过程中产生的视觉“幻觉”——即误导性线索，来增强扩散增强交互式文本到图像检索（Diffusion-Augmented Interactive Text-to-Image Retrieval，简称DAI-TIR）系统的性能。这些幻觉线索会降低检索的准确性。
该团队成员包括湖南大学的张卓成、格拉斯哥大学的梁康恒和保罗·亨德森，以及李冠轩、理查德·麦克雷迪和龙子俊。他们通过实验证明，这些幻觉线索显著降低了检索准确率。
DMCL通过优化查询意图和目标图像的表示，有效过滤掉这些误导信号。该框架引入了两个关键训练目标：多视角查询-目标对齐目标，强调跨视角共享线索并过滤不一致信息；文本-扩散一致性目标，增强文本与扩散查询之间的一致性，减少对不匹配和生成幻觉的敏感性。
注意力可视化和几何嵌入空间分析验证了模型识别并忽略无关视觉信息的能力。在五个标准基准测试中，DMCL持续提升了多轮检索准确率，最高较现有方法提升了7.37%。
作者指出，目前的实现采用了简单的加法融合方案进行查询整合，未来计划探索更复杂的融合技术。他们还发布了大规模的DAI-TIR训练数据集，以促进该领域的进一步研究。
事实核查
使用外部来源和数据库核实文章的事实。
!
Unverified
Researchers have introduced Diffusion-aware Multi-view Contrastive Learning (DMCL), a framework designed to enhance Diffusion-Augmented Interactive Text-to-Image Retrieval (DAI-TIR) systems by mitigating visual 'hallucinations'.
!
Unverified
The team, comprising Zhuocheng Zhang from Hunan University, Kangheng Liang and Paul Henderson from the University of Glasgow, along with Guanxuan Li, Richard Mccreadie, and Zijun Long, empirically demonstrated that these hallucinated cues significantly reduce retrieval accuracy.
!
Unverified
DMCL introduces two key training objectives: a Multi-View Query-Target Alignment objective and a Text-Diffusion Consistency objective.
!
Unverified
