नई फ्रेमवर्क ने विज़ुअल हैलुसिनेशन को कम करके टेक्स्ट-टू-इमेज रिट्रीवल को बेहतर बनाया

शोधकर्ताओं ने डिफ्यूजन-अवेयर मल्टी-व्यू कॉन्ट्रास्टिव लर्निंग (DMCL) पेश किया है, एक ऐसा फ्रेमवर्क जो डिफ्यूजन-ऑगमेंटेड इंटरैक्टिव टेक्स्ट-टू-इमेज रिट्रीवल (DAI-TIR) सिस्टम्स को बेहतर बनाने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क विज़ुअल 'हैलुसिनेशन' को कम करता है — डिफ्यूजन प्रक्रिया के दौरान उत्पन्न भ्रामक संकेत जो रिट्रीवल प्रदर्शन को प्रभावित कर सकते हैं।

इस टीम में हुनान विश्वविद्यालय के झुओचेंग झांग, यूनिवर्सिटी ऑफ ग्लासगो के कांगहेंग लियांग और पॉल हेंडरसन, साथ ही गुआनक्सुआन ली, रिचर्ड मैक्रीडी और ज़िजुन लॉन्ग शामिल हैं, जिन्होंने अनुभवजन्य रूप से दिखाया कि ये हैलुसिनेटेड संकेत रिट्रीवल की सटीकता को काफी कम कर देते हैं।

DMCL इस समस्या को क्वेरी इरादे और लक्ष्य छवियों दोनों के प्रतिनिधित्व को अनुकूलित करके संबोधित करता है, जिससे ये भ्रामक संकेत प्रभावी ढंग से फ़िल्टर हो जाते हैं। इस फ्रेमवर्क में दो मुख्य प्रशिक्षण उद्देश्य शामिल हैं: मल्टी-व्यू क्वेरी-टारगेट अलाइनमेंट उद्देश्य, जो विभिन्न दृश्यों में साझा संकेतों पर जोर देता है और असंगतियों को फ़िल्टर करता है; और टेक्स्ट-डिफ्यूजन कंसिस्टेंसी उद्देश्य, जो टेक्स्ट और डिफ्यूजन क्वेरीज के बीच सहमति बढ़ाता है, जिससे असंगतियों और जनरेटिव हैलुसिनेशन के प्रति संवेदनशीलता कम होती है।

अटेंशन विज़ुअलाइज़ेशन और ज्यामितीय एम्बेडिंग-स्थान विश्लेषण मॉडल की उस क्षमता की पुष्टि करते हैं जो अप्रासंगिक विज़ुअल जानकारी को पहचानकर नजरअंदाज कर सकता है। पांच मानक बेंचमार्क पर, DMCL ने लगातार मल्टी-राउंड रिट्रीवल सटीकता में सुधार किया, मौजूदा तरीकों की तुलना में 7.37% तक की वृद्धि हासिल की।

लेखकों ने स्वीकार किया है कि उनकी वर्तमान कार्यान्वयन में क्वेरी एकीकरण के लिए एक सरल योगात्मक फ्यूजन योजना का उपयोग किया गया है और वे भविष्य के शोध में अधिक परिष्कृत फ्यूजन तकनीकों का पता लगाने की योजना बना रहे हैं। उन्होंने इस क्षेत्र में आगे की जांच को सुविधाजनक बनाने के लिए एक बड़े पैमाने पर DAI-TIR प्रशिक्षण डेटासेट भी जारी किया है।