FactsLane: Նոր շրջանակը բարելավում է տեքստից պատկերի որոնումը՝ նվազեցնելով տեսողական հալյուցինացիաները

Տեխնո

Հունվար 30, 2026

Summary

Հետազոտողները մշակել են Diffusion-aware Multi-view Contrastive Learning (DMCL) շրջանակ, որը բարելավում է տեքստից պատկերի որոնումը՝ լուծելով դիֆուզիոն մոդելների կողմից առաջացած մոլորեցնող տեսողական ազդակները։

Հետազոտողները ներկայացրել են Diffusion-aware Multi-view Contrastive Learning (DMCL) շրջանակը, որը նախատեսված է բարելավելու Diffusion-Augmented Interactive Text-to-Image Retrieval (DAI-TIR) համակարգերը՝ նվազեցնելով տեսողական «հալյուցինացիաները»՝ դիֆուզիոն գործընթացի ընթացքում առաջացող մոլորեցնող ազդակները, որոնք կարող են վատացնել որոնման արդյունավետությունը։

Թիմը, որի կազմում են Հունան համալսարանի Zhuocheng Zhang-ը, Գլազգոյի համալսարանի Kangheng Liang-ը և Paul Henderson-ը, ինչպես նաև Guanxuan Li-ն, Richard Mccreadie-ն և Zijun Long-ը, փորձարկումներով ապացուցել են, որ այս հալյուցինացված ազդակները զգալիորեն նվազեցնում են որոնման ճշգրտությունը։

DMCL-ն այս խնդիրը լուծում է՝ օպտիմալացնելով ինչպես հարցի մտադրության, այնպես էլ նպատակային պատկերների ներկայացումները, արդյունավետորեն զտելով մոլորեցնող ազդակները։ Շրջանակը ներկայացնում է երկու հիմնական ուսուցման նպատակներ՝ բազմադիտակ հարց-նպատակ համաժամեցման նպատակ, որը ընդգծում է ընդհանուր ազդակները տարբեր դիտանկյուններից՝ զտելով անհամապատասխանությունները, և տեքստ-դիֆուզիոն համապատասխանության նպատակ, որը բարելավում է տեքստի և դիֆուզիոն հարցերի միջև համաձայնությունը՝ նվազեցնելով անհամապատասխանությունների և գեներատիվ հալյուցինացիաների զգայունությունը։

Ուշադրության վիզուալիզացիաները և երկրաչափական ներդրման տարածքի վերլուծությունները հաստատում են մոդելի ունակությունը տարբերակել և անտեսել անհամապատասխան տեսողական տեղեկատվությունը։ Հինգ ստանդարտ բենչմարկների շրջանակներում DMCL-ն շարունակաբար բարելավել է բազմափուլ որոնման ճշգրտությունը՝ հասնելով մինչև 7.37% աճի համեմատած առկա մեթոդների հետ։

Հեղինակները նշում են, որ ներկայիս իրագործումը օգտագործում է պարզ հավելման միաձուլման սխեմա հարցերի ինտեգրման համար և պլանավորում են հետազոտություններում ուսումնասիրել ավելի առաջադեմ միաձուլման տեխնիկաներ։ Նրանք նաև հրապարակել են մեծածավալ DAI-TIR ուսուցման տվյալների հավաքածու՝ այս ոլորտում հետագա ուսումնասիրությունների համար։

Աղբյուր

Quantum Zeitgeist

Փաստերի ստուգում

Հոդվածի փաստերը ստուգեք արտաքին աղբյուրների և տվյալների բազաների միջոցով։

!

Unverified

Researchers have introduced Diffusion-aware Multi-view Contrastive Learning (DMCL), a framework designed to enhance Diffusion-Augmented Interactive Text-to-Image Retrieval (DAI-TIR) systems by mitigating visual 'hallucinations'.

!

Unverified

The team, comprising Zhuocheng Zhang from Hunan University, Kangheng Liang and Paul Henderson from the University of Glasgow, along with Guanxuan Li, Richard Mccreadie, and Zijun Long, empirically demonstrated that these hallucinated cues significantly reduce retrieval accuracy.

!

Unverified

DMCL introduces two key training objectives: a Multi-View Query-Target Alignment objective and a Text-Diffusion Consistency objective.

!

Unverified

Նոր շրջանակը բարելավում է տեքստից պատկերի որոնումը՝ նվազեցնելով տեսողական հալյուցինացիաները

Աղբյուր

Փաստերի ստուգում

Researchers have introduced Diffusion-aware Multi-view Contrastive Learning (DMCL), a framework designed to enhance Diffusion-Augmented Interactive Text-to-Image Retrieval (DAI-TIR) systems by mitigating visual 'hallucinations'.

The team, comprising Zhuocheng Zhang from Hunan University, Kangheng Liang and Paul Henderson from the University of Glasgow, along with Guanxuan Li, Richard Mccreadie, and Zijun Long, empirically demonstrated that these hallucinated cues significantly reduce retrieval accuracy.

DMCL introduces two key training objectives: a Multi-View Query-Target Alignment objective and a Text-Diffusion Consistency objective.

Across five standard benchmarks, DMCL consistently improved multi-round retrieval accuracy, achieving gains of up to 7.37% over existing methods.

Keep reading — for free

Keep reading — for free

Աղբյուր

Փաստերի ստուգում

Researchers have introduced Diffusion-aware Multi-view Contrastive Learning (DMCL), a framework designed to enhance Diffusion-Augmented Interactive Text-to-Image Retrieval (DAI-TIR) systems by mitigating visual 'hallucinations'.

The team, comprising Zhuocheng Zhang from Hunan University, Kangheng Liang and Paul Henderson from the University of Glasgow, along with Guanxuan Li, Richard Mccreadie, and Zijun Long, empirically demonstrated that these hallucinated cues significantly reduce retrieval accuracy.

DMCL introduces two key training objectives: a Multi-View Query-Target Alignment objective and a Text-Diffusion Consistency objective.

Across five standard benchmarks, DMCL consistently improved multi-round retrieval accuracy, achieving gains of up to 7.37% over existing methods.

Keep reading — for free

Keep reading — for free

Մանիպուլյացիաների պատճառներ

Հեռացված էմոցիաներ

Քաղ. կողմն.

Հավաստիություն