AI Halucināciju Izmantošana Attēlu Realisma Novērtēšanai

Pētnieki izmanto mākslīgo intelektu, lai novērtētu attēlu realitāti

Krievijas zinātnieki ir izstrādājuši jaunu metodi nereālu, ar mākslīgo intelektu (MI) radītu attēlu noteikšanai. Tā balstās nevis uz modeļu precizitātes uzlabošanu, bet gan uz to tendenci radīt maldīgas informācijas jeb “halucinācijas”.

Divu attēlu salīdzinājums no WHOOPS! datu kopas. Kreisajā pusē reāls attēls ar konsekventiem aprakstiem, bet labajā pusē neparasts attēls, kas izraisa modeļa kļūdas.

Kā darbojas metode

Pētnieki izmanto lielus vizuāli-verbālos modeļus (LVLM), lai ģenerētu vairākus vienkāršus apgalvojumus (“atomiskos faktus”) par attēlu. Pēc tam, izmantojot dabiskās valodas secināšanas (NLI) modeli, tiek analizētas pretrunas starp šiem apgalvojumiem.

Metodes darbības shēma.

Pētījumā tika izmantota WHOOPS! datu kopa, kas satur 500 sintētiskus attēlus un vairāk nekā 10 000 anotāciju. Šie attēli ir speciāli izveidoti, lai pārbaudītu MI modeļu spēju saprast un analizēt nereālas situācijas.

Piemēri no WHOOPS! datu kopas.

Rezultāti un nozīme

Metode parādīja līdzīgus vai pat labākus rezultātus salīdzinājumā ar speciāli apmācītiem modeļiem. Svarīgi, ka šo pieeju var īstenot ar atvērtā koda rīkiem, padarot to pieejamu plašākam lietotāju lokam.

Dažādu metožu veiktspējas salīdzinājums.

Pētnieki atzīst, ka šī metode ir atkarīga no pašreizējo valodu modeļu īpašībām radīt kļūdas. Tomēr šī pieeja piedāvā jaunu perspektīvu MI radītu attēlu novērtēšanā, pārvēršot modeļu vājās puses par stiprībām.

Pēdējoreiz atjaunināts 2025. gada 25. martā

https://www.unite.ai/