No attēlu analīzes līdz daudzveidīgai mācīšanās: saruna ar AI pētnieci Aishwarya Agrawal
Mākslīgais intelekts nepārtraukti attīstās, un tā robežas kļūst arvien neskaidrākas. Viena no aizraujošākajām pārejām pēdējos gados ir pāreja no vienas modalitātes (piemēram, tikai teksta vai tikai attēla) izpratnes uz daudzveidīgu (multimodālu) mācīšanos, kur sistēmas apvieno informāciju no dažādiem avotiem. Par šo ceļu un nākotnes perspektīvām ACM SIGAI žurnāla “AI Matters” jaunākajā numurā ar pētnieci Aishwarya Agrawal sarunājās Ella Skallana. Aishwarya ir izcila pētniece, kuras darbs vizuālajā jautājumu atbildēšanas jomā ir ieguvis atzinību, tostarp Goda pieminējumu 2019. gada AAAI / ACM SIGAI doktora disertācijas konkursā.
Kas ir vizuālā jautājumu atbildēšana un kāpēc tā ir svarīga?
Lai saprastu, kurp virzās lauks, ir svarīgi izprast, no kurienes tas nāk. Aishwarya Agrawal savu karjeru ir veltījusi tieši **vizuālās jautājumu atbildēšanas** (Visual Question Answering, VQA) tehnoloģiju attīstībai. Iedomājieties sistēmu, kurai jūs rādāt attēlu un uzdodat par to jautājumu dabiski valodā, piemēram: “Kāda krāsa ir auto, kas stāv garāmgājēju ietavā?” VQA sistēmas mērķis ir ne tikai atpazīt objektus attēlā, bet arī saprast jautājuma semantiku un sniegt precīzu atbildi.
Šī ir milzīga izaicinājuma, jo tas prasa no modeļa vienlaicīgu **datorredzes** un **dabiskās valodas apstrādes** izpratni. Agrawal pētījumi ir palīdzējuši padziļināt izpratni par to, kā modeļi mācās saistīt vizuālos pavedienus ar verbālajiem, kas ir pamatakmens jebkurai sarežģītākai daudzveidīgai AI sistēmai. Tās darbs ir parādījis, ka veiksmīgai VQA nepieciešama ne tikai objektu atpazīšana, bet arī attiecību, darbību un konteksta izpratne.
Pāreja uz daudzveidīgu mācīšanos: nākamais liels solis
No VQA pamatiem Aishwarya Agrawal skatījums virzās uz plašāku horizontu – **multimodālo mācīšanos**. Šajā kontekstā “modāls” nozīmē informācijas veidu: teksta, attēla, audio, video, sensora dati u.c. Nākotnes AI sistēmas, tā uzskata, nedarbosies izolēti ar vienu datu veidu. Tā vietā tās lietosim ikdienā – sistēma, kas vienlaikus analizē video ierakstu, audio komentārus un rakstisku aprakstu, lai, piemēram, radītu satura kopsavilkumu vai atrastu specifisku informāciju.
“Pasauli mēs uztveram daudzveidīgi,” varētu teikt Agrawal. “Mēs redzam, dzirdam, sajūtam un runājam vienlaikus. Lai radītu patiesi inteliģentas sistēmas, kas sadarbojas ar cilvēkiem dabiskā veidā, mums ir jāattīsta modeļi, kas spēj integrēt un saprast šos daudzos signālus.” Šī pāreja no vienas modalitātes uz vairākām atver iespējas daudzās jomās: no personalizētas izglītības un medicīnas diagnostikas līdz sarežģītākiem robotiem un satura radīšanas rīkiem.
Kas aizrauj Aishwarya Agrawal nākotnes AI izredzēs?
Sarunā ar “AI Matters” Agrawal izteica entuziasmu par vairākiem perspektīviem virzieniem. Viens no tiem ir **pamatotu skaidrojumu** attīstība. Ne tikai gala atbilde vai prognoze ir svarīga, bet arī tas, kā sistēma pie tās nonāca. Multimodāliem modeļiem būs jāspēj skaidrot savu spriedumu, pamatojoties uz konkrētiem vizuāliem elementiem, vārdiem vai skaņām. Tas veicinās uzticēšanos un atvērs iespējas atkļūdot pašus modeļus.
Otrs liels aizraujums ir **pārnēsājamā mācīšanās** starp modalitātēm. Vai zināšanas, kas iegūtas, analizējot milzīgus video materiālus, var palīdzēt labāk saprast tikai audio ierakstu? Šāda zināšanu pārnešana varētu ievērojami paātrināt modeļu apmācību jaunos uzdevumos un samazināt nepieciešamību pēc milzīgiem marķētiem datiem katram atsevišķam uzdevumam.
Padomi tiem, kas tikai sāk karjeru AI pētniecībā
Kā pētniece, kuras darbs jau ir atzīts, Aishwarya Agrawal dalījās arī ar vērtīgiem ieteikumiem jaunajiem pētniekiem. Viņa uzsver:
1. **Sekojiet līdzi zinātkārei.** Izvēlieties pētījumu jomas, kas jūs patiešām aizrauj, nevis tikai tās, kas šobrīd ir “modē”. Ilgtermiņā iekšējā motivācija ir vissvarīgākā.
2. **Nebaidieties no starpdisciplināra darba.** AI attīstība notiek tieši robežās – datorzinātnes, psiholoģijas, lingvistikas, mākslas. Sadarbība ar speciālistiem no citām jomām var radīt pārrāvumu idejas.
3. **Būvējiet uz pamatiem.** Izprotiet savas jomas pamatus un klasiskos darbus, pirms ķeraties pie jaunākajiem, sarežģītākajiem modeļiem. Stabila teorētiska pamata izpratne palīdzēs novērtēt patiesos sasniegumus.
4. **Dalieties ar neveiksmēm.** Pētniecībā ne viss izdodas no pirmā reizes. Svarīgi ir runāt par izaicinājumiem un neveiksmēm kopienā, jo tas veicina kolektīvo mācīšanos.
Nākotnes aina: AI, kas saprot pasauli kā cilvēks
Aishwarya Agrawal darba nozīme ir tāla no tīri akadēmiskas. Pāreja no VQA uz daudzveidīgu mācīšanos ir būtisks solis pret mērķi radīt mākslīgo intelektu, kas spēj saprast mūsu pasauli tās visā bagātībā un neskaidrībā. Nākotnē mēs varētu saskarties ar AI palīgiem, kas spēj ne tikai atbildēt uz jautājumiem par attēlu, bet arī, piemēram, skatīties filmu kopā ar jums un diskutēt par tās sižeta niansēm, vai analizēt medicīnisko attēlu kompleksu, vienlaikus klausoties ārsta mutisko novērojumu ierakstu.
Kā norāda intervija “AI Matters”, šis lauks ir pilns ar iespējām, un pētnieki kā Aishwarya Agrawal ir tie, kas liek pamatus nākotnes tehnoloģijām, kas mainīs mūsu mijiedarbību ar informāciju un pat ar pasauli apkārt. Viņas ceļš no vizuālās jautājumu atbildēšanas pie daudzveidīgām sistēmām ir spilgts piemērs tam, kā specializēti pētījumi atver ceļu plašām, pārveidojošām inovācijām.