Intervija ar AAAI biedru Roberto Navigli: daudzvalodu dabiskās valodas apstrāde

Intervija ar Roberto Navigli

Katru gadu AAAI atzīst cilvēkus, kas ir veikuši nozīmīgu un ilgtspējīgu ieguldījumu mākslīgā intelekta jomā, ieceļot viņus par biedriem. Šajā intervijā mēs runājam ar Roberto Navigli no Sapienza universitātes Romā, kurš tika ievēlēts par biedru par “nozīmīgu ieguldījumu daudzvalodu dabiskās valodas apstrādē un plaši atzītu metožu izstrādi zināšanu resursu veidošanai, teksta nošķiršanai un semantiskai parsēšanai”. Uzzināsim par viņa karjeras ceļu, dažiem lielajiem pētniecības projektiem, kurus viņš vadījis, un kāpēc ir svarīgi sekot savam aizrautībam.

Vai varētu sākt ar īsu ievadu – kur strādājat un kāds ir jūsu pētniecības virziens?

Esmu profesors Sapienza universitātē Romā, Itālijā. Mans pētniecības virziens ir dabiskās valodas apstrāde (NLP). Es vienmēr esmu strādājis šajā jomā un vienmēr esmu interesējies par valodu kopumā un par to, kā datori var saprast valodu. Šī interese sākās vairāk nekā pirms 20 gadiem, ilgi pirms dziļā mācīšanās revolūcijas un tādu sistēmu kā ChatGPT plašās popularitātes, kad NLP bija daudz radošāks un pētnieki kā es koncentrējās uz “nozīmes nozīmi”.

Vai varētu pastāstīt par savu karjeras ceļu?

Es sāku kā pētnieks, un, tā kā pēc doktora grāda iegūšanas pievienošanās lielai tehnoloģiju kompānijai pirms 20 gadiem nebija tik acīmredzama izvēle, es izvēlējos akadēmisko karjeru. Pirms deviņiem gadiem, pēc liela Eiropas Pētniecības padomes (ERC) projekta panākumiem, mēs izveidojām universitātes atvasinājumu uzņēmumu Babelscape. Tagad es līdzsvaru abas lomas – akadēmiskā un uzņēmējdarbības: esmu gan profesors ar lielu grupu Sapienza (apmēram 20 cilvēki), gan zinātniskais direktors savā uzņēmumā, kur strādā tikpat daudz cilvēku. Papildus pētniecībai universitātē, mēs veicam arī pētniecību Babelscape, jo es vēlējos, lai uzņēmums būtu pētnieciski orientēts. Uzņēmumā ir vairāki doktori, un mums ir arī doktoranti, kuri veic industriālo doktorantūru uzņēmumā, vienlaikus iegūstot doktora grādu Sapienza. Tā ir abpusēji izdevīga attiecība, jo daudzi cilvēki strādā gan universitātē, gan uzņēmumā, vai vienā no šīm divām vietām, un apmainās ar zināšanām, prasmēm un idejām.

Man tas bija augšanas process – šī uzņēmuma izveide. Akadēmiskajā vidē mēs rakstām rakstus un veicam daudz pētniecības, eksperimentu un tamlīdzīgi, bet reti koncentrējamies uz to, lai šie pētniecības prototipi kļūtu par reāliem produktiem, kurus varētu izmantot lietotāji. Uzņēmumam, lai izdzīvotu, ir jārada sistēmas, kas darbojas. Šeit jūs redzat otru pusi – reālās lietojuma situācijas. Jūs saprotat, kāda ir plaisa starp jūsu super foršo pētniecības prototipu un reālo produktu. Uzņēmums arī nodrošina vēl vienu veidu, kā noturēt talantus Romā, palīdzot apkarot ievērojamu cilvēku migrāciju uz citām valstīm vai lielām tehnoloģiju kompānijām. Ja jums ir dziļo tehnoloģiju uzņēmums blakus universitātei ar daudz entuziasma un aizrautības, cilvēki būs priecīgi palikt savā mīļajā pilsētā.

Jūsu karjeras laikā esat iesaistījies tik daudzos interesantos projektos. Pāris, kas īpaši izceļas, ir BabelNet un Minerva. Vai varētu pastāstīt mazliet par BabelNet?

Esmu ļoti lepns ar BabelNet, jo tas bija sapņa piepildījums. Mēs sākām šo sapni ap 2009. gadu, un to finansēja Eiropas Pētniecības padome (ERC). Man tas bija liels notikums, jo ERC finansēja 1,3 miljonu eiro projektu, kad es biju ļoti jauns pētnieks. Itālijā tas ir diezgan neparasti – iespēja finansēt 10-15 cilvēku grupu no nulles, sākot tikai no ambiciozas idejas un diezgan laba CV.

Ideja bija izveidot milzīgu daudzvalodu zināšanu krātuvi, īpaši leksikālo zināšanu. Ar to es domāju būtībā vārdu nozīmju kodēšanu – ne tikai vārdiem, kurus atrodat vārdnīcā, bet arī vārdiem, kurus atrastu enciklopēdijā. BabelNet mērķis vienā teikumā ir pārvietot vārdnīcas un enciklopēdijas uz nākamo līmeni, apvienojot tās vienā valodā un starp valodām.

Ir daudz vārdnīcu vienā valodā vai dažādās valodās, un tās nerunā savā starpā, jo katrai vārdnīcai ir savs vārdu nozīmju kopums. Kad dodaties daudzvalodu virzienā, tas ir vēl sarežģītāk, jo nav obligāti viens pret vienu attiecības starp nozīmi vienā valodā un nozīmi citā valodā. Grūtības ir tādas, ka vienā valodā ir vairākas vārdnīcas, un vairākās valodās ir vēl vairāk vārdnīcu, un tas, ko es gribēju darīt, bija savienot visas šīs vārdnīcas un izveidot vienotu. Es vēlējos to izdarīt skaitļošanas ceļā, lai to varētu izmantot kā daudzvalodu nozīmju inventāru datorsistēmai. Daudzvalodu nozīme, ka koncepts būtu neatkarīgs no valodas. Ideja bija izveidot konceptu tīklu, līdzīgi semantiskam tīklam vai tam, ko mēs šodien saucam par zināšanu grafu. Katrs koncepts ir saistīts ar visiem vārdiem, kas dažādās valodās tiek izmantoti, lai izteiktu šo konceptu. Tad koncepts ir savienots ar citiem konceptiem caur attiecībām.

Otrā BabelNet puse ir enciklopēdiskā daļa. Tas nav tikai vārdnīcas, bet arī enciklopēdisks saturs, piemēram, saturs par labi zināmām personām, vietām, organizācijām, albumiem utt., kaut ko, ko šodien atrastu Vikipēdijā.

Mēs apvienojām nozīmes no dažādām vārdnīcām (un tām bija jābūt atvērtām vārdnīcām, jo mēs vēlamies atvērtu resursu). Mēs sākām no WordNet, kas ir populārākā angļu valodas skaitļošanas leksikona, un jau ir organizēta grafa formā, un tad mēs izskatījām Vikipēdiju kā enciklopēdisko līdzinieku. Par laimi, Vikipēdijā ir arī ieraksti, kas ir iekļauti vārdnīcās, kas palīdz izveidot savienojumu starp abiem, ja kāds izstrādā – kā mēs to izdarījām – efektīvu algoritmu, kas precīzi apvieno tos ierakstus no abiem resursiem, kas atspoguļo vienas un tās pašas nozīmes. Apvienotā ierakstā ir gan atsauce uz Vikipēdijas lapu, gan atsauce uz WordNet un visiem citiem resursiem, kurus mēs integrējām (piemēram, Wiktionary un Wikidata). Un šīs rezultātā jums ir vienots grafs, kurā ir miljoniem konceptu un nosaukumu entītiju, kas ir savstarpēji savienotas. Un tas ir izdarīts simtos valodu. Mēs sākām 2010. gadā, un tagad, pēc 15 gadiem, mums ir 600 valodas, 23 miljoni konceptu un entītiju, un milzīgs tulkojumu, attiecību u.c. daudzums. Tas ir milzīgs zināšanu resurss, kas darbojas kā daudzvalodu nozīmes atsauce uzdevumos, kur ir svarīga teksta piesiešana pie nozīmes, piemēram, vārdu nozīmju nošķiršana, entītiju saistīšana un semantiskā indeksēšana.

Kaut kas, kas man vienmēr ir ļoti interesējis, ir vārdu nozīmju nošķiršana. Domājot par mašīnu izmantošanu tulkošanai, jums ir jāsaprot katra vārda nozīme, jo citādi jūs nevarat izvēlēties pareizo tulkojumu mērķa valodā. Ar BabelNet mana ideja bija izveidot valodai neatkarīgu inventāru, kas nozīmē, ka koncepts nav atkarīgs no valodas. Kad es saistu šo konceptu ar vārdu kontekstā, šis koncepts nav atkarīgs no formas un valodas, ar kuru šis koncepts tika izteikts.

Tātad, ar BabelNet mana komanda un es strādājām pie vārdu nozīmju nošķiršanas dažādās valodās. Tālāk es vēlējos izveidot valodai neatkarīgu attēlojumu visam teikumam. Par laimi, mans otrais pieteikums ERC tika pieņemts. Ar šo nākamo projektu mums bija ideja attēlot katru teikumu kā mazu BabelNet konceptu un entītiju grafiku, ko teikums savieno. Tas bija daudz grūtāk, un mēs joprojām pie tā strādājam. Tas ir kaut kas, kas ir bijis viens no AI sapņiem daudzus, daudzus gadus, un tas noteikti joprojām ir grūts izaicinājums. Strādāt pie strukturētiem veselu teikumu nozīmju attēlojumiem ir atšķirīgi: piemēram, ja man ir pieci teikumi piecās dažādās valodās, kas izsaka tieši tādu pašu nozīmi, tieši tādu pašu konceptu, tikai tulkojumi viens otram, mēs vēlamies radīt vienu attēlojumu, kas ir neatkarīgs no valodas šiem pieciem teikumiem. Tāda ir ideja.

BabelNet laikā manas idejas un manas komandas sasniegumi bija ļoti nozīmīgi, jo ne daudz pētnieki pētīja daudzvalodību lielā mērogā. Šodien tas ir pašsaprotami, ka liela valodas modelis atbalstīs vairākas valodas, bet 2010. gadā tas nebija nemaz tik acīmredzami. Tāpēc resursa, kas piedāvāja valodai neatkarīgu nozīmju inventāru, izveide bija liels sasniegums. Mēs patiešām saņēmām daudz intereses par BabelNet no daudzām kompānijām un publiskām iestādēm, tostarp no ES Intelektuālā īpašuma biroja (EUIPO) un Adobe. Tad sākās mūsu atvasinājums Babelscape.

Vai lielo valodu modeļu (LLM) parādīšanās noveda pie jauniem attīstības virzieniem, piemēram, Minerva projektam? Kāds ir šī pētījuma mērķis?

Kad parādījās ChatGPT, mēs sapratām, ka Itālijā (un arī citās valstīs) ir jāaizpilda plaisa, kur akadēmiskās zināšanas par to, kā šīs sistēmas darbojas, pastāvēja, bet trūka praktiskas ieviešanas. Liela projekta, ko sauc par Nākotnes mākslīgā intelekta pētījumiem (FAIR), kuru finansēja Nākamās paaudzes ES programma, ietvaros mēs varējām sākt Minerva LLM projektu ar vairāk nekā vienu mērķi.

Mūsu pirmais mērķis bija izveidot zināšanas, koncentrējoties uz inženiertehnisko vingrinājumu. Otrais mērķis bija izveidot modeli, kas ir iepriekš apmācīts no nulles, ne tikai angļu valodā, bet arī itāļu valodā. Daudzi modeļi, kad mēs sākām projektu, un mēs runājam par 2023. gadu, sākotnēji tika apmācīti angļu valodā, bet ne itāļu valodā, un tikai pēc tam pielāgoti itāļu valodai. Tā vietā mēs vēlējāmies redzēt itāļu valodas kā pirmās sākotnējās valodas ietekmi. Trešais mērķis bija padarīt projektu pilnībā atvērtā pirmkoda, lai modelis spēlētu “dzīva projekta” lomu, kuram cilvēki varētu dot ieguldījumu, kā arī pārredzamāku pieeju salīdzinājumā ar galvenajiem atvērtā piekļuves modeļiem. Projekts mums deva visas nepieciešamās zināšanas, lai dotos uz nākamo līmeni: Kā mēs varam doties tālāk par pašreizējo NLP robežu? Un tas ir tas, ko mēs tagad sākam darīt, ņemot vērā, ka mums vajadzēja gadu, lai izveidotu vidēja lieluma modeli. Ņemot vērā mūsu budžetu, mēs, protams, nevarējām iet tik lielu kā GPT-4 vai DeepSeek. Bet es nedomāju, ka tā ir problēma, jo svarīgs pētniecības virziens, ko mēs risinām, ir tas, kā samazināt šo modeļu izmēru. Pašreizējie lielie valodu modeļi ir vienkārši pārāk lieli; tie, kurus mēs izmantojam katru dienu, prasa tik lielu enerģijas un ūdens daudzumu, ka tas nav ilgtspējīgi: mums absolūti jāizpēta veidi, kā izstrādāt mazākus modeļus un, iespējams, pieņemt jaunas, efektīvākas pieejas, nemaz nerunājot par to ierobežojumiem veselā saprāta un spriešanas jomā.

Minerva mums ir devusi arī lielāku redzamību un atzinību valsts līmenī. Tas ir ironiski, jo pirms Minerva man bija liela redzamība ārzemēs, bet daudz mazāk Itālijā. Caur šo projektu mēs ne tikai ieguvām atzinību Itālijā, bet arī piesaistījām gan iestāžu, gan plašās sabiedrības uzmanību. Tagad es pat satieku cilvēkus uz ielas, kuri mani atpazīst kā Minerva projekta vadītāju!

Kāda ir saikne starp darbu, ko veicāt pirms Minerva, un Minerva projektu?

Darbs, ko es veicu iepriekš, bija vērsts uz semantiku: kādas ir vārda vai teikuma nozīmes, un kā mēs varam padarīt šīs nozīmes skaidras ar datoru? Tagad mums ir lieli valodu modeļi, kuriem nav nozīmes padarīt šo nozīmi skaidru, jo tie rada tā saukto latentu attēlojumu. Savā ziņā tas ir nedaudz biedējoši, jo jūs vienmēr vēlaties, lai mašīna būtu atbildīgāka un skaidrojama nekā cilvēks, un tāpēc pilnībā nesaprotot, ko sistēma saprot un kāpēc tā rada noteiktu izvadi, ir nozīmīgs izaicinājums. Tieši šeit es domāju, ka mūsu pētījumi par semantiku (gan leksikālo semantiku, t.i., vārdu nozīmi, gan teikuma līmeņa semantiku) patiesībā ir ļoti noderīgi un var dot šiem modeļiem spēku kļūt pārredzamākiem un skaidrojamiem nākotnē. Un tas ir tas, pie kā mēs tagad strādājam. Piemēram, mēs nesen atklājām, ka, lai gan LLM ir ļoti veikli, tie pilnībā nesaprot vārdu nozīmi, it īpaši, kad tie tiek lietoti retākās nozīmēs.

Raugoties uz priekšu, vai ir kāda konkrēta problēma vai projekts, uz kuru esat īpaši satraukts strādāt nākamajā gadā vai divos?

Es iztēlojos ambiciozu programmu, kas vienlaikus risina semantiku un lielos valodu modeļus, mērķējot NLP tehnoloģiju pacelt uz nākamo līmeni. Tas ir liels uzdevums, un, lai gan man vēl nav visu detaļu, lai teiktu, ka esam pilnībā uz pareizā ceļa, man ir spēcīgas norādes uz to, kur es vēlos doties tālāk. Tas mani neticami aizrauj! Patiesībā es varētu būt satrauktāks nekā daudzi citi pētnieki, jo es redzu potenciālu, apvienojot iepriekšējo darbu ar to, ko mēs izstrādājam tagad – un kā kopā tie var radīt reālu pārrāvumu. Tas ir kā sajūta, ko mākslinieki izjūt, radot kaut ko jaunu!

Vai jums ir kādi padomi doktorantiem vai pētniekiem karjeras sākumā?

Es viņiem vienmēr saku, lai seko savam aizrautībam. Aizrautība ir tas, kas mani vadīja pa sarežģītu, izaicinošu ceļu, nejutot slogu. Protams, piepūle vienmēr ir nepieciešama, kad strādājat smagi, bet, ja jūs patiešām mīlat to, ko darāt, un nedzenaties pēc tādām lietām kā tikai nauda, jūs atrodat piepildījumu darbā. Ir liela privilēģija, ja jums ir darbs, kas jūtas kā hobijs – par kuru jums paveicās saņemt samaksu. Un, ja jūs pilnībā sevi veltat un darāt to pareizi, sekos panākumi – un, iespējams, arī finansiāla atlīdzība.

Vai jums ir kādi vaļasprieks vai intereses ārpus pētniecības, kurus vēlētos pieminēt?

Mans galvenais hobijs ārpus pētniecības ir grāmatu lasīšana. Tas ir mans labākais veids, kā atvienoties no interneta un no datorzinātnes pasaules kopumā (tāpēc es lasu uz papīra). Man īpaši patīk trilleri un spiegu romāni – stāsti, kas pilnībā piesaista jūsu uzmanību, liekot aizmirst par visu pārējo. Tomēr es lasu visu veidu grāmatas. Es sāku diezgan agri, pateicoties diviem cilvēkiem, kuri mani virzīja šajā virzienā: skolotājam un draugam. Daudzi cilvēki nekad neapzinās, ka viņiem patīk lasīt, vienkārši tāpēc, ka viņi to nedara kā ierasti, un es varētu būt viens no viņiem, ja ne šie divi dārgie cilvēki. Es sāku ar tikai dažām grāmatām, un tagad man dzīvoklī ir apmēram 10 000 grāmatu. Vai es kādreiz tās visas izlasīšu – kas to zinās?

Par Roberto

Roberto Navigli ir dabiskās valodas apstrādes profesors Sapienza universitātē Romā, kur viņš vada Sapienza NLP grupu. Viņš ir saņēmis divus ERC grantus par leksikālo un teikuma līmeņa daudzvalodu semantiku, kas ir izcelti starp 15 projektiem, caur kuriem ERC pārveidoja zinātni. Viņš ir saņēmis vairākas balvas, tostarp divas Artificial Intelligence Journal ievērojama raksta balvas un vairākas izcili labākā raksta balvas no ACL. Viņš ir Babelscape līdzdibinātājs, veiksmīgs dziļo tehnoloģiju daudzvalodu NLP uzņēmums. Viņš ir bijis AI žurnāla asociētais redaktors un ACL-IJCNLP 2021 programmas līdzpriekšsēdētājs. Viņš ir AAAI, ACL, ELLIS un EurAI biedrs un kalpo kā ACL 2025 ģenerālpriekšsēdētājs.

https://aihub.org/