Intervija ar Džozefu Marvinu Imperiālu: ģeneratīvās AI saskaņošana ar tehniskajiem standartiem

Intervija ar doktorantu par viņa pētījumiem mākslīgā intelekta jomā

Šajā interviju sērijā mēs iepazīstinām ar dažiem AAAI/SIGAI Doctoral Consortium dalībniekiem, lai uzzinātu vairāk par viņu pētījumiem. Doktorantu konsorcijs nodrošina iespēju PhD studentiem apspriest un izpētīt savus pētījumu virzienus un karjeras mērķus starpdisciplinārā darbnīcā kopā ar pieredzējušu pētnieku grupu. Jaunākajā intervijā mēs klausāmies Joseph Marvin Imperial, kurš koncentrējas uz ģeneratīvā mākslīgā intelekta saskaņošanu ar tehniskajiem standartiem regulatīvai un operatīvai atbilstībai.

Pastāsti mums nedaudz par savu doktora disertāciju – kur tu studē un kāda ir tava pētījuma tēma?

Es veicu pētījumus skaistajā Bath Universitātē, koncentrējoties uz ģeneratīvā mākslīgā intelekta (GenAI) saskaņošanu ar tehniskajiem standartiem regulatīvai un operatīvai atbilstībai. Standarti ir dokumenti, ko izveidojuši nozares un/vai akadēmiskie eksperti, lai nodrošinātu sistēmu un procesu kvalitāti, precizitāti un savietojamību (tā saukto “labāko veidu, kā darīt lietas”). Standartus var atrast gandrīz visās nozarēs un jomās, tostarp zinātnē, veselības aprūpē, izglītībā, finansēs, žurnālistikā, tiesībās un inženierzinātnēs. Ņemot vērā ātro GenAI sistēmu ieviešanu šajās jomās, ir loģiski izpētīt pētījumus, kas šīs sistēmas pieslēgs tiem pašiem noteikumiem un regulām, kurus eksperti ievēro, izmantojot standartus. Es uzskatu, ka šis pētījumu virziens ir ārkārtīgi svarīgs, lai nodrošinātu turpmāko jaudīgāko GenAI sistēmu uzraudzību un uzticamību.

Vai varētu sniegt pārskatu par pētījumiem, kurus līdz šim esi veicis savā doktora studiju laikā?

Līdz šim esmu izpētījis un salīdzinājis pašreizējās GenAI, īpaši lielo valodu modeļu (LLM), iespējas ievērot standarta ierobežojumus, izmantojot uz uzvedni balstītas pieejas, piemēram, kontekstā mācīšanos (ICL). Mana motivācija bija vispirms izmērīt, cik labi vai slikti LLM spēj ievērot standartu specifikācijas, kas ievietotas uzvednēs – tas ir veids, kā starpdisciplinārie praktiķi, piemēram, skolotāji, inženieri un žurnālisti, izmanto mākslīgo intelektu.

Savā pirmajā rakstā, kas publicēts GEM darbnīcā EMNLP2023, izglītības un valodu prasmju kontekstā, es empīriski parādīju, ka veids, kā skolotāji izmanto GenAI modeļus, piemēram, ChatGPT, faktiski neizmanto to pilnu potenciālu, lai ģenerētu saturu, kas atbilst izglītības standartiem, piemēram, Eiropas kopējam valodu pamatnostādņu atsauces rāmim (CEFR). Savā otrajā rakstā, kas publicēts EMNLP 2024 galvenajā konferencē, es ierosināju jaunu metodi “Standardize”, kas izmanto zināšanu artefaktus, piemēram, standartu specifikācijas, parauginformāciju un lingvistiskos marķierus, lai ievērojami uzlabotu LLM, tostarp GPT-4, spēju radīt standartiem atbilstošu saturu, ko var izmantot skolotāji.

Vēl vienā rakstā EMNLP 2024, es izpētīju, kā izveidot salīdzināšanas sistēmu SpeciaLex, lai novērtētu, kā vadošie LLM, piemēram, Gemma, Llama, GPT-4o, Bloom, OLMO, veicas uzdevumos, kas saistīti ar standartos noteikto vārdu lietojuma pārbaudi, identificēšanu, pārrakstīšanu un atvērto satura ģenerēšanu. Šim rakstam es izpētīju vārdu krājumu no izglītības (izmantojot CEFR datus) un no aviācijas un inženierijas jomas, sadarbojoties ar ASD Simple Technical English.

Vai ir kāds tavu pētījumu aspekts, kas ir bijis īpaši interesants?

Ikreiz, kad es runāju ar kolēģiem, kas strādā standartu un regulējumu vadītās jomās, piemēram, veselības aprūpē, izglītībā un finansēs, man vienmēr ir interesanti un motivējoši dzirdēt, kā viņi izsaka vajadzību pēc tehnoloģiskām inovācijām, lai atvieglotu viņu slodzi, ievērojot noteikumus un protokolus. Tas ietver arī standartu atbilstību. Tāpat ir interesanti un izaicinoši uzzināt, cik daudz standartu atsauces datu (SRD) dažādās jomās un nozarēs nav pieejami pētniekiem, kas vēlas automatizēt vai veikt pētījumus par atbilstības pārbaudi. Es redzu šo kā iespēju izveidot noderīgus mākslīgā intelekta salīdzināšanas rīkus, piemēram, to, ko es sāku ar leksikas balstītu sistēmu SpeciaLex izglītības un inženierijas jomām.

Kādi ir tavi plāni turpmākajiem pētījumiem doktora studiju laikā – kādus aspektus tu plāno pētīt tālāk?

Es cenšos būt vēl ambiciozāks ar saviem nākamajiem projektiem atlikušajos divos doktora studiju gados. Nākamo mēnešu laikā es plānoju izpētīt lielo valodu modeļu spriešanas procesus (arī pazīstamus kā domāšanas ķēdes), un analizēt, kā tie var nonākt pie noteiktiem secinājumiem, ievērojot pretrunīgus un papildinošus noteikumus tehniskajos standartos. Šis virziens ir īpaši izaicinošs, jo spriešanas modeļi, piemēram, DeepSeek-R1, kas man būtu jāizmanto, ir ārkārtīgi lieli un skaitļošanas resursu ziņā dārgi. Turklāt es arī plānoju izveidot lielāku standartu atbilstības salīdzināšanas sistēmu, kas aptver vairāk nekā 10 jomas, lai pārbaudītu, kā vadošie LLM spēj ievērot standartus tādos uzdevumos kā atbilstības pārbaude un atbilstībai atbilstoša satura ģenerēšana.

Kāda bija AAAI Doktorantu konsorcija un AAAI konferences pieredze kopumā?

Manuprāt, tas ir labākais Doktorantu konsorcijs no visiem Doktorantu konsorcijiem! (Atruna: esmu piedalījies tikai AAAI). Man patīk, cik labi pasākums bija organizēts. Mana mīļākā daļa bija mentora sesija, kurā mūs sasaistīja ar pieredzējušiem mākslīgā intelekta pētniekiem, un es biju satraukts, ka varēju runāt tiešā sarunā un dalīties ar saviem pētījumiem ar Dr Francescu Rossi no IBM un pašreizējo AAAI25 prezidenti. Es arī satiku Dr Jindong Wang no William & Mary, kurš arī strādā ar NLP un LLM pētījumiem, un kopā ar citiem doktorantiem devos uz pusdienām tuvējā ķīniešu restorānā. Kopumā es ļoti iesaku šo konsorciju jebkuram doktorantam, kurš vēlas iepazīt jaunus cilvēkus ārpus savas aprindas.

Joseph prezentē savu plakātu AAAI 2025 Doktorantu konsorcijā ar programmas vadītāju Dr Lijing Wang.

Kādu padomu tu dotu kādam, kas apsver iespēju veikt doktora studijas šajā jomā?

Doktora grāda iegūšana jebkurā ar mākslīgo intelektu saistītā jomā mūsdienās ir ārkārtīgi konkurētspējīga. Jūsu panākumi var būt atkarīgi no vairākiem galvenajiem faktoriem: jūsu garīgās motivācijas, jūsu intereses par pētījuma tēmu, jūsu fiziskās veselības, jūsu finansiālā stāvokļa un padomdevēja, ar kuru jūs strādāsiet. Esmu runājis ar pietiekami daudz doktorantiem un izmantoju savu pieredzi, lai teiktu – ja rodas problēmas ar kādu no šiem mainīgajiem, tas var ietekmēt jūsu panākumus. Tomēr neuzskatiet to par kaut ko, kas jūs iebiedētu. Es domāju, ka garīgā, fiziskā, intelektuālā un finansiālā nobriedība jūs tālu aizvedīs doktora grāda iegūšanā. Turklāt tas nenāktu par ļaunu iegūt doktora grādu kādā skaistā un gleznainā vietā citā valstī.

Vai varētu pastāstīt kādu interesantu faktu par sevi (ne saistītu ar mākslīgo intelektu)?

Es uzaugu Filipīnās un runāju vēl divās valodās – filipīniešu un bikolu – papildus angļu valodai. Pārcēloties uz Lielbritāniju doktora studijām, es kļuvu par nejaušu futbola un regbija fanu un brīvdienās esmu apmeklējis trīs stadionus (Anfield, Old Trafford un Stamford Bridge). Ikreiz, kad man ir iespēja, es cenšos ceļot pa skaistajām un gleznainajām vietām Lielbritānijā. Nav nekā atspirdzinošāka par ceļošanu ar vilcienu un skatīšanos pa logu, braucot cauri Anglijas un Velsas laukiem.

Par Joseph

Joseph Marvin Imperial ir doktorantūras kandidāts UKRI Doktorantu apmācības centrā Atbildīgajā, Atbildīgajā un Caurspīdīgajā mākslīgajā intelektā (ART-AI) un BathNLP grupas pētnieks Bath Universitātē, Lielbritānijā. Viņa pētījumi koncentrējas uz ģeneratīvā mākslīgā intelekta saskaņošanu un kontrolējamību, izmantojot ekspertu definētus noteikumus un vadlīnijas, kas pazīstami kā standarti regulatīvai un operatīvai atbilstībai. Ārpus universitātes Joseph uztur aktīvu sadarbību ar starptautiskiem partneriem, tostarp darbojoties kā 1) British Standards Institution (BSI) komitejas loceklis un veicot ieguldījumu Lielbritānijas mākslīgā intelekta standartizācijas ainavā, 2) SIGSEA un SEACrowd konsultatīvās padomes loceklis, veicinot Dienvidaustrumāzijas valodu pētījumus, un 3) MLCommons Mākslīgā intelekta risku un atbildības darba grupas akadēmiskais loceklis, pētot mākslīgā intelekta drošības pētījumu frontes.

https://aihub.org/2025/04/02/interview-with-joseph-marvin-imperial-aligning-generative-ai-with-technical-standards/