Fin-R1: Speciāli izstrādāts lielās valodas modelis finanšu spriešanai un lēmumu pieņemšanai

Specializēts lielo valodu modelis finanšu jomā

Lieli valodu modeļi (LLM) strauji attīstās dažādās jomās, taču to efektivitāte sarežģītu finanšu problēmu risināšanā joprojām ir aktīvs pētījumu objekts. LLM iteratīvā attīstība ir būtiski veicinājusi mākslīgā intelekta attīstību virzienā uz vispārējo mākslīgo intelektu (AGI). OpenAI o1 sērijas un līdzīgi modeļi, piemēram, QwQ un Marco-o1, ir uzlabojuši sarežģītu spriešanas spējas, paplašinot “domu ķēdes” spriešanu, izmantojot iteratīvu “izpētes-atspulga” pieeju. Finanšu jomā tādi modeļi kā XuanYuan-FinX1-Preview un Fino1 ir parādījuši LLM potenciālu kognitīvās spriešanas uzdevumos. Savukārt DeepSeekR1 izmanto citu stratēģiju, balstoties tikai uz pastiprinātās mācīšanās (RL) ar daudzpakāpju apmācību, lai uzlabotu spriešanas un secināšanas spējas. Apvienojot tūkstošiem neuzraudzītu RL apmācības soļu ar nelielu aukstās palaišanas datu kopu, DeepSeekR1 demonstrē spēcīgu spriešanas sniegumu un lasāmību, uzsverot RL balstītu metožu efektivitāti lielo valodu modeļu uzlabošanā.

Tomēr, neskatoties uz šiem uzlabojumiem, vispārējie LLM ir grūtības pielāgoties specializētiem finanšu spriešanas uzdevumiem. Finanšu lēmumu pieņemšanai nepieciešamas starpdisciplināras zināšanas, tostarp tiesību normatīvi, ekonomiskie rādītāji un matemātiskā modelēšana, vienlaikus pieprasot loģisku, pakāpenisku spriešanu. Vairākas problēmas rodas, izmantojot LLM finanšu lietojumos. Pirmkārt, fragmentēti finanšu dati apgrūtina zināšanu integrāciju, radot nekonsekvences, kas traucē visaptverošai izpratnei. Otrkārt, LLM “melnās kastes” daba padara to spriešanas procesu grūti interpretējamu, kas ir pretrunā ar regulējošajām prasībām pēc caurspīdības un atbildības. Visbeidzot, LLM bieži vien nespēj veikt vispārināšanu dažādos finanšu scenārijos, radot neuzticamus rezultātus augsta riska lietojumos. Šie ierobežojumi rada būtiskus šķēršļus to ieviešanai reālās finanšu sistēmās, kur precizitāte un izsekojamība ir kritiskas.

Fin-R1 – specializēts finanšu spriešanas modelis

Pētnieki no Šanhajas Finanšu un Ekonomikas universitātes, Fudanas universitātes un FinStep ir izstrādājuši Fin-R1, specializētu LLM finanšu spriešanai. Ar kompaktu 7 miljardu parametru arhitektūru Fin-R1 samazina ieviešanas izmaksas, vienlaikus risinot galvenās ekonomiskās problēmas: fragmentētus datus, spriešanas kontroles trūkumu un vājo vispārināšanu. Tas ir apmācīts uz Fin-R1-Data, augstas kvalitātes datu kopas, kas satur 60 091 CoT no autoritatīviem finanšu avotiem. Divpakāpju apmācības pieeja – uzraudzīta precizēta apmācība (SFT), kam seko RL – uzlabo Fin-R1 precizitāti un interpretējamību. Tas rāda labus rezultātus finanšu testos, izceļoties finanšu atbilstības un robotpadomnieka lietojumos.

Pētījumā ir izklāstīta divpakāpju sistēma Fin-R1 izveidei. Datu ģenerēšanas posmā tika izveidota augstas kvalitātes finanšu spriešanas datu kopa Fin-R1-Data, izmantojot datu destilāciju ar DeepSeek-R1 un filtrēšanu, izmantojot LLM-kā-tiesnesja pieeju. Modeļa apmācības posmā Fin-R1 tika precizēti pielāgots Qwen2.5-7B-Instruct, izmantojot SFT un Grupu relatīvās politikas optimizāciju (GRPO), lai uzlabotu spriešanu un izvades konsekvenci. Datu kopa apvieno atvērtā koda un patentētus finanšu datus, kas tiek uzlaboti, izmantojot stingru filtrēšanu. Apmācībā tiek integrēta uzraudzītā mācīšanās un pastiprinātā mācīšanās, iekļaujot strukturētus pamudinājumus un atlīdzības mehānismus, lai uzlabotu finanšu spriešanas precizitāti un standartizāciju.

Fin-R1 snieguma novērtējums

Fin-R1 spriešanas spējas finanšu scenārijos tika novērtētas, veicot salīdzinošu analīzi ar vairākiem moderniem modeļiem, tostarp DeepSeek-R1, Fin-R1-SFT un dažādiem Qwen un Llama balstītiem modeļiem. Neskatoties uz kompakto 7B parametru lielumu, Fin-R1 sasniedza ievērojamu vidējo rezultātu 75,2, ierindojoties otrajā vietā kopvērtējumā. Tas pārspēja visus līdzīga mēroga modeļus un pārspēja DeepSeek-R1-Distill-Llama-70B par 8,7 punktiem. Fin-R1 ieguva augstākos rezultātus FinQA un ConvFinQA ar attiecīgi 76,0 un 85,0 punktiem, demonstrējot spēcīgu finanšu spriešanu un starpuzdevumu vispārināšanu, īpaši testos kā Ant_Finance, TFNS un Finance-Instruct-500K.

Noslēgumā, Fin-R1 ir liels finanšu spriešanas valodu modelis, kas paredzēts galveno finanšu AI problēmu risināšanai, tostarp fragmentētiem datiem, nekonsekventai spriešanas loģikai un ierobežotai biznesa vispārināšanai. Tas nodrošina modernu veiktspēju, izmantojot divpakāpju apmācības procesu – SFT un RL – uz augstas kvalitātes Fin-R1-Data datu kopas. Ar kompaktu 7B parametru mērogu tas sasniedz 85,0 punktus ConvFinQA un 76,0 punktus FinQA, pārspējot lielākus modeļus. Nākotnes darbā plānots uzlabot finanšu multimodālās spējas, stiprināt regulējošo atbilstību un paplašināt reālās pasaules lietojumus, veicinot inovācijas fintech jomā, vienlaikus nodrošinot efektīvu un inteliģentu finanšu lēmumu pieņemšanu.

Plašākai informācijai skatiet pētījumu un modeli Hugging Face platformā. Visu atzinību par šo pētījumu izpildi saņem šī projekta pētnieki. Sekojiet mums arī X (Twitter) un pievienojieties mūsu 85k+ ML kopienai Reddit.

https://www.marktechpost.com/