Tencenta AI pētnieki iepazīstina Hunyuan-T1: Mamba balstīts milzīgais valodas modelis, kas pārveido padziļinātu spriešanu, kontekstuālo efektivitāti un cilvēkcentrētu pastiprināto mācīšanos
Jauns lielvalodu modelis ar uzlabotu spēju apstrādāt sarežģītus tekstus
Lielvalodu modeļiem bieži rodas grūtības apstrādāt un analizēt garus, sarežģītus tekstus, nezaudējot būtisku kontekstu. Tradicionālie modeļi cieš no konteksta zuduma, neefektīvas garo atkarību apstrādes un problēmām saskaņot atbildes ar cilvēku vēlmēm, kas ietekmē to precizitāti un efektivitāti. Tencent izstrādātais Hunyuan-T1 modeļis tieši risina šīs problēmas, integrējot jaunu Mamba arhitektūru ar uzlabotu pastiprinātās mācīšanās un mācību programmu stratēģijām, nodrošinot izcilu konteksta uztveršanu un uzlabotu spriešanas spēju.
Hunyuan-T1 ir pirmais modelis, kas izmanto inovatīvo Mamba arhitektūru, kas apvieno Hybrid Transformer un Mixture-of-Experts (MoE) tehnoloģijas. Balstoties uz TurboS ātrās domāšanas bāzi, Hunyuan-T1 ir speciāli izstrādāts, lai optimizētu garu teksta secību apstrādi, vienlaikus samazinot skaitļošanas slodzi. Tas ļauj modelim efektīvi uztvert paplašinātu kontekstu un pārvaldīt garās atkarības, kas ir būtiski uzdevumiem, kuros nepieciešama dziļa, sakarīga spriešana.
Viens no modeļa galvenajiem uzlabojumiem ir pastiprinātās mācīšanās (RL) izmantošana pēcapmācības fāzē. Tencent šim piegājienam veltīja 96,7% no savas skaitļošanas jaudas, ļaujot modelim iteratīvi uzlabot savas spriešanas spējas. Tādas metodes kā datu atkārtošana, periodiska politikas atiestatīšana un pašatlīdzinošas atgriezeniskās saites palīdz uzlabet izvades kvalitāti, nodrošinot, ka modeļa atbildes ir detalizētas, efektīvas un cieši saskaņotas ar cilvēku gaumēm.
Lai papildus uzlabotu spriešanas spējas, Tencent izmantoja mācību programmu stratēģiju. Šī pieeja pakāpeniski palielina apmācības datu grūtības, vienlaikus paplašinot modeļa konteksta garumu. Rezultātā Hunyuan-T1 ir apmācīts efektīvāk izmantot tokenus, vienmērīgi pārejot no vienkāršu matemātisku uzdevumu risināšanas uz sarežģītu zinātnisku un loģisku izaicinājumu risināšanu.
Efektivitāte ir vēl viens Hunyuan-T1 dizaina pamatakmens. TurboS bāzes spēja uztvert gara teksta informāciju novērš konteksta zudumu, kas ir bieža problēma daudzos valodu modeļos, un dubulto atkodēšanas ātrumu, salīdzinot ar līdzīgām sistēmām. Šis pārlājums nozīmē, ka lietotāji saņem ātrākas un kvalitatīvākas atbildes, neupurējot veiktspēju.
Modelis ir sasniedzis iespaidīgus rezultātus vairākos testos: 87,2 MMLU-PRO, kas pārbauda dažādas nozares, tostarp humanitārās zinātnes, sociālās zinātnes un STEM jomas; 69,3 GPQA-diamond, kas ir izaicinošs doktora līmeņa zinātnisku problēmu tests; 64,9 LiveCodeBench programmēšanas uzdevumiem; un ievērojamus 96,2 MATH-500 matemātiskās spriešanas testā. Šie rezultāti uzsver Hunyuan-T1 daudzpusību un spēju tikt galā ar augsta līmeņa profesionāliem uzdevumiem dažādās jomās.
Turklāt Hunyuan-T1 ir izstrādāts, lai nodrošinātu atbildes ar cilvēkam raksturīgu izpratni un radošumu. RL fāzes laikā modelis tika pakļauts visaptverošai saskaņošanas procesam, kas apvienoja pašatlīdzinošu atgriezenisko saiti ar ārējiem atlīdzības modeļiem. Šī dubultā pieeja nodrošina, ka tā atbildes ir ne tikai precīzas, bet arī bagātīgas detaļās un dabiskas plūsmā.
Noslēgumā var teikt, ka Tencent Hunyuan-T1 apvieno milzīga mēroga Mamba arhitektūru ar modernākajām pastiprinātās mācīšanās un mācību programmu stratēģijām. Hunyuan-T1 nodrošina augstu veiktspēju, uzlabotu spriešanas spēju un izņēmīgu efektivitāti.
Plašāku informāciju meklējiet oficiālajā tīmekļa vietnē, Hugging Face un GitHub lapā. Visu atzinību par šo pētījumu veltiet tā izstrādātājiem. Sekojiet mums arī X (Twitter) un pievienojieties mūsu 85k+ ML kopienai Reddit.
https://www.marktechpost.com/