TokenBridge: Nepārtrauktu un Diskrētu Tokenu Attēlojumu Savienošana Vizuālajā Ģenerēšanā
Pētījums par vizuālo ģenerēšanu ar TokenBridge
Autoregresīvie vizuālās ģenerēšanas modeļi ir kļuvuši par revolucionāru pieeju attēlu sintēzei, iedvesmojoties no valodu modeļu tokenu prognozēšanas mehānismiem. Šie inovatīvie modeļi izmanto attēlu tokenizētājus, lai pārveidotu vizuālo saturu diskrētos vai nepārtrauktos tokenos. Šī pieeja ļauj elastīgi integrēt dažādus datu modus un pielāgot arhitektūras inovācijas no lielo valodu modeļu (LLM) pētījumiem. Tomēr nozarei jāatrisina būtisku izaicinājumu – optimālās tokenu reprezentācijas stratēģijas noteikšanu. Izvēle starp diskrētiem un nepārtrauktiem tokeniem paliek fundamentāla dilemma, kas būtiski ietekmē modeļa sarežģītību un ģenerēšanas kvalitāti.
Esošās metodes ietver divas galvenās vizuālās tokenizācijas pieejas: nepārtrauktas un diskrētas tokenu reprezentācijas. Variatīvie autoenkoderi izveido nepārtrauktas latentās telpas, kas saglabā augstu vizuālo precizitāti, kļūstot par pamatu difūzijas modeļu attīstībā. Diskrētās metodes, piemēram, VQ-VAE un VQGAN, ļauj veikt vienkāršu autoregresīvo modelēšanu, taču saskaras ar būtiskiem ierobežojumiem, tostarp kodu grāmatas sabrukumu un informācijas zudumu. Autoregresīvā attēlu ģenerēšana ir attīstījusies no skaitļošanas ziņā intensīvām pikseļu balstītām metodēm uz efektīvākām tokenu stratēģijām. Lai gan modeļi kā DALL-E rāda daudzsološus rezultātus, hibrīdmetodes, piemēram, GIVT un MAR, ievieš sarežģītas arhitektūras modifikācijas, lai uzlabotu ģenerēšanas kvalitāti, padarot tradicionālo autoregresīvo modelēšanas procesu sarežģītu.
Pētnieki no Honkongas Universitātes, ByteDance Seed, Ecole Polytechnique un Pekinas Universitātes ir izstrādājuši TokenBridge, lai aizpildītu plaisu starp nepārtrauktajiem un diskrētajiem tokeniem vizuālajā ģenerēšanā. Šis risinājums izmanto nepārtraukto tokenu spēcīgās reprezentācijas spējas, vienlaikus saglabājot diskrēto tokenu vienkāršību. TokenBridge atdalīt tokenizācijas procesu no sākotnējā tokenizētāja apmācības, ieviešot jaunu pēcapmācības kvantizācijas tehniku. Turklāt tas izmanto unikālu dimensiju kvantizācijas stratēģiju, kas neatkarīgi diskretizē katru pazīmju dimensiju, papildinot to ar vieglu autoregresīvo prognozēšanas mehānismu. Tas efektīvi pārvalda paplašināto tokenu telpu, saglabājot augstas kvalitātes vizuālās ģenerēšanas iespējas.
TokenBridge ievieš apmācību neprasošu dimensiju kvantizācijas tehniku, kas darbojas neatkarīgi katrā pazīmju kanālā, efektīvi risinot iepriekšējos tokenu reprezentācijas ierobežojumus. Šī pieeja izmanto divus variatīvo autoenkoderu pazīmju būtiskus īpašības: to ierobežoto raksturu, pateicoties KL ierobežojumiem, un gandrīz Gausa sadalījumu. Autoregresīvais modelis izmanto Transformatora arhitektūru ar divām galvenajām konfigurācijām: noklusējuma L modeli ar 32 blokiem un 1024 platumu (aptuveni 400 miljoni parametru) sākotnējiem pētījumiem un lielāku H modeli ar 40 blokiem un 1280 platumu (ap 910 miljoniem parametru) galīgajiem novērtējumiem. Šis dizains ļauj detalizēti izpētīt kvantizācijas stratēģiju dažādos modeļu mērogos.
Rezultāti parāda, ka TokenBridge pārspēj tradicionālos diskrēto tokenu modeļus, sasniedzot augstākus Frēšes iniciācijas attāluma (FID) rādītājus ar ievērojami mazāk parametriem. Piemēram, TokenBridge-L sasniedz FID 1,76 ar tikai 486 miljoniem parametru, salīdzinot ar LlamaGen rādītāju 2,18, izmantojot 3,1 miljardus parametru. Salīdzinot ar nepārtrauktajām metodēm, TokenBridge-L pārspēj GIVT, sasniedzot FID 1,76 pret 3,35. H modeļa konfigurācija papildus apstiprina metodes efektivitāti, sasniedzot tādu pašu FID kā MAR-H (1,55), vienlaikus nodrošinot augstākus Inception Score un Recall rādītājus ar nedaudz mazāk parametriem. Šie rezultāti parāda TokenBridge spēju savienot diskrētās un nepārtrauktās tokenu reprezentācijas.
Noslēgumā pētnieki ieviesa TokenBridge, kas aizpilda ilgstošo plaisu starp diskrētajām un nepārtrauktajām tokenu reprezentācijām. Tas sasniedz augstas kvalitātes vizuālo ģenerēšanu ar ievērojamu efektivitāti, ieviešot pēcapmācības kvantizācijas pieeju un dimensiju autoregresīvo sadalījumu. Pētījums parāda, ka diskrēto tokenu pieejas, izmantojot standarta krustentropijas zudumu, var konkurēt ar modernākajām nepārtrauktajām metodēm, novēršot nepieciešamību pēc sarežģītām sadalījumu modelēšanas tehnikām. Šī pieeja atver daudzsološu ceļu turpmākiem pētījumiem, iespējams, pārveidojot to, kā pētnieki konceptualizē un īsteno tokenu balstītas vizuālās sintēzes tehnoloģijas.
Atsauces: Pētījuma darbs, GitHub lapa un projekta vietne. Visu atzinību par šo pētījumu saņem tā autori. Sekojiet mums X (Twitter) un pievienojieties mūsu 85k+ ML kopienai Reddit.
https://www.marktechpost.com/