Mitandao ya Kuzalisha ya Kupingana (GANs), iliyoanzishwa na Ian Goodfellow na wenzake mwaka 2014, inawakilisha mabadiliko makubwa katika ujifunzaji usio na usimamizi na ujifunzaji wa nusu-usimamizi. Mfumo huu huweka mitandao miwili ya neva—Kizalishi na Kichambuzi—kupingana katika mchezo wa minimax. Lengo kuu ni kujifunza kuzalisha data mpya isiyoweza kutofautishwa na data halisi. Waraka huu unatoa uchambuzi kamili wa miundo ya GAN, changamoto zao za mafunzo, mbinu za tathmini, na mtazamo wa mbele juu ya mageuzi na matumizi yao.
Mtindo wa msingi wa GAN unaanzisha kanuni ya mafunzo ya kupingana ambayo inaunga mkono aina zote zinazofuata.
Mfumo una sehemu mbili:
Mafunzo yanabainishwa kama mchezo wa minimax wa wachezaji wawili wenye kitendakazi cha thamani V(G, D):
$\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log (1 - D(G(z)))]$
Kwa vitendo, mafunzo hubadilishana kati ya kuboresha D ili kuongeza usahihi wake wa utambuzi na kuboresha G ili kupunguza $\log(1 - D(G(z)))$. Changamoto za kawaida ni pamoja na kuzorota kwa hali (mode collapse), ambapo G hutoa aina chache za sampuli, na kutokuwa na utulivu wa mafunzo.
Ili kushughulikia mapungufu ya msingi, miundo mingi ya hali ya juu imependekezwa.
cGANs, zilizopendekezwa na Mirza na Osindero, zinaongeza mfumo wa msingi kwa kuweka masharti kwa kizalishi na kichambuzi kulingana na taarifa za ziada y (mfano, lebo za darasa, maelezo ya maandishi). Hii inaruhusu uzalishaji unaodhibitiwa wa aina maalum za data. Kitendakazi cha lengo kinakuwa:
$\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}(x)}[\log D(x|y)] + \mathbb{E}_{z \sim p_z(z)}[\log (1 - D(G(z|y)))]$
Mitandao ya Kuzalisha ya Kupingana Yenye Uthabiti wa Mzunguko (CycleGAN), iliyoanzishwa na Zhu na wenzake, inawezesha tafsiri ya picha-hadi-picha bila data ya mafunzo iliyooanishwa. Inatumia jozi mbili za kizalishi-kichambuzi na kuanzisha hasara ya uthabiti wa mzunguko ili kuhakikisha kwamba kutafsiri picha kutoka kikoa A hadi B na kurudi A kunatoa picha asili. Hii ilikuwa hatua muhimu kwa tafsiri ya kikoa isiyooanishwa, kama ilivyoelezwa kwa kina katika karatasi yao muhimu.
Kutathmini GANs kwa kiasi sio jambo rahisi. Vipimo vya kawaida ni pamoja na:
Hasara ya kupingana ndio msingi. Kichambuzi bora kwa kizalishi kisichobadilika kinatolewa na:
$D^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}$
Kubadilisha hii tena kwenye kitendakazi cha thamani kinaonyesha kwamba kiwango cha chini cha kimataifa cha kigezo cha mafunzo ya kuwazi kinapatikana wakati $p_g = p_{data}$, na thamani ni $-\log 4$. Mchakato wa mafunzo unaweza kuonekana kama kupunguza mtengano wa Jensen-Shannon (JS) kati ya usambazaji wa data halisi na uliozalishwa, ingawa kazi ya baadaye ilibaini mapungufu ya mtengano wa JS, na kusababisha njia mbadala kama umbali wa Wasserstein unaotumika katika WGANs.
GANs za hali ya juu kama StyleGAN2 na BigGAN zinaonyesha matokeo ya kustaajabisha. Kwenye seti za data kama FFHQ (Flickr-Faces-HQ) na ImageNet:
Maelezo ya Chati: Chati ya mstari ya kinadharia ingeonyesha maendeleo ya alama za FID kwa muda kwa miele kama DCGAN, WGAN-GP, StyleGAN, na StyleGAN2 kwenye seti ya data ya CelebA, ikionyesha mwelekeo wazi wa kushuka (ubora) katika FID, na kuangazia maendeleo ya haraka katika ubora wa uzalishaji.
Mfumo wa Kutathmini Karatasi Mpya ya GAN:
Uchunguzi wa Kesi: Kuchambua GAN ya Maandishi-hadi-Picha: Tumia mfumo huo. Mfano hutumia kipakiaji maandishi kinachotegemea transformer na kizalishi cha StyleGAN2. Uvumbuzi upo katika umakini wa njia mbalimbali. Huenda ikatumia hasara ya kulinganisha pamoja na hasara ya kupingana. Angalia FID kwenye seti za data za COCO au CUB dhidi ya viwango kama AttnGAN au DM-GAN. Tathmini ikiwa karatasi inajumuisha masomo ya utafiti yanayothibitisha mchango wa kila kipengele kipya.
Njia ya maendeleo ya GAN inaelekea kwenye maeneo kadhaa muhimu:
Ufahamu Msingi: Mapinduzi ya GAN siyo kuhusu "programu moja ya kufa" bali ni zaidi kuhusu kuanzisha ujifunzaji wa kupingana kama kanuni ya msingi, rahisi kukadiriwa kwa msongamano na usanisi wa data. Thamani yake ya kweli iko katika kutoa mfumo ambapo "kichambuzi" kinaweza kuwa kipimo chochote kinachoweza kutofautishwa cha uhalisi, na kufungua milango mbali zaidi ya uzalishaji wa picha—kutoka kwa muundo wa molekuli hadi uigaji wa fizikia, kama inavyoonekana katika miradi ya DeepMind na kampuni mbalimbali za AI za bioteknolojia.
Mtiririko wa Mantiki na Mageuzi: Hadithi ni wazi: kutoka kwa mchezo wa msingi wa minimax (Goodfellow et al.), nyanja iligawanyika haraka kutatua kasoro za haraka. cGANs ziliongeza udhibiti. WGANs zilishambulia kutokuwa na utulivu kwa kuanzisha hasara kwa nadharia katika umbali wa Wasserstein. StyleGANs zilitenganisha nafasi za siri kwa udhibiti usio na kifani. CycleGAN ilitatua shida ya data iliyooanishwa. Kila hatukuwa tu uboreshaji mdogo; ilikuwa mabadiliko ya kimkakati yanayoshughulikia udhaifu wa msingi, na kuonyesha nyanja inayojirudia kwa kasi kubwa.
Nguvu na Kasoro: Nguvu haiwezi kukataliwa: uhalisia wa matokeo usio na kifani katika nyanja kama picha na sauti. Mkosoaji wa kupingana ni kitendakazi chenye nguvu cha hasara kilichojifunza. Hata hivyo, kasoro ni za kimfumo. Mafunzo bado hayana utulivu na ni nyeti kwa vigezo vya juu—"sanaa ya giza." Kuzorota kwa hali ni kizimwi kinachoendelea. Tathmini bado ni suala gumu; vipimo kama FID ni wakala, sio vipimo kamili vya matumizi. Zaidi ya hayo, gharama ya uhesabuji kwa miele ya SOTA ni ya kushangaza, na kuunda kikwazo cha kuingia na kuleta wasiwasi wa kimazingira.
Ufahamu Unaoweza Kutekelezwa: Kwa wataalam: Usianze kutoka kwa GANs za kawaida. Jenga juu ya mifumo iliyotulizwa kama StyleGAN2/3 au tumia aina ya hasara ya Wasserstein tangu siku ya kwanza. Kipaumbele tathmini thabiti kwa kutumia vipimo vingi (FID, Usahihi/Ukumbusho). Kwa watafiti: Matunda yaliyo chini yamekwisha. Mpaka ujao sio tu picha bora, lakini kuboresha ufanisi, udhibiti, na utumiaji kwa data isiyo ya kuona. Chunguza miele mseto; kuongezeka kwa Miele ya Mtawanyiko kunaonyesha kwamba mafunzo ya kupingana sio njia pekee ya ubora. Baadaye sio ya GANs pekee, bali ya mifumo yenye kanuni ambayo inaweza kutumia mafunzo thabiti, siri zinazoweza kufafanuliwa, na sampuli zenye ufanisi—GANs zinaweza kuwa sehemu muhimu, lakini labda sio muundo pekee.