Tereń oqıtıw

testwiki maǵlıwmatı
Navigaciyaǵa ótiw Izlewge ótiw

Tereń oqıtıw, (ingl. Deep Learning) kóbinese Tereńletip oqıtıw dep te ataladı, neyronlardı yamasa neyronlar qatlamların qollanıp, gipoteza keńisligin hám usı keńislikten úyreniw usılın anıqlaw múmkinshiligin beredi, olar ierarxiyalıq strukturanı payda etedi. Bul modelge aldınnan belgilengen operaciyalar toplamına salıstırǵanda kóbirek iykemlilik beredi, quramalı úlgiler hám úlken kólemli maǵlıwmatlardı nátiyjeli qayta islewge múmkinshilik beredi.

Representing images on multiple layers of abstraction in deep learning
Tereń oqıtıwda súwretlerdi kóp qatlamlı abstrakciya arqalı kórsetiw[1]

Tereń oqıtıw - bul usınıs úyreniw ushın neyron tarmaqlardı qollanatuǵın mashinalıq oqıtıw usıllarınıń bir bólegi. Bul taraw biologiyalıq neyroilimnen ilham aladı hám jasalma neyronlardı qatlamlarǵa jaylastırıw hám olardı maǵlıwmatlardı qayta islewge "úyretiw" átirapında qurılǵan. "Tereń" sózi tarmaqta kóp qatlamlardı (úshten bir neshe júz yamasa mıńǵa shekem) qollanıwdı bildiredi. Qollanılatuǵın usıllar baqlanatuǵın, yarım-baqlanatuǵın yamasa baqlanbaytuǵın bolıwı múmkin.[2]

Geypara keń tarqalǵan tereń oqıtıw tarmaq arxitekturalarına tolıq baylanısqan tarmaqlar, tereń isenim tarmaqları, qaytalanatuǵın neyron tarmaqları, konvolyuciyalıq neyron tarmaqları, generativlik qarama-qarsı tarmaqlar, transformatorlar hám neyron radiaciya maydanları kiredi. Bul arxitekturalar kompyuter kóriwi, sóylewdi tanıw, tábiyiy tildi qayta islew, mashina awdarması, bioinformatika, dári dizaynı, medicinаlıq súwret analizi, klimat ilimi, material tekseriw hám taxta oyınları programmaları sıyaqlı tarawlarda qollanılǵan, olar adam ekspert dárejesine teń hám geypara jaǵdaylarda onnan da joqarı nátiyjeler bergen.[3][4][5]

Neyron tarmaqlarınıń dáslepki formaları biologiyalıq sistemalardaǵı, ásirese adam miyindegi maǵlıwmattı qayta islew hám tarqatılǵan baylanıs noqatlarınan ilham alǵan. Biraq, házirgi neyron tarmaqları organizmlerdiń miy funkciyasın modellestiriwdi niyet etpeydi hám bul maqset ushın ulıwma tómen sapalı modeller dep esaplanadı.[6]

Sholıw

Kópshilik házirgi tereń oqıtıw modelleri konvolyuciyalıq neyron tarmaqları hám transformatorlar sıyaqlı kóp qatlamlı neyron tarmaqlarına tiykarlanǵan, biraq olar tereń isenim tarmaqları hám tereń Bolcman mashinalarındaǵı túyinler sıyaqlı tereń generativ modellerde qatlam boyınsha shólkemlestiriliwi múmkin bolǵan propoziciyalıq formulalardı yamasa latent ózgeriwshilerdi de óz ishine alıwı múmkin.[7]

Negizinde, tereń oqıtıw - bul kiris maǵlıwmatlardı azǵana abstrakt hám quramalı kórsetiwge ózgertiwge qatlamlar ierarxiyası qollanılatuǵın mashinalıq oqıtıw algoritmleriniń klassı. Mısalı, súwretti tanıw modelinde, hám kiris súwret (piksellerdiń tenzorı retinde kórsetilgen) bolıwı múmkin. Birinshi kórsetiw qatlamı sızıqlar hám sheńberler sıyaqlı tiykarǵı formаlardı anıqlawǵa háreket etiw múmkin, ekinshi qatlam sheklerdiń jaylasıwın payda etedi hám kodlaydı, úshinshi qatlam murın hám kózlerdi kodlaw múmkin, al tórtinshi qatlam súwrette júz bar ekenin tanıw múmkin.

Áhmiyetlisi, tereń oqıtıw processi qaysı ózgesheliklerdi qaysı dárejede optimal jaylastırıwdı ózi úyrene aladı. Tereń oqıtıwǵa deyin, maǵlıwmatlardı klassifikaciya algoritmi islewi ushın qolaylıraq kórsetiwge ózgertiw kóp jaǵdaylarda qolda isleylenetuǵın ózgeshelikler injeneringіn talap etetuǵın edi. Tereń oqıtıw usılında ózgeshelikler qolda islenbeydi hám model maǵlıwmatlardan paydalı ózgeshelik kórsetiwlerin avtomatik túrde tabadı. Bul qolda sazlawdıń kerek emes ekenin bildirmeydi; mısalı, qatlamlar sanınıń hám qatlam ólshemleriniń ózgeriwi abstrakciyalanıwdıń hár qıylı dárejelerin beriwi múmkin.[8][2]

"Tereń oqıtıw" termininiń "tereń" sózi maǵlıwmatlar ózgeretuǵın qatlamlar sanın bildiredi. Anıǵıraq aytqanda, tereń oqıtıw sistemalarında áhmiyetli kredit belgilew jolı (KBJ) (ingl. credit assignment path, CAP) tereńligi bar. KBJ - bul kiristen shıǵısqa shekem bolǵan ózgerisler dizbegi. KBJlar kiris penen shıǵıs arasındaǵı potencial sebepli baylanıslardı súwretleydi. Aldıǵa baǵdarlanǵan neyron tarmaǵı ushın, KBJlardıń tereńligi tarmaqtıń tereńligine teń hám jasırın qatlamlar sanına bir qosılǵanǵa teń (sebebi shıǵıs qatlamı da parametrlengen). Signal bir qatlamnan bir neshe ret óte alatuǵın rekurrent neyron tarmaqları ushın, KBJ tereńligi sheksiz bolıwı múmkin.[9] Sayız oqıtıwdı tereń oqıtıwdan ayıratuǵın ulıwma qabıl etilgen tereńlik shegarası joq, biraq kópshilik izertlewshiler tereń oqıtıw KBJ tereńligi ekiden joqarı ekenine kelisedi. Tereńligi eki bolǵan KBJnıń universal jaqınlastırıwshı ekenligin, yaǵnıy qálegen funkciyanı emulaciya qıla alatuǵını kórsetilgen.[10] Bunnan tısqarı, qosımsha qatlamlar tarmaqdıń funkciya jaqınlastırıw qábiletin arttırmaydı. Tereń modeller (KBJ > eki) sayız modellerge qaraǵanda jaqsıraq ózgesheliklerdi shıǵarıp ala aladı, sonlıqtan qosımsha qatlamlar ózgesheliklerdi effektiv úyreniwge járdem beredi.

Tereń oqıtıw arxitekturaların sıqmar qatlam-qatlam usılı menen dúziw múmkin. Tereń oqıtıw bul abstrakciyalardı sheshiwge hám qaysı ózgeshelikler iskerlikti jaqsılaytuǵının anıqlawǵa járdem beredi.[8]

Tereń oqıtıw algoritmlerin baqlanbaytuǵın oqıtıw wazıypalarına qollanıw múmkin. Bul áhmiyetli artıqmashlıq, sebebi belgisiz maǵlıwmatlar belgilengen maǵlıwmatlarǵa qaraǵanda kóbirek. Baqlanbaytuǵın usılda oqıtıla alatuǵın tereń strukturalarǵa tereń isenim tarmaqları mısal bola aladı.[8][11]

Tereń Oqıtıw termini mashinalıq oqıtıw jámiyetine 1986-jılı Rina Dehter tárepinen kiritilgen,[12] al jasalma neyron tarmaqlarına 2000-jılı Igor Ayzenberg hám onıń kásiplesleri tárepinen Bul sheklik neyronları kontekstinde kiritilgen.[13][14] Degen menen, onıń payda bolıw tariyxı kórinetuǵınınan quramalıraq.[15]

Interpretaciyalar

Tereń neyron tarmaqları ulıwma jaǵdayda universal jaqınlastırıw teoreması [16][17][18][19] yamasa itimallıq juwmaǵı [20][21][8][9][22] kózqarasınan interpretaciyalanadı.

Klassikalıq universal jaqınlastırıw teoreması shekli ólshemdegi bir jasırın qatlamı bar aldıǵa baǵdarlanǵan neyron tarmaqlardıń úziliksiz funkciyalardı jaqınlastırıw qábiletine tiyisli.[16][17][18][19] 1989-jılı birinshi dálil sigmoid aktivlestiriw funkciyaları ushın Djordj Saybenko tárepinen basıp shıǵarıldı[16] hám 1991-jılı Kurt Xornik tárepinen aldıǵa baǵdarlanǵan kóp qatlamlı arxitekturalarda ulıwmalastırıldı.[17] Sonǵı izertlewler universal jaqınlastırıwdıń Kunixiko Fukushimanıń dúzetilgen sızıqlı birlik sıyaqlı sheklenbegen aktivlestiriw funkciyaları ushın da orınlı ekenin kórsetti.[23][24]

Tereń neyron tarmaqları ushın universal jaqınlastırıw teoreması keńligi sheklengen, biraq tereńligi ósiwine ruqsat etilgen tarmaqlardıń qábiletine tiyisli. Lu hám basqalar. ReLU aktivlestiriwi bar tereń neyron tarmaǵınıń keńligi kiris ólsheminen qatań úlken bolsa, onda tarmaq qálegen Lebeg integrallanıwshı funkciyanı jaqınlastıra alatuǵının; eger keńlik kiris ólshemine teń yamasa kishi bolsa, onda tereń neyron tarmaǵı universal jaqınlastırıwshı bolmaytuǵının dálilledi.

Itimallıq interpretaciyası[22] mashinalıq oqıtıw tarawınan kelip shıǵadı. Ol juwmaq,[21][7][8][9][11][22] sıyaqlı oqıtıw hám testlewdiń optimizaciya koncepciyaların óz ishine aladı, olar sáykes túrde saykes keliw hám ulıwmalastırıw menen baylanıslı. Anıǵıraq aytqanda, itimallıq interpretaciyası aktivlestiriw sızıqsızlıǵın jıynaw bólistiriw funkciyası retinde qaraydı.[22] Itimallıq interpretaciyası neyron tarmaqlarda dropout regularizatorın kirgiziliwine alıp keldi. Itimallıq interpretaciyası Xopfild, Widrow hám Narendra sıyaqlı izertlewshiler tárepinen kiritilgen hám Bishop sıyaqlı izertlewshilerdiń sholıwlarında keń tarqalǵan.[25]

Tariyxı

1980-jılǵa deyin

Eki túrli jasalma neyron tarmaǵı (JNT) bar: aldıǵa baǵdarlanǵan neyron tarmaǵı (ABNT) yamasa kóp qatlamlı perceptron (KQP) hám rekurrent neyron tarmaqlari (RNT). RNTlarda baylanıs strukturasında cikllar bar, ABNTlarda joq. 1920-jılları Vilgelm Lenc hám Ernst Izing tiykarınan neyron tárizli sheklik elementlerinen turatuǵın oqıtılmaytuǵın RNT arxitekturası bolǵan Izing modelin dúzdi.[26][27] 1972-jılı Shunichi Amari bul arxitekturanı adaptiv etti.[28] Onıń oqıtılatuǵın RNTı 1982-jılı Djon Xopfild tárepinen qayta basıp shıǵarıldı.[29] Basqa erte rekurrent neyron tarmaqları1971-jılı Kaoru Nakano tárepinen basıp shıǵarıldı.[30][31] 1948-jılı sonday-aq Alan Tyuring "Intellektual mashinalardı" boyınsha óz ómirinde basılıp shıǵarılmaǵan jumıs isledi,[32] onda "jasalma evolyuciya hám oqıtılatuǵın RNTlar menen baylanıslı ideyalar" bar edi[33]

Frank Rozenblatt (1958)[34] 3 qatlamlı perceptrondı usındı: kiris qatlamı, oqıtılmaytuǵın tosınnan salmaqlı jasırın qatlam hám shıǵıs qatlamı. Ol keyinirek 1962-jılı variantlardı hám kompyuter eksperimentlerin, sonıń ishinde sonǵı eki qatlamı oqıtılatuǵın salmaqlı bolǵan "adaptiv preterminal tarmaqlı" tórt qatlamlı perceptron versiyasın (bul jerde ol X. D. Blok hám B. W. Nayttı atap ótedi) kiritken kitap shıǵardı.[35]: 16-bólim Kitapta R. D. Djozeftiń (1960)[36] bul tórt qatlamlı sistemanıń "variantına funkcionallıq jaǵınan ekvivalent" bolǵan erterek tarmaǵı keltirilgen (kitapta Djozef 30 dan artıq ret tilge alınadı). Solay etip, Djozefti oqıtılatuǵın jasırın birlikleri bar durıs adaptiv kóp qatlamlı perceptronlardıń avtorı dep esaplaw kerek pe? Tilekke qarsı, oqıtıw algoritmi funkcionallıq emes edi hám oǵan umtıldı.

Birinshi isleytuǵın tereń oqıtıw algoritmı Maǵlıwmatlardı qayta islewdiń Toparlıq usılı boldı, ol qálegen tereńliktegi neyron tarmaqlardı oqıtıw usılı, 1965-jılı Aleksey Ivaxnenko hám Lapa tárepinen basıp shıǵarıldı. Olar onı polinom regressiyasınıń bir túri[37] yamasa Rozenblatt perceptronınıń ulıwmalastırılıwı dep esapladı.[38] 1971-jılǵı maqalada bul usıl menen oqıtılǵan segiz qatlamlı tereń tarmaq súwretlengen,[39] ol regressiyalıq analiz arqalı qatlam-qatlam oqıtıwǵa tiykarlanǵan. Artıq jasırın birlikler bóleklengen validaciya toplamı járdeminde qırqıp taslanadı. Túyinlerdiń aktivlestiriw funkciyaları Kolmogorov-Gabor polinomaları bolǵanlıqtan, bular kóbeytiwshi birlikleri yamasa "dárwazaları" bar birinshi tereń tarmaqlar edi.

Stoxastikalıq gradient túsiw usılı menen oqıtılǵan birinshi tereń oqıtıw kóp qatlamlı perceptronı 1967-jılı Shunichi Amari tárepinen basıp shıǵarıldı.[40] Amaridiń studentı Saito ótkergen kompyuter eksperimentlerinde, eki ózgertiletuǵın qatlamı bar bes qatlamlı KQP sızıqlı ajıratılmaytuǵın pattern klassların klassifikaciyalaw ushın ishki kórsetiwlerdi úyrendi. Keyingi apparatlıq támiyinlew hám giperparametr sazlawlarındaǵı rawajlanıwlar stoxastikalıq gradient túsiwdi házirgi waqıtta basım oqıtıw texnikasına aylandırdı.

1969-jılı Kunixiko Fukushima ReLU (dúzetilgen sızıqlı birlik) aktivlestiriw funkciyasın kirgizdi.[23] Dúzetkish tereń oqıtıw ushın eń keń tarqalǵan aktivlestiriw funkciyasına aylandı.

Konvolyuciyalıq qatlamlar hám úlgi kemitiw qatlamları bar konvolyuciyalıq neyron tarmaqları (KNT) ushın tereń oqıtıw arxitekturaları 1979-jılı Kunixiko Fukushima tárepinen kirgizilgen Neokognitronnan baslandı, biraq ol keri tarqalıw usılı menen oqıtılmadı.[41][42]

Keri tarqalıw - bul 1673-jılı Gottfrid Vilgelm Leybniz tárepinen islep shıǵarılǵan dizbekli qaǵıydanıń differenciallanatuǵın túyinler tarmaǵına effektiv qollanılıwı. "Qátelerdi keri tarqatıw" terminologiyası 1962-jılı Rozenblatt tárepinen kirigizilgen, biraq ol onı qalay ámelge asırıwdı bilmedi, degen menen Genri Dj. Kelli 1960-jılı basqarıw teoriyası kontekstinde keri tarqalıwdıń úziliksiz aldın alıwshısına iye edi.[43] Keri tarqalıwdıń házirgi forması birinshi ret Seppo Linnaynmaanıń magistrlik dissertaciyasında (1970) basıp shıǵarıldı.[44] G.M. Ostrovskiy hám basqalar onı 1971-jılı qayta basıp shıǵardı.[45] Paul Verbos keri tarqalıwdı 1982-jılı neyron tarmaqlarına qollandı (onıń 1974-jılǵı PhD dissertaciyası, 1994-jılǵı kitapta qayta basılǵan, ele algoritmdi súwretlemegen edi[45]). 1986-jılı Devid E. Rumelxart hám basqalar keri tarqalıwdı keń tarqattı, biraq dáslepki jumısqa silteme bermedi.[46]

1980-2000 jıllar

Waqıt keshigiw neyron tarmaǵı (WKNT) 1987-jılı Aleks Vaybel tárepinen KNTnı fonema tanıwǵa qollanıw ushın kirgizildi. Ol konvolyuciyalardı, salmaqlardı bólisiw hám keri tarqalıwdı qollandı. 1988-jılı Vey Chjan keri tarqalıw menen oqıtılǵan KNTnı álipbe tanıwǵa qollandı.[47] 1989-jılı Yann Lekun hám basqalar pochtadaǵı qolda jazılǵan ZIP kodların tanıw ushın LeNet dep atalatugın KNTnı dúzdi. Oqıtıw 3 kún talap etti. 1990-jılı Vey Chjan KNTnı optikalıq esaplaw apparatında ámelge asırdı.[48] 1991-jılı KNT medicinаlıq súwret obyektin segmentaciyalaw[49] hám mammogrammalarda emshek rakın anıqlaw[50] ushın qollanıldı. Yann Lekun hám basqalarınıń sanlardı klassifikaciyalaytuǵın 7 dárejeli KNTsı LeNet-5 (1998) bir qansha banklar tárepinen 32x32 piksel súwretlerge cifrlastırılǵan qolda jazılǵan cheklerdegi sanlardı tanıw ushın qollanıldı.[51]

Qaytalanatuǵın neyron tarmaqları (QNT) (ingl. Recurrent neural networks, RNN)[26][28] 1980-jıllarda qosımsha rawajlandı. Qaytalanıw izbe-izlikti qayta islew ushın qollanıladı hám qaytalanatuǵın tarmaqlardı ashqanda, ol matematikalıq jaqtan tereń túrdegi aldıǵa baǵdarlanǵan qatlamǵa uqsaydı. Nátiyjede, olardıń uqsas qásiyetleri hám máselesi bar, olardıń rawajlanıwı bir-birine tásir etken. QNT da eki dáslepki tásirli jumıslar - bul Jordan tarmaǵı (1986)[52] hám Elman tarmaǵı (1990) boldı,[53] olar QNT dı kognitiv psixologiya máselerin úyreniwde qollandı.

1980-jıllarda, uzaq kredit berilgen jollar menen tereń oqıtıw ushın keri tarqalıw jaqsı islemedi. Bul máseleni sheshiw ushın 1991-jılı Yurgen Shmidxuber óz-ózin úyretiw arqalı bir waqıtta bir dárejede aldınnan úyretiletuǵın QNT ierarxiyasın usındı, bunda hár bir QNT óz keyingi kirisin boljaydı, bul tómendegi QNT nıń kelesi kútilmegen kirisi bolıp tabıladı.[54][55] Bul "neyron tariyx qısqartıwshısı" kóp sanlı óz-ózin shólkemlestiriwshi waqıt masshtablarında ishki kórsetpelerdi úyreniw ushın boljamlı kodlawdı paydalanbaydı. Bul keyingi tereń oqıtıwdı áhmiyetli dárejede jeńillestiriwi múmkin. QNT ierarxiyası joqarı dárejeli bólsheklewshi tarmaqtı tómendegi dárejeli avtomatlastırıwshı tarmaǵına jiberip, bir QNT ǵa biriktiriliwi múmkin.[54][55] 1993-jılı neyron tariyx qısqartıwshısı waqıt boyınsha ashılǵan QNT da 1000 nan artıq izbe-iz qatlamlardı talap etetuǵın "Júdá Tereń Oqıtıw" máselesin sheshti. ChatGPT daǵı "P" usınday aldınnan oqıtıwǵa tiyisli.

Sepp Xoxrayterdiń diplom jumısı (1991) neyron tariyx qısqartıwshısın,[54] ámelge asırdı hám jobalanatuǵın gradient máselesin anıqladı hám talladı.[56][57] Xoxrayter jobalanatuǵın gradient máselesin sheshiw ushın qaytalanatuǵın qaldıq baylanıslardı usındı. Bul 1995-jılı jarıq kórgen uzaq qısqa múddetli este saqlaw (UQMES) ge alıp keldi. UQMES mıńlaǵan ayırım waqıt adımları aldın bolǵan waqıyalardı este saqlaw talap etiletuǵın uzaq kredit berilgen joldı "júdá tereń oqıtıw" wazıypaların úyrene aladı.[9] Sol UQMES ele házirgi arxitektura emes edi, oǵan 1999-jılı kirgizilgen "umıtıw dárwazası" kerek boldı[6], keyin ala ol standart QNT arxitekturası boldı.

1991-jılı Yurgen Shmidxuber bir tarmaqtıń jetiskenligi ekinshi tarmaqtıń sátsizligi bolatuǵın nóllik summadaǵı oyın túrinde bir-biri menen jarısatuǵın qarsılas neyron tarmaqlardı da járiyaladi.[58] Birinshi tarmaq - shıǵıs úlgileri boyınsha itimallıq bólistirilwin modellestiretuǵın generativlik model. Ekinshi tarmaq bul úlgilerge ortalıqtıń reakciyaların boljaw ushın gradient túsiw jolı menen úyrenedi. Bul "jasalma qızıǵıwshılıq" dep ataladı. 2014-jılı bul princip generativ qarsılas tarmaqlarda (GQT) qollanıldı.[59]

1985-1995 jıllar aralıǵında, statistikalıq mexanikadan ilham alıp, Terry Seynovski, Piter Dayan, Djeffri Xinton hám basqalar tárepinen bir neshe arxitekturalar hám metodlar islep shıǵıldı, olardıń ishinde Bolcman mashinası,[60] sheklengen Bolcman mashinası,[61] Helmgolc mashinası, hám oyaw-uyqı algoritmi bar.[62] Bular tereń generativ modellerin qadaǵalawsız oqıtıw ushın dizayn etilgen edi. Biraq, olar keri tarqalıw algoritmine salıstırǵanda esaplaw jaqtan qımbatıraq edi. 1985-jılı járiyalanǵan Bolcman mashinasın úyretiw algoritmi 1986-jılı keri tarqalıw algoritmi tárepinen kóleńkede qalǵanǵa shekem qısqa waqıt dawamında keń tarqalǵan edi (b. 112 [63]). 1988-jılǵı tarmaq protein strukturasın boljawda eń joqarı kórsetkishke eristi, bul bioinformatikada tereń oqıtıwdıń dáslepki qollanılıwlarınan biri edi.[64]

Sóylewdi tanıw ushın JNT nıń sayız hám tereń oqıtıwı (mısalı, qaytalanatuǵın tarmaqlarda) kóp jıllar dawamında izertlendi. Bul metodlar hesh qashan sóylewdi diskriminativ túrde úyretilgen generativ modeller tiykarındaǵı bir tekli emes ishki-qollap islengen Gauss aralaspa modeli/Jasırın Markov modeli (GAM-JMM) texnologiyasınan artıq nátiyje kórsete almadı. Gradient kemeyiwi hám neyron boljamlı modellerdegi waqıtlıq korrelyaciya strukturasınıń háreketiniń [65] hálsiz ekenligi sıyaqlı tiykarǵı qıyınshılıqlar tallap shıǵıldı. Qosımsha qıyınshılıqlar - oqıtıw maǵlıwmatlarınıń jetispewshiligi hám sheklengen esaplaw quwatı edi.

Kópshilik sóylewdi tanıw izertlewshileri neyron tarmaqlardı taslap, generativ modellestiriw menen shuǵıllandı. 1990-jıllardıń aqırında SRI International bunnan awlaq boldı. AQSH húkimetiniń NSA hám DARPA támiyinlegen ǵárejeti menen SRI sóylew hám sóylewshini tanıw boyınsha izertlew alıp bardı. Larri Xek basshılıǵındaǵı sóylewshini tanıw toparı 1998-jılǵı NIST Sóylewshini Tanıw bahalaw sınawında sóylewdi qayta islew boyınsha tereń neyron tarmaqlarda áhmiyetli tabısqa eristi.[66][67] Bul Nuance Verifier de qollanıldı hám tereń oqıtıwdıń birinshi iri industrial qollanılıwın kórsetti.

"Raw" ózgesheliklerdiń qollap islengen optimizaciyadan joqarı qoyıw principi birinshi ret 1990-jıllardıń aqırında "raw" spektrogramma yamasa sızıqlı filtr-bank ózgeshelikleri boyınsha tereń avtoenkoder arxitekturasında tabıslı izertlendi, bul spektrogrammalardan ózgermelew basqıshların óz ishine alatuǵın Mel-Kepstral ózgesheliklerinen artıqmashlıǵın kórsetti. Sóylewdiń raw ózgeshelikleri, tolqın formaları keyinirek úlken masshtablı jaqsı nátiyjeler berdi.[68]

2000-jıllar

Neyron tarmaqlardıń rawajlanıwı toqtap qaldı, hám 1990-2000 jıllarda Gabor filtrleri hám tirewshi vektor mashinaları (TVM) sıyaqlı wazıypaǵa tiyisli qollap islengen ózgesheliklerdi paydalanatuǵın ápiwayı modeller artıqmashlıq ala basladı, sebebi jasalma neyron tarmaqlardıń esaplaw qunı joqarı edi hám miydiń biologiyalıq tarmaqlardı qalay dúziwi haqqında túsinik jetispedi.

2003-jılı UQMES (LSTM) ayırım wazıypalarda dástúrli sóylew tanıwshılar menen básekilese alatugın boldı.[69] 2006-jılı Aleks Greyves, Santiago Fernandes, Faustino Gomes hám Shmidxuber onı UQMES dásteleri menen konnekcionistlik waqıtlıq klassifikaciya (KWK)[70] menen birlestirdi. 2009-jılı ol tutasqan qoldan jazıwdı tanıw boyınsha pattern tanıw jarısında jeńiske erisken birinshi QNT boldı.[9]

2006-jılı Djeff Xinton, Ruslan Salaxutdinov, Osindero hám Texlerdiń publikaciyalarında[71][72] generativ modellestiriw ushın tereń isenimlilik tarmaqları rawajlandırıldı. Olar birinshi sheklengen Bolcman mashinasın oqıtıw arqalı úyretiledi, soń onı muzlatıp, birinshisiniń ústine ekinshisin oqıtadı hám solay dawam etedi, keyin qálegen waqıtta qadaǵalanǵan keri tarqalıw arqalı jetilistiriw múmkin. Olar MNIST súwretleriniń tarqalıwı sıyaqlı joqarı ólshemli itimallıq tarqalıwların modellestire alatuǵın edi, biraq tutasıw áste boldı.[73][74][75]

Yann LeCunnıń aytıwınsha, tereń oqıtıwdıń sanaat tarawındaǵı tásiri 2000-jıllardıń basında baslandı, sol waqıtta CNT lar AQSH ta jazılǵan barlıq cheklerdiń 10% ten 20% ke shekemin qayta isleytuǵın edi. Úlken kólemli sóylewdi tanıwda tereń oqıtıwdı sanaatta qollanıw 2010-jıl átirapında baslandı.

2009-jılǵı NIPS Sóylewdi Tanıw ushın Tereń Oqıtıw seminarı sóylewdiń tereń generativ modelleriniń sheklewleri hám quwatlıraq apparat hám úlken kólemli maǵlıwmatlar toplamları menen tereń neyron tarmaqlardıń ámeliy bolıw múmkinshiligi menen motivlengen edi. Tereń isenimlilik tarmaqlardıń (TIT) generativ modellerin paydalanıp TTT lardı aldınna úyretiw neyron tarmaqlardıń tiykarǵı qıyınshılıqların jeńedi dep isenilgen edi. Biraq, úlken, kontekstke baylanıslı shıǵıs qatlamların paydalanǵanda TTT lar ushın aldınnan úyretiwdi úlken kólemli oqıtıw maǵlıwmatları menen almastırıw ápiwayi keri tarqalıw jolı menen sol waqıttaǵı eń jetilik Gauss aralaspa modeli (GAM)/Jasırın Markov Modeli (JMM) hám rawajlanǵan generativ modelge tiykarlanǵan sistemalarǵa salıstırǵanda qáteler sanın áhmiyetli dárejede tómenletkeni anıqlandı. Eki túrli sistema payda etken tanıw qáteleriniń tábiyatı xarakterli túrde hár qıylı boldı,[76] bul barlıq iri sóylewdi tanıw sistemalarında qollanılatuǵın bar bolǵan júdá nátiyjeli, runtime sóylew dekodlaw sistemasına tereń oqıtıwdı integraciyalaw boyınsha texnikalıq túsinikler berdi.[77][78] 2009-2010 jıllar átirapındaǵı GAM (hám basqa generativ sóylew modellerin) TTT modelleri menen salıstırıw sóylewdi tanıw ushın tereń oqıtıwǵa dáslepki industrial investiciyalardı xoshametledi.[76] Bul analiz diskriminativ TTT lar hám generativ modeller arasında salıstırmalı iskerlik (qáte múǵdarı 1.5% ten kem) penen júrgizildi.[79][76][80] 2010-jılı izertlewshiler tereń oqıtıwdı TIMIT ten úlken sózlikli sóylewdi tanıwǵa keńeytti, bul sheshim aǵashları menen dúzilgen kontekstke baylanıslı JMM hallarına tiykarlanǵan TTT nıń úlken shıǵıs qatlamların qabıl etiw arqalı ámelge asırıldı.[81][77]

Tereń oqıtıw revolyuciyası

Tereń oqıtıwdıń mashinalıq oqıtıwdıń bir bólimi ekenligin hám mashinalıq oqıtıwdıń jasalma intellekttiń (JI) bir bólimi ekenligin túsindiriw

Tereń oqıtıw revolyuciyası CNN- hám GPU-ǵa tiykarlanǵan kompyuter kóriw sisteması dógereginde baslandı.

Keri tarqatıw arqalı úyretilgen CNN-ler onlaǵan jıllar dawamında bar bolǵan hám NN-lerdiń GPU ámelge asırılıwları jıllar dawamında, sonıń ishinde CNN-ler de bar edi,[82] kompyuter kóriw sistemasında alǵa ilgerilewge GPU-larda CNN-lerdiń tezrek ámelge asırılıwı kerek bolǵan. Keyinirek, tereń oqıtıw keń tarqalǵan sayın, arnawlı apparat támiynatı hám algoritm optimizaciyaları tereń oqıtıw ushın arnawlı islep shıǵıldı.

Tereń oqıtıw revolyuciyası ushın tiykarǵı alǵa ilgerilewlerdiń biri apparat támiynatındaǵı rawajlanıwlar, ásirese GPU bolǵan.[82] Bazı erte jumıslar 2004-jılǵa barıp taqaladı. 2009-jılı Raina, Madhavan hám Andrew Ng 30 Nvidia GeForce GTX 280 GPU-larında úyretilgen 100M tereń isenim tarmaqları haqqında xabar berdi, bul GPU-ǵa tiykarlanǵan tereń oqıtıwdıń erte kórsetpesi edi. Olar 70 ese tezIrek úyretiwdi xabarladı.

2011-jılı Dan Ciresan[83][84] Ueli Meier, Jonathan Masci, Luca Maria Gambardella hám Jurgen Schmidhuber tárepinen DanNet dep atalǵan CNN birinshi ret vizual nızamlılıqlardı tanıw jarısında adamnan joqarı nátiyje kórsetti, dástúriy usıllardı 3 ese artıq nátiyje menen jeńip ótti. Keyin ol basqa jarıslarda da jeńiske eristi.[85][86] Olar sonday-aq, GPU-daǵı maksimal birlestiriw CNN-leri iskerlikti áhmiyetli dárejede jaqsılaǵanın kórsetti.[3]

2012-jılı Andrew Ng hám Jeff Dean tek ǵana YouTube videolarınan alınǵan belgisiz súwretlerdi kórip, joqarı dárejeli túsiniklerdi, mısalı, pıshıqlardı tanıp biliw ushın úyrengen FNN dúzdi.

2012-jıl oktyabr ayında Alex Krizhevsky, Ilya Sutskever hám Geoffrey Hinton tárepinen jaratılǵan AlexNet úlken kólemli ImageNet jarısında sayız mashinalıq oqıtıw usıllarınan áhmiyetli parq penen jeńiske eristi. Keyingi ózgeriwler Karen Simonyan hám Andrew Zisserman tárepinen jaratılǵan VGG-16 tarmaǵın[4] hám Google kompaniyasınıń Inceptionv3 in óz ishine aladı.[87]

Súwret klassifikaciyasındaǵı tabıs keyin súwretler ushın sıpatlamalar (jazıwlar) jaratıwdıń qıyınıraq wazıypasına keńeytildi, kóbinese CNN hám LSTM birlesiwi sıpatında.

2014-jılı eń joqarı texnologiya 20 dan 30 ǵa shekem qatlamı bar "júdá tereń neyron tarmaqların" úyretiw edi.[88] Júdá kóp qatlamlardı úyiw úyretiw anıqlıǵınıń ádewir tómenlewine alıp keldi, bul "degradaciya" máselesi dep tanıldı. 2015-jılı júdá tereń tarmaqlar úyretiw ushın eki texnika islep shıǵıldı: Highway Network 2015-jıl may ayında járiyalandı, al qaldıq neyron tarmaǵı (ResNet) 2015-jıl dekabr ayında járiyalandı. ResNet ashıq dárwazalı Highway Net sıyaqlı háreketlenedi.

Shama menen sol waqıtta, tereń oqıtıw kórkem óner tarawına tásir ete basladı. Erte mısallar Google DeepDream (2015) hám neyron stilin kóshiriw (2015), di óz ishine aladı, olardıń ekewi de VGG-19 sıyaqlı aldınnan úyretilgen súwret klassifikaciyası neyron tarmaqlarına tiykarlanǵan edi.

Generativ qarsılasıw tarmaqı (GAN) (Ian Goodfellow hám basqalar, 2014) (Jurgen Schmidhuber'diń jasalma qızıǵıwshılıq principine tiykarlanǵan[59]) ) 2014-2018 jıllar aralıǵında generativ modellestiriwde eń joqarı texnologiya bolıp qaldı. Nvidia'nıń StyleGAN (2018)[89] Tero Karras hám basqalardıń Progressive GAN'ına tiykarlanıp júdá joqarı sapada súwretler jaratadı. Bunda GAN generatorı kishi ólshemnen úlken ólshemge qaray piramida tárizinde ósedi. GAN járdeminde súwret jaratıw keń qollanıldı hám deepfake'ler haqqında talqılawlardı keltirip shıǵardı.[90] Diffuziya modelleri (2015)[91] sol waqıttan baslap generativ modellestiriwde GAN'lardan ozıp ketti, DALL•E 2 (2022) hám Stable Diffusion (2022) sıyaqlı sistemalardı payda etti.

2015-jılı Google'diń sóylewdi tanıw texnologiyası LSTM tiykarlanǵan model arqalı 49% jaqsılandı hám onı aqıllı telefonlardaǵı Google Voice Search arqalı jetkilikli etti.[92]

Tereń oqıtıw hár túrli tarawlarda, ásirese kompyuter kóriwi hám avtomatik sóylewdi tanıw (ASR) sistemalarında eń aldıńǵı qatarlı texnologiya bolıp esaplanadı. TIMIT (ASR) hám MNIST (súwret klassifikaciyası) sıyaqlı keń qollanılatuǵın bahalaw toplamlarında, sonday-aq úlken sózlikli sóylewdi tanıwdıń bir qansha wazıypalarında nátiyjeleri izbe-iz jaqsılanıp bardı. Svertkalı neyron tarmaqları ASR ushın LSTM tárepinen ozıp ketti,[92][93][94] biraq kompyuter kóriwinde ele de tabıslı qollanılmaqta.

Yoshua Bengio, Geoffrey Hinton hám Yann LeCun "tereń neyron tarmaqların esaplaw texnikasınıń áhmiyetli komponenti etken konceptual hám injenerlik jetiskenlikler" ushın 2018-jılǵı Turing sıylıǵı menen sıylıqlandı.[95]

Neyron tarmaqları

Obyektti anıqlawda neyron tarmaqtı úyretiwdiń ápiwayılastırılǵan mısalı: Tarmaq teńiz juldızları hám teńiz kirpilerin sáwlelendiretuǵın kóp sanlı súwretler menen úyretiledi, olar kóriniw ózgesheliklerin bildiretuǵın "túyinler" menen baylanıstırıladı. Teńiz juldızları saqıynalı tekstura hám juldız forması menen sáykes keledi, al kópshilik teńiz kirpileri jolaqlı tekstura hám sopaq forma menen sáykes keledi. Biraq, saqıynalı teksturalı teńiz kirpisiniń mısalı olar arasında hálsiz salmaqlı baylanıstı payda etedi.
Tarmaqtı kiris súwretine (shep tárepte) keyingi qollanıwı:[96] Tarmaq teńiz juldızın durıs anıqlaydı. Biraq, saqıynalı tekstura menen teńiz kirpisi arasındaǵı hálsiz salmaqlı baylanıs sonıń menen birge aralıq túyinlerdiń birinen sońǵısına hálsiz signal beredi. Bunnan tısqarı, úyretiw procesine kirgizilmegen qabıq sopaq forma ushın hálsiz signal beredi, bul da teńiz kirpisi shıǵısı ushın hálsiz signaldı keltirip shıǵaradı. Bul hálsiz signallar teńiz kirpisi ushın jalǵan oń nátiyje beriwi múmkin.

Haqıyqatın da, teksturalar hám konturlar bir túyin menen emes, al bir neshe túyinniń baylanısqan salmaq úlgileri menen kórsetilgen bolar edi.

Jasalma neyron tarmaqları (JNT) yamasa baylanıs sistemalar haywanlar miyiniń biologiyalıq neyron tarmaqlarınan ilham alǵan esaplaw sistemaları bolıp tabıladı. Bunday sistemalar wazıypalardı orınlaw ushın mısallardı qarap shıǵıw arqalı úyrenedi (óz qábiletin az-azdan jaqsılap baradı), kóbinese wazıypaǵa baylanıslı arnawlı programmalastırıwsız. Mısalı, súwretti tanıwda, olar "pıshıq" yamasa "pıshıq emes" dep qoldan belgilengen mısal súwretlerdi analiz qılıw arqalı pıshıqları bar súwretlerdi anıqlaw usılın úyreniwi múmkin hám bul analiz nátiyjelerin basqa súwretlerdegi pıshıqlardı anıqlaw ushın qollanıwı múmkin. Olar kóbinese qaǵıydaǵa tiykarlanǵan programmalastırıw járdeminde dástúriy kompyuter algoritmi menen ańlatıw qıyın bolǵan qollanıwlarda eń kóp paydalanıladı.

JNT jasalma neyronlar dep ataladı baylanısqan birlikler toplamına tiykarlanǵan (biologiyalıq miydegi biologiyalıq neyronlarǵa uqsas). Neyronlar arasındaǵı hár bir baylanıs (sinaps) basqa neyronǵa signal jibere aladı. Qabıllawshı (postsinaptikalıq) neyron signaldı (signallardı) qayta islep, keyin ózi menen baylanısqan tómengi aǵımdaǵı neyronlarǵa signal jibere aladı. Neyronlarda hal bolıwı múmkin, bul kóbinese haqıyqıy sanlar menen kórsetiledi, ádettе 0 hám 1 arasında. Neyronlar hám sinapslar da úyreniw barısında ózgerip turatıǵın salmaǵı bolıwı múmkin, bul tómengi aǵımǵa jiberetugın signaldıń kúshin arttırıwı yamasa kemeytiw múmkin.

Kóbinese, neyronlar qatlamlar boyınsha shólkemlestiriledi. Hár qıylı qatlamlar óz kirislerin hár túrli ózgertiwlerge ushıratıwı múmkin. Signallar birinshi (kiris) qatlamnan aqırǵı (shıǵıs) qatlamǵa shekem júredi, múmkin qatlamlardı bir neshe ret ótip.

Neyron tarmaq usılınıń dáslepki maqseti adamnıń miyi sıyaqlı máselelеrdi sheshiw edi. Waqıttıń ótiwi menen, dıqqat belgili intellektual qábiletlerge sáykes keliw ústin qoyıldı, bul biologiyadan awıtqıwlarǵa alıp keldi, mısalı, keri tarqalıw yamasa maǵlıwmattı keri baǵıtta ótkiziw hám sol maǵlıwmattı sáwlelendiriw ushın tarmaqtı dúzetiw.

Neyron tarmaqlar kompyuter kóriwi, sóylewdi tanıw, mashina awdarması, sociallıq tarmaq filtrlew, taxta hám video oyınlar oynaw hám medicinalıq diagnoz qoyıw sıyaqlı hár túrli wazıypalarda qollanılǵan.

2017-jılǵa kelip, neyron tarmaqlar ádette bir neshe mıńnan bir neshe million birlikke hám millionlaǵan baylanıslarǵa iye. Bul san adam miyindegi neyronlar sanınan bir neshe tártipke kem bolsa da, bul tarmaqlar kóp wazıypalardı adam dárejesinen joqarı dárejede orınlay aladı (mısalı, júzlerdi tanıw yamasa "Go" oyının oynaw[97]).

Tereń neyron tarmaqları

Tereń neyron tarmaǵı (TNT) - bul kiris hám shıǵıs qatlamları arasında bir neshe qatlamı bar jasalma neyron tarmaǵı. Neyron tarmaqlarınıń hár qıylı túrleri bar, biraq olar bárqulla birdey qurawshılardan turadı: neyronlar, sinapslar, salmaqlar, qıysıqlıqlar hám funkciyalar.[98] Bul qurawshılar barlıǵı adam miyiniń funkciyaların eliklew usılında isleydi hám basqa ML algoritmi sıyaqlı úyretiliw múmkin.

Mısalı, iyt tuqımların tanıw ushın úyretilgen TNT berilgen súwretti qarap shıǵadı hám súwrettegi iyttiń belgili bir tuqımǵa tiyisli bolıw itimallıǵın esaplaydı. Paydalanıwshı nátiyjelеrdi kórip shıǵıp, tarmaq qaysı itimallıqlardı kórsetiwin (belgili bir shekten joqarı t.b.) tаńlaw hám usınılǵan belgini qaytarıw múmkin. Usınday hár bir matematikalıq manipulyaciya bir qatlam dep esaplanadı, hám quramalı TNT-lar kóp qatlamlarǵa iye, sonlıqtan olar "tereń" tarmaqlar dep ataladı.

TNT-lar quramalı sızıqlı emes qatnasıqlardı modellestirе aladı. TNT arxitekturaları kompoziciyalıq modellеrdi payda etedi, bunda obyekt dáslepki elementlerdiń qatlamlı kompoziciyası túrinde аńlatıladı.[99] Qosımsha qatlamlar tómengi qatlamlardaǵı ózgesheliklerdiń kompoziciyasın ámelge asırıwǵa múmkinshilik beredi, bul quramalı maǵlıwmatlardı usınday islewshi sayız tarmaqqa qaraǵanda azıraq birlikler menen modellestiriw imkaniyatın beredi.[7] Mısalı, siyrek kóp ózgeriwshili polinomlar TNT-lar járdeminde sayız tarmaqlarǵa qaraǵanda eksponencial túrde аńsatıraq jaqınlastırılıwı dálillendi.

Tereń arxitekturalar bir neshe tiykarǵı usıllardıń kóp variantların óz ishine aladı. Hár bir arxitektura belgili bir tarawda tabısqa eristi. Eger bir neshe arxitektura birdey maǵlıwmatlar toplamında bahalanbaǵan bolsa, olardıń islewin salıstırıw barlıq waqıtta múmkin emes.

TNT-lar ádette alǵa baǵdarlanǵan tarmaqlar bolıp, olarda maǵlıwmatlar kiriw qatlamınan shıǵıw qatlamına qaytpastan ótedi. Dáslep, TNT virtual neyronlar kartasın dúzedi hám olar arasındaǵı baylanıslarǵa qaytalanatuǵın san mánislerin yamasa "salmaqların" belgileydi. Salmaqlar hám kiriw maǵlıwmatları kóbeytiledi hám 0 menen 1 arasındaǵı shıǵıs mánisin qaytaradı. Eger tarmaq belgili bir úlgini anıq tanıy almasa, algoritm salmaqtı dúzetedi.[100] Usılay etip, algoritm maǵlıwmatlardı tolıq qayta islew ushın durıs matematikalıq manipulyaciyan i anıqlamaǵansha, belgili parametrlerdi kóbirek tásirli etedi.

Maǵlıwmatlar hár qanday baǵdarda aǵıp óte alatuǵın qaytalanatuǵın neyron tarmaqları til modellestiriw sıyaqlı qollanıwlar ushın paydalanıladı. Uzaq qısqa múddetli este saqlaw (UQMES) bul maqset ushın ayırıqsha nátiyjeli.[101]

Konvolyucion neyron tarmaqları (ÚNT) kompyuter kóriwinde qollanıladı. Sonday-aq, KNT-lar avtomatik sóylewdi tanıw (AST) ushın akustikalıq modellestiriwde de qollanılǵan.[102]

Qıyınshılıqlar

Jasalma neyron tarmaqları (JNT) sıyaqlı, ápiwayı úyretilgen TNT-larda da kóplegen máseleler payda bolıwı múmkin. Eki ulıwma máselе - bul hádden tıs beyimlesiw hám esaplaw waqtı.

TNT-lar qosımsha abstrakciya qatlamları sebepli hadden tıs beyimlesiwge uqıplı, bul olarǵa úyretiw maǵlıwmatlarındaǵı siyrek ǵárezliliklerdi modellestiriwge múmkinshilik beredi. Hádden tıs beyimlesiwge qarsı gúresiw ushın úyretiw waqtında Ivaxnenkonıń birlik qısqartıw[39] yamasa salmaq kemeyiwi (ℓ2-regularizaciya) yamasa siyreklik (ℓ1-regularizaciya) sıyaqlı regularizaciya usılları qollanılıwı múmkin. Basqa variantta, dropout regularizaciyası úyretiw waqtında jasırın qatlamlardaǵı birliklerdi tosınnan alıp taslaydı. Bul siyrek ǵárezliliklerdi sırtqa shıǵarıwǵa járdem beredi.[103] Aqırında, kishi úyretiw toplamlarınıń kólemin úlkeytip, hádden tıs beyimlesiw itimalın azaytıw ushın, maǵlıwmatlardı kesip alıw hám burıw sıyaqlı usıllar menen keńeytiwge boladı.[104]

TNT-lar kóplegen úyretiw parametrlerin, mısalı, kólemi (qatlamlar sanı hám hár qatlamdaǵı birlikler sanı), úyreniw tezligi hám dáslepki salmaqların esapqa alıwı kerek. Optimal parametrler ushın parametrler keńisligin tolıq izertlew waqıt hám esaplaw resursları kóz-qarasınan múmkin bolmawı múmkin. Toplamlar (ayırım mısallar ornına bir waqıtta bir neshe úyretiw mısalında gradientti esaplaw) sıyaqlı hár túrli hiyleler esaplawdı tezletedi.[105] Kóp yadrolı arxitekturalardıń (GPU yamasa Intel Xeon Phi sıyaqlı) úlken qayta islew múmkinshilikleri matrica hám vektor esaplawları ushın bunday qayta islew arxitekturalarınıń qolaylılıǵı sebepli úyretiwde áhmiyetli tezletiwlerdi payda etti.[106][107]

Basqa variantta, injenerler ápiwayıraq hám jaqınlasıwshı úyretiw algoritmleri bar basqa túrdegi neyron tarmaqlarına qarawı múmkin. CMAC (cerebellarlıq model artikulyaciya kontroleri) usınday neyron tarmaqlarınıń bir túri. Ol úyreniw tezliklerin yamasa tosınnan tańlanǵan dáslepki salmaqtı talap etpeydi. Úyretiw procesi jańa maǵlıwmatlar toparı menen bir qádemde jaqınlasıwǵa kepillik bere aladı, hám úyretiw algoritminiń esaplaw quramalılıǵı qatnasqan neyronlar sanına qarata sızıqlı.

Apparatlıq támiyinlew

2010-jıllardan baslap, mashinalıq oqıtıw algoritmleri hám kompyuter apparatlıq támiynlewiniń rawajlanıwı kóp sanlı sızıqlı emes jasırın birlikler hám júdá úlken shıǵıs qatlamın óz ishine alǵan tereń neyron tarmaqların úyretiw ushın nátiyjeli usıllardıń payda bolıwına alıp keldi.[108] 2019-jılǵa kelip, kóbinese jasalma intellektke tiyisli jetilisiwler menen grafikalıq processorlar (GPU) úlken kólemli kommerciyalıq bult JI-di úyretiwdiń tiykarǵı usılı sıpatında oraylıq processorlar (CPU) ornın iyeledi .[109] OpenAI AlexNet-ten (2012) AlphaZero-ǵa (2017) shekem eń iri tereń oqıtıw joybarlarında qollanılǵan apparatlıq esaplawlardı bahalap, talap etiletuǵın esaplawlar muǵdarınıń 300,000 ese artqanın hám bul kórsetkishtiń hár 3.4 ayda eki ese ósip baratırǵanın anıqladı.[110][111]

Tereń oqıtıw algoritmleriniń tezligin arttırıw ushın tereń oqıtıw processorları dep atalatuǵın arnawlı elektron sxemalar islep shıǵıldı. Tereń oqıtıw processorlarına Huawei uyalı telefonlarındaǵı neyron qayta islew blokları (NPU)[112] hám Google Cloud Platform-daǵı tensor qayta islew blokları (TPU) sıyaqlı bult esaplaw serverleri kiredi. Sonday-aq, Cerebras Systems úlken tereń oqıtıw modellerin qayta islew ushın arnawlı sistema - CS-2 dúzdi, ol sanaat tarawındaǵı eń iri processor - ekinshi áwlad Wafer Scale Engine (WSE-2) tiykarında isleydi.[113][114]

Atomlıq júdá juqa yarım ótkizgishler logikalıq operaciyalar hám maǵlıwmatlardı saqlawda bir qıylı tiykarǵı qurılma qollanılatuǵın energiya ónimli tereń oqıtıw apparatlıq támiyinlewin jaratıw ushın úmitli dep esaplanadı. 2020-jılı Marega hám onıń kásiplesleri qalqıwshı zatvor maydan effektli tranzistorlarına (FGFET) tiykarlanǵan logikalıq-yadta qurılmalar hám sxemalardı rawajlandırıw ushın úlken maydanlı aktiv kanal materialı menen ótkerilgen tájiriybeler haqqında maqala járiyaladı.

2021-jılı J. Feldmann hám onıń kásiplesleri parallel konvolyuciyalıq qayta islew ushın integraciyalanǵan fotonikalıq apparatlıq tezletkishti usınıs etti.[115] Avtorlar integraciyalanǵan fotonikaniń elektronikalıq analoglarına salıstırǵanda eki tiykarǵı artıqmashılıǵın atap ótedi: (1) jiyilik grebenkaları menen birgelikte tolqın uzınlıǵı boyınsha bólistiriw arqalı júdá kóp sanlı parallel maǵlıwmat uzatıw, hám (2) júdá joqarı maǵlıwmat modulyaciya tezligi.[115] Olardıń sisteması sekundına trillionlaǵan kóbeytiw-jıynaw operaciyaların orınlay aladı, bul integraciyalanǵan fotonikanıń maǵlıwmatqa bay JI qollanıwlarındaǵı potencialın kórsetedi.[115]

Derekler

Úlgi:Reflist

  1. ↑ Úlgi:Cite journal
  2. ↑ 2,0 2,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "NatureBengio" defined multiple times with different content
  3. ↑ 3,0 3,1 Úlgi:Cite book Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name ":9" defined multiple times with different content
  4. ↑ 4,0 4,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "krizhevsky2012" defined multiple times with different content
  5. ↑ Úlgi:Web deregi
  6. ↑ Úlgi:Web deregi
  7. ↑ 7,0 7,1 7,2 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "BENGIODEEP" defined multiple times with different content
  8. ↑ 8,0 8,1 8,2 8,3 8,4 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "BENGIO2012" defined multiple times with different content
  9. ↑ 9,0 9,1 9,2 9,3 9,4 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "SCHIDHUB" defined multiple times with different content
  10. ↑ Úlgi:Cite book
  11. ↑ 11,0 11,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "SCHOLARDBNS" defined multiple times with different content
  12. ↑ Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online Úlgi:Webarchive
  13. ↑ Úlgi:Cite book
  14. ↑ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.
  15. ↑ Úlgi:Cite journal
  16. ↑ 16,0 16,1 16,2 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "cyb" defined multiple times with different content
  17. ↑ 17,0 17,1 17,2 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "horn" defined multiple times with different content
  18. ↑ 18,0 18,1 Úlgi:Cite book Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Haykin, Simon 1998" defined multiple times with different content
  19. ↑ 19,0 19,1 Úlgi:Cite book Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Hassoun, M. 1995 p. 48" defined multiple times with different content
  20. ↑ Úlgi:Cite journal
  21. ↑ 21,0 21,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "BOOK2014" defined multiple times with different content
  22. ↑ 22,0 22,1 22,2 22,3 Úlgi:Cite book Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "MURPHY" defined multiple times with different content
  23. ↑ 23,0 23,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Fukushima1969" defined multiple times with different content
  24. ↑ Úlgi:Cite journal
  25. ↑ Úlgi:Cite book
  26. ↑ 26,0 26,1 Úlgi:Web deregi Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "ising1925" defined multiple times with different content
  27. ↑ Úlgi:Cite journal
  28. ↑ 28,0 28,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Amari1972" defined multiple times with different content
  29. ↑ Úlgi:Cite journal
  30. ↑ Úlgi:Cite book
  31. ↑ Úlgi:Cite journal
  32. ↑ Úlgi:Cite journal
  33. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named DLhistory
  34. ↑ Úlgi:Cite journal
  35. ↑ Úlgi:Cite book
  36. ↑ Úlgi:Cite book
  37. ↑ Úlgi:Cite book
  38. ↑ Úlgi:Cite journal
  39. ↑ 39,0 39,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "ivak1971" defined multiple times with different content
  40. ↑ Úlgi:Cite journal
  41. ↑ Úlgi:Cite journal
  42. ↑ Úlgi:Cite journal
  43. ↑ Úlgi:Cite journal
  44. ↑ Úlgi:Cite journal
  45. ↑ 45,0 45,1 Úlgi:Web deregi
  46. ↑ Úlgi:Cite journal
  47. ↑ Úlgi:Cite journal
  48. ↑ Úlgi:Cite journal
  49. ↑ Úlgi:Cite journal
  50. ↑ Úlgi:Cite journal
  51. ↑ Úlgi:Cite journal
  52. ↑ Úlgi:Cite journal
  53. ↑ Úlgi:Cite journal
  54. ↑ 54,0 54,1 54,2 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "chunker1991" defined multiple times with different content
  55. ↑ 55,0 55,1 Úlgi:Cite journal
  56. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named HOCH1991
  57. ↑ Úlgi:Cite book
  58. ↑ Úlgi:Cite journal
  59. ↑ 59,0 59,1 Úlgi:Cite journal Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "gancurpm2020" defined multiple times with different content
  60. ↑ Úlgi:Cite journal
  61. ↑ Úlgi:Cite book
  62. ↑ Úlgi:Cite journal
  63. ↑ Úlgi:Cite book
  64. ↑ Úlgi:Cite journal
  65. ↑ Úlgi:Web deregi
  66. ↑ Úlgi:Cite journal
  67. ↑ Úlgi:Cite journal
  68. ↑ Úlgi:Web deregi
  69. ↑ Úlgi:Web deregi
  70. ↑ Úlgi:Cite journal
  71. ↑ Úlgi:Cite journal
  72. ↑ Úlgi:Cite journal
  73. ↑ Úlgi:Cite journal
  74. ↑ Úlgi:Cite journal
  75. ↑ Úlgi:Cite journal
  76. ↑ 76,0 76,1 76,2 Úlgi:Web deregi
  77. ↑ 77,0 77,1 Úlgi:Cite book
  78. ↑ Úlgi:Web deregi
  79. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named HintonDengYu2012
  80. ↑ Úlgi:Web deregi
  81. ↑ Úlgi:Cite book
  82. ↑ 82,0 82,1 Úlgi:Citation Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "chellapilla2006" defined multiple times with different content
  83. ↑ Úlgi:Cite journal
  84. ↑ Úlgi:Cite journal
  85. ↑ Úlgi:Cite book
  86. ↑ Úlgi:Cite book
  87. ↑ Úlgi:Cite journal
  88. ↑ Úlgi:Citation
  89. ↑ Úlgi:Web deregi
  90. ↑ Úlgi:Web deregi
  91. ↑ Úlgi:Cite journal
  92. ↑ 92,0 92,1 Úlgi:Web deregi Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "sak2015" defined multiple times with different content
  93. ↑ Úlgi:Web deregi
  94. ↑ Úlgi:Web deregi
  95. ↑ Úlgi:Web deregi
  96. ↑ <templatestyles src="Module:Citation/CS1/styles.css"></templatestyles>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. ISBN 978-1492671206.{{cite book}}: CS1 maint: multiple names: authors list (link)
  97. ↑ Úlgi:Cite journal
  98. ↑ Úlgi:Citation
  99. ↑ Úlgi:Cite journal
  100. ↑ Úlgi:Cite news
  101. ↑ Úlgi:Web deregi
  102. ↑ Úlgi:Cite book
  103. ↑ Úlgi:Cite journal
  104. ↑ Úlgi:Web deregi
  105. ↑ Úlgi:Cite journal
  106. ↑ Úlgi:Cite book
  107. ↑ Úlgi:Cite journal
  108. ↑ Úlgi:Web deregi
  109. ↑ Úlgi:Cite news
  110. ↑ Úlgi:Cite news
  111. ↑ Úlgi:Web deregi
  112. ↑ Úlgi:Web deregi
  113. ↑ Úlgi:Web deregi
  114. ↑ Úlgi:Web deregi
  115. ↑ 115,0 115,1 115,2 Úlgi:Cite journal
«https://kaa.wiki.beta.math.wmflabs.org/w/index.php?title=Tereń_oqıtıw&oldid=22» saytınan alınǵan