Tereń oqıtıw ushın derekti kóriw

'''Tereń oqıtıw''', ''([[Inglis tili|ingl]]. Deep Learning)'' kóbinese ''Tereńletip oqıtıw'' dep te ataladı, neyronlardı yamasa neyronlar qatlamların qollanıp, gipoteza keńisligin hám usı keńislikten úyreniw usılın anıqlaw múmkinshiligin beredi, olar ierarxiyalıq strukturanı payda etedi. Bul modelge aldınnan belgilengen operaciyalar toplamına salıstırǵanda kóbirek iykemlilik beredi, quramalı úlgiler hám úlken kólemli maǵlıwmatlardı nátiyjeli qayta islewge múmkinshilik beredi.
[[Fayl:Deep_Learning.jpg|alt=Representing images on multiple layers of abstraction in deep learning|nobaý|Tereń oqıtıwda súwretlerdi kóp qatlamlı abstrakciya arqalı kórsetiw<ref>{{Cite journal|last1=Schulz|first1=Hannes|last2=Behnke|first2=Sven|date=1 November 2012|title=Deep Learning|journal=KI - Künstliche Intelligenz|language=en|volume=26|issue=4|pages=357–363|doi=10.1007/s13218-012-0198-z|issn=1610-1987|url=https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0}}</ref>]]
'''Tereń oqıtıw''' - bul usınıs úyreniw ushın neyron tarmaqlardı qollanatuǵın [[mashinalıq oqıtıw]] usıllarınıń bir bólegi. Bul taraw biologiyalıq neyroilimnen ilham aladı hám jasalma neyronlardı qatlamlarǵa jaylastırıw hám olardı maǵlıwmatlardı qayta islewge "úyretiw" átirapında qurılǵan. "Tereń" sózi tarmaqta kóp qatlamlardı (úshten bir neshe júz yamasa mıńǵa shekem) qollanıwdı bildiredi. Qollanılatuǵın usıllar baqlanatuǵın, yarım-baqlanatuǵın yamasa baqlanbaytuǵın bolıwı múmkin.<ref name="NatureBengio">{{Cite journal|last1=LeCun|first1=Yann|last2=Bengio|first2=Yoshua|last3=Hinton|first3=Geoffrey|year=2015|title=Deep Learning|journal=Nature|volume=521|issue=7553|pages=436–444|doi=10.1038/nature14539|pmid=26017442|bibcode=2015Natur.521..436L|url=https://hal.science/hal-04206682/file/Lecun2015.pdf}}</ref>

Geypara keń tarqalǵan tereń oqıtıw tarmaq arxitekturalarına tolıq baylanısqan tarmaqlar, tereń isenim tarmaqları, qaytalanatuǵın neyron tarmaqları, konvolyuciyalıq neyron tarmaqları, generativlik qarama-qarsı tarmaqlar, [[Transformator (tereń oqıtıw arxitekturası)|transformatorlar]] hám neyron radiaciya maydanları kiredi. Bul arxitekturalar kompyuter kóriwi, sóylewdi tanıw, [[tábiyiy tildi qayta islew]], mashina awdarması, bioinformatika, dári dizaynı, medicinаlıq súwret analizi, klimat ilimi, material tekseriw hám taxta oyınları programmaları sıyaqlı tarawlarda qollanılǵan, olar adam ekspert dárejesine teń hám geypara jaǵdaylarda onnan da joqarı nátiyjeler bergen.<ref name=":9">{{Cite book|doi=10.1109/cvpr.2012.6248110|title=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|last1=Ciresan|first1=D.|last2=Meier|first2=U.}}</ref><ref name="krizhevsky2012">{{Cite journal|last1=Krizhevsky|first1=Alex|last2=Sutskever|first2=Ilya|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|journal=NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada}}</ref><ref>{{Web deregi|url=https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/|bet=Google's AlphaGo AI wins three-match series against the world's best Go player|arxivurl=https://web.archive.org/web/20180617065807/https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/|arxivsáne=17 June 2018|sáne=25 May 2017|jumıs=TechCrunch|qaralǵan sáne=17 June 2018}}</ref>

Neyron tarmaqlarınıń dáslepki formaları biologiyalıq sistemalardaǵı, ásirese adam miyindegi maǵlıwmattı qayta islew hám tarqatılǵan baylanıs noqatlarınan ilham alǵan. Biraq, házirgi neyron tarmaqları organizmlerdiń miy funkciyasın modellestiriwdi niyet etpeydi hám bul maqset ushın ulıwma tómen sapalı modeller dep esaplanadı.<ref>{{Web deregi|url=https://news.mit.edu/2022/neural-networks-brain-function-1102|bet=Study urges caution when comparing neural networks to the brain|sáne=2022-11-02|til=en|jumıs=MIT News {{!}} Massachusetts Institute of Technology|qaralǵan sáne=2023-12-06}}</ref>

== Sholıw ==
Kópshilik házirgi tereń oqıtıw modelleri konvolyuciyalıq neyron tarmaqları hám [[Transformator|transformatorlar]] sıyaqlı kóp qatlamlı neyron tarmaqlarına tiykarlanǵan, biraq olar tereń isenim tarmaqları hám tereń Bolcman mashinalarındaǵı túyinler sıyaqlı tereń generativ modellerde qatlam boyınsha shólkemlestiriliwi múmkin bolǵan propoziciyalıq formulalardı yamasa latent ózgeriwshilerdi de óz ishine alıwı múmkin.<ref name="BENGIODEEP">{{Cite journal|last=Bengio|first=Yoshua|year=2009|title=Learning Deep Architectures for AI|url=http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf|journal=Foundations and Trends in Machine Learning|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006|access-date=3 September 2015}}</ref>

Negizinde, tereń oqıtıw - bul kiris maǵlıwmatlardı azǵana abstrakt hám quramalı kórsetiwge ózgertiwge qatlamlar ierarxiyası qollanılatuǵın mashinalıq oqıtıw algoritmleriniń klassı. Mısalı, súwretti tanıw modelinde, hám kiris súwret (piksellerdiń tenzorı retinde kórsetilgen) bolıwı múmkin. Birinshi kórsetiw qatlamı sızıqlar hám sheńberler sıyaqlı tiykarǵı formаlardı anıqlawǵa háreket etiw múmkin, ekinshi qatlam sheklerdiń jaylasıwın payda etedi hám kodlaydı, úshinshi qatlam murın hám kózlerdi kodlaw múmkin, al tórtinshi qatlam súwrette júz bar ekenin tanıw múmkin.

Áhmiyetlisi, tereń oqıtıw processi qaysı ózgesheliklerdi qaysı dárejede optimal jaylastırıwdı ózi úyrene aladı. Tereń oqıtıwǵa deyin, maǵlıwmatlardı klassifikaciya algoritmi islewi ushın qolaylıraq kórsetiwge ózgertiw kóp jaǵdaylarda qolda isleylenetuǵın ózgeshelikler injeneringіn talap etetuǵın edi. Tereń oqıtıw usılında ózgeshelikler qolda islenbeydi hám model maǵlıwmatlardan paydalı ózgeshelik kórsetiwlerin avtomatik túrde tabadı. Bul qolda sazlawdıń kerek emes ekenin bildirmeydi; mısalı, qatlamlar sanınıń hám qatlam ólshemleriniń ózgeriwi abstrakciyalanıwdıń hár qıylı dárejelerin beriwi múmkin.<ref name="BENGIO2012">{{Cite journal|last2=Courville|first2=A.|last3=Vincent|first3=P.|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|doi=10.1109/tpami.2013.50|pmid=23787338|last1=Bengio|first1=Y.}}</ref><ref name="NatureBengio">{{Cite journal|last1=LeCun|first1=Yann|last2=Bengio|first2=Yoshua|last3=Hinton|first3=Geoffrey|year=2015|title=Deep Learning|journal=Nature|volume=521|issue=7553|pages=436–444|doi=10.1038/nature14539|pmid=26017442|bibcode=2015Natur.521..436L|url=https://hal.science/hal-04206682/file/Lecun2015.pdf}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFLeCunBengioHinton2015">LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). [https://hal.science/hal-04206682/file/Lecun2015.pdf "Deep Learning"] <span class="cs1-format">(PDF)</span>. ''Nature''. '''521''' (7553): 436–444. [[Bibcode (identifier)|Bibcode]]:[https://ui.adsabs.harvard.edu/abs/2015Natur.521..436L 2015Natur.521..436L]. [[Doi (identifier)|doi]]:[[doi:10.1038/nature14539|10.1038/nature14539]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/26017442 26017442]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:3074096 3074096].</cite></ref>

"Tereń oqıtıw" termininiń "tereń" sózi maǵlıwmatlar ózgeretuǵın qatlamlar sanın bildiredi. Anıǵıraq aytqanda, tereń oqıtıw sistemalarında áhmiyetli kredit belgilew jolı (KBJ) ''([[Inglis tili|ingl]]. credit assignment path, CAP)'' tereńligi bar. KBJ - bul kiristen shıǵısqa shekem bolǵan ózgerisler dizbegi. KBJlar kiris penen shıǵıs arasındaǵı potencial sebepli baylanıslardı súwretleydi. Aldıǵa baǵdarlanǵan neyron tarmaǵı ushın, KBJlardıń tereńligi tarmaqtıń tereńligine teń hám jasırın qatlamlar sanına bir qosılǵanǵa teń (sebebi shıǵıs qatlamı da parametrlengen). Signal bir qatlamnan bir neshe ret óte alatuǵın rekurrent neyron tarmaqları ushın, KBJ tereńligi sheksiz bolıwı múmkin.<ref name="SCHIDHUB">{{Cite journal|last=Schmidhuber|first=J.|title=Deep Learning in Neural Networks: An Overview}}</ref> Sayız oqıtıwdı tereń oqıtıwdan ayıratuǵın ulıwma qabıl etilgen tereńlik shegarası joq, biraq kópshilik izertlewshiler tereń oqıtıw KBJ tereńligi ekiden joqarı ekenine kelisedi. Tereńligi eki bolǵan KBJnıń universal jaqınlastırıwshı ekenligin, yaǵnıy qálegen funkciyanı emulaciya qıla alatuǵını kórsetilgen.<ref>{{Cite book|url=https://books.google.com/books?id=9CqQDwAAQBAJ&pg=PA15|title=Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities|last=Shigeki|first=Sugiyama|date=12 April 2019|publisher=IGI Global|isbn=978-1-5225-8218-2|language=en}}</ref> Bunnan tısqarı, qosımsha qatlamlar tarmaqdıń funkciya jaqınlastırıw qábiletin arttırmaydı. Tereń modeller (KBJ > eki) sayız modellerge qaraǵanda jaqsıraq ózgesheliklerdi shıǵarıp ala aladı, sonlıqtan qosımsha qatlamlar ózgesheliklerdi effektiv úyreniwge járdem beredi.

Tereń oqıtıw arxitekturaların sıqmar qatlam-qatlam usılı menen dúziw múmkin. Tereń oqıtıw bul abstrakciyalardı sheshiwge hám qaysı ózgeshelikler iskerlikti jaqsılaytuǵının anıqlawǵa járdem beredi.<ref name="BENGIO2012">{{Cite journal|last2=Courville|first2=A.|last3=Vincent|first3=P.|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|doi=10.1109/tpami.2013.50|pmid=23787338|last1=Bengio|first1=Y.}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBengioCourvilleVincent2013">Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". ''IEEE Transactions on Pattern Analysis and Machine Intelligence''. '''35''' (8): 1798–1828. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1206.5538|1206.5538]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1109/tpami.2013.50|10.1109/tpami.2013.50]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/23787338 23787338]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:393948 393948].</cite></ref>

Tereń oqıtıw algoritmlerin baqlanbaytuǵın oqıtıw wazıypalarına qollanıw múmkin. Bul áhmiyetli artıqmashlıq, sebebi belgisiz maǵlıwmatlar belgilengen maǵlıwmatlarǵa qaraǵanda kóbirek. Baqlanbaytuǵın usılda oqıtıla alatuǵın tereń strukturalarǵa tereń isenim tarmaqları mısal bola aladı.<ref name="BENGIO2012">{{Cite journal|last2=Courville|first2=A.|last3=Vincent|first3=P.|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|doi=10.1109/tpami.2013.50|pmid=23787338|last1=Bengio|first1=Y.}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBengioCourvilleVincent2013">Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". ''IEEE Transactions on Pattern Analysis and Machine Intelligence''. '''35''' (8): 1798–1828. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1206.5538|1206.5538]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1109/tpami.2013.50|10.1109/tpami.2013.50]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/23787338 23787338]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:393948 393948].</cite></ref><ref name="SCHOLARDBNS">{{Cite journal|last1=Hinton|first1=G.E.|year=2009|title=Deep belief networks|journal=Scholarpedia|volume=4|issue=5|doi=10.4249/scholarpedia.5947}}</ref>

Tereń Oqıtıw termini mashinalıq oqıtıw jámiyetine 1986-jılı Rina Dehter tárepinen kiritilgen,<ref name="dechter1986">[[Rina Dechter]] (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.[https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems Online] {{Webarchive|url=https://web.archive.org/web/20160419054654/https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems|date=2016-04-19}}</ref> al jasalma neyron tarmaqlarına 2000-jılı Igor Ayzenberg hám onıń kásiplesleri tárepinen Bul sheklik neyronları kontekstinde kiritilgen.<ref name="MV_1">{{cite book|author1=Aizenberg, I.N.|url=https://link.springer.com/book/10.1007/978-1-4757-3115-6|title=Multi-Valued and Universal Binary Neurons|author2=Aizenberg, N.N.|author3=Vandewalle, J.|date=2000|publisher=Science & Business Media|isbn=978-0-7923-7824-2|doi=10.1007/978-1-4757-3115-6|access-date=27 December 2023}}</ref><ref>Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.</ref> Degen menen, onıń payda bolıw tariyxı kórinetuǵınınan quramalıraq.<ref>{{Cite journal|last=Fradkov|first=Alexander L.|date=2020-01-01|title=Early History of Machine Learning|journal=IFAC-PapersOnLine|series=21st IFAC World Congress|volume=53|issue=2|pages=1385–1390|doi=10.1016/j.ifacol.2020.12.1888|issn=2405-8963|s2cid=235081987|doi-access=free}}</ref>

== Interpretaciyalar ==
Tereń neyron tarmaqları ulıwma jaǵdayda universal jaqınlastırıw teoreması <ref name="cyb">{{Cite journal|last=Cybenko|year=1989|title=Approximations by superpositions of sigmoidal functions|url=http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf|journal=[[Mathematics of Control, Signals, and Systems]]|volume=2|issue=4|pages=303–314|doi=10.1007/bf02551274}}</ref><ref name="horn">{{Cite journal|last=Hornik|first=Kurt|year=1991|title=Approximation Capabilities of Multilayer Feedforward Networks|journal=Neural Networks|volume=4|issue=2|pages=251–257|doi=10.1016/0893-6080(91)90009-t}}</ref><ref name="Haykin, Simon 1998">{{Cite book|first=Simon S.|last=Haykin|title=Neural Networks: A Comprehensive Foundation|url={{google books |plainurl=y |id=bX4pAQAAMAAJ}}|year=1999}}</ref><ref name="Hassoun, M. 1995 p. 48">{{Cite book|first=Mohamad H.|last=Hassoun|title=Fundamentals of Artificial Neural Networks|url={{google books |plainurl=y |id=Otk32Y3QkxQC|page=48}}|year=1995}}</ref> yamasa itimallıq juwmaǵı <ref>{{Cite journal|last=Orhan|first=A. E.|title=Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback|journal=Nature Communications|volume=8|issue=1|pages=138|doi=10.1038/s41467-017-00181-8}}</ref><ref name="BOOK2014">{{Cite journal|last=Deng|first=L.|year=2014|title=Deep Learning: Methods and Applications|url=http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|journal=Foundations and Trends in Signal Processing|volume=7|issue=3–4|pages=1–199|doi=10.1561/2000000039|access-date=2014-10-18}}</ref><ref name="BENGIO2012">{{Cite journal|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|doi=10.1109/tpami.2013.50|last=Bengio|first=Y.}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBengioCourvilleVincent2013">Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". ''IEEE Transactions on Pattern Analysis and Machine Intelligence''. '''35''' (8): 1798–1828. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1206.5538|1206.5538]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1109/tpami.2013.50|10.1109/tpami.2013.50]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/23787338 23787338]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:393948 393948].</cite></ref><ref name="SCHIDHUB">{{Cite journal|last=Schmidhuber|first=J.|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|doi=10.1016/j.neunet.2014.09.003}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSchmidhuber2015">Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". ''Neural Networks''. '''61''': 85–117. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1404.7828|1404.7828]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1016/j.neunet.2014.09.003|10.1016/j.neunet.2014.09.003]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/25462637 25462637]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:11715509 11715509].</cite></ref><ref name="MURPHY">{{Cite book|first=Kevin P.|last=Murphy|title=Machine Learning: A Probabilistic Perspective|url={{google books |plainurl=y |id=NZP6AQAAQBAJ}}}}</ref> kózqarasınan interpretaciyalanadı.

Klassikalıq universal jaqınlastırıw teoreması shekli ólshemdegi bir jasırın qatlamı bar aldıǵa baǵdarlanǵan neyron tarmaqlardıń úziliksiz funkciyalardı jaqınlastırıw qábiletine tiyisli.<ref name="cyb">{{Cite journal|last=Cybenko|year=1989|title=Approximations by superpositions of sigmoidal functions|url=http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFCybenko1989">Cybenko (1989). [https://web.archive.org/web/20151010204407/http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf "Approximations by superpositions of sigmoidal functions"] <span class="cs1-format">(PDF)</span>. ''[[Mathematics of Control, Signals, and Systems]]''. '''2''' (4): 303–314. [[Bibcode (identifier)|Bibcode]]:[https://ui.adsabs.harvard.edu/abs/1989MCSS....2..303C 1989MCSS....2..303C]. [[Doi (identifier)|doi]]:[[doi:10.1007/bf02551274|10.1007/bf02551274]]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:3958369 3958369]. Archived from [http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf the original] <span class="cs1-format">(PDF)</span> on 10 October 2015.</cite></ref><ref name="horn">{{Cite journal|last=Hornik|first=Kurt|year=1991|title=Approximation Capabilities of Multilayer Feedforward Networks}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFHornik1991">Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". ''Neural Networks''. '''4''' (2): 251–257. [[Doi (identifier)|doi]]:[[doi:10.1016/0893-6080(91)90009-t|10.1016/0893-6080(91)90009-t]]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:7343126 7343126].</cite></ref><ref name="Haykin, Simon 1998">{{Cite book|first=Simon S.|last=Haykin|title=Neural Networks: A Comprehensive Foundation|url={{google books |plainurl=y |id=bX4pAQAAMAAJ}}|year=1999|publisher=Prentice Hall|isbn=978-0-13-273350-2}}<cite class="citation book cs1" data-ve-ignore="true" id="CITEREFHaykin1999">Haykin, Simon S. (1999). [https://books.google.com/books?id=bX4pAQAAMAAJ ''Neural Networks: A Comprehensive Foundation'']. Prentice Hall. [[ISBN (identifier)|ISBN]]&nbsp;[[Special:BookSources/978-0-13-273350-2|<bdi>978-0-13-273350-2</bdi>]].</cite></ref><ref name="Hassoun, M. 1995 p. 48">{{Cite book|first=Mohamad H.|last=Hassoun|title=Fundamentals of Artificial Neural Networks|url={{google books |plainurl=y |id=Otk32Y3QkxQC|page=48}}|year=1995|publisher=MIT Press|isbn=978-0-262-08239-6}}<cite class="citation book cs1" data-ve-ignore="true" id="CITEREFHassoun1995">Hassoun, Mohamad H. (1995). [https://books.google.com/books?id=Otk32Y3QkxQC&pg=PA48 ''Fundamentals of Artificial Neural Networks'']. MIT Press. p.&nbsp;48. [[ISBN (identifier)|ISBN]]&nbsp;[[Special:BookSources/978-0-262-08239-6|<bdi>978-0-262-08239-6</bdi>]].</cite></ref> 1989-jılı birinshi dálil sigmoid aktivlestiriw funkciyaları ushın Djordj Saybenko tárepinen basıp shıǵarıldı<ref name="cyb" /> hám 1991-jılı Kurt Xornik tárepinen aldıǵa baǵdarlanǵan kóp qatlamlı arxitekturalarda ulıwmalastırıldı.<ref name="horn" /> Sonǵı izertlewler universal jaqınlastırıwdıń Kunixiko Fukushimanıń dúzetilgen sızıqlı birlik sıyaqlı sheklenbegen aktivlestiriw funkciyaları ushın da orınlı ekenin kórsetti.<ref name="Fukushima1969">{{Cite journal|last=Fukushima|first=K.|title=Visual feature extraction by a multilayered network of analog threshold elements}}</ref><ref name="sonoda17">{{Cite journal|last=Sonoda|first=Sho|year=2017|title=Neural network with unbounded activation functions is universal approximator}}</ref>

Tereń neyron tarmaqları ushın universal jaqınlastırıw teoreması keńligi sheklengen, biraq tereńligi ósiwine ruqsat etilgen tarmaqlardıń qábiletine tiyisli. Lu hám basqalar. ReLU aktivlestiriwi bar tereń neyron tarmaǵınıń keńligi kiris ólsheminen qatań úlken bolsa, onda tarmaq qálegen Lebeg integrallanıwshı funkciyanı jaqınlastıra alatuǵının; eger keńlik kiris ólshemine teń yamasa kishi bolsa, onda tereń neyron tarmaǵı universal jaqınlastırıwshı bolmaytuǵının dálilledi.

Itimallıq interpretaciyası<ref name="MURPHY">{{Cite book|first1=Kevin P.|last1=Murphy|title=Machine Learning: A Probabilistic Perspective}}<cite class="citation book cs1" data-ve-ignore="true" id="CITEREFMurphy2012">Murphy, Kevin P. (24 August 2012). [https://books.google.com/books?id=NZP6AQAAQBAJ ''Machine Learning: A Probabilistic Perspective'']. MIT Press. [[ISBN (identifier)|ISBN]]&nbsp;[[Special:BookSources/978-0-262-01802-9|<bdi>978-0-262-01802-9</bdi>]].</cite></ref> [[mashinalıq oqıtıw]] tarawınan kelip shıǵadı. Ol juwmaq,<ref name="BOOK2014">{{Cite journal|last1=Deng|first1=L.|last2=Yu|first2=D.|year=2014|title=Deep Learning: Methods and Applications|journal=Foundations and Trends in Signal Processing|volume=7|issue=3–4|pages=1–199|doi=10.1561/2000000039}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFDengYu2014">Deng, L.; Yu, D. (2014). [http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf "Deep Learning: Methods and Applications"] <span class="cs1-format">(PDF)</span>. ''Foundations and Trends in Signal Processing''. '''7''' (3–4): 1–199. [[Doi (identifier)|doi]]:[[doi:10.1561/2000000039|10.1561/2000000039]]. [https://web.archive.org/web/20160314152112/http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf Archived] <span class="cs1-format">(PDF)</span> from the original on 2016-03-14<span class="reference-accessdate">. Retrieved <span class="nowrap">2014-10-18</span></span>.</cite></ref><ref name="BENGIODEEP">{{Cite journal|last1=Bengio|first1=Yoshua|year=2009|title=Learning Deep Architectures for AI|journal=Foundations and Trends in Machine Learning|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBengio2009">Bengio, Yoshua (2009). [https://web.archive.org/web/20160304084250/http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20(2009).pdf "Learning Deep Architectures for AI"] <span class="cs1-format">(PDF)</span>. ''Foundations and Trends in Machine Learning''. '''2''' (1): 1–127. [[CiteSeerX (identifier)|CiteSeerX]]&nbsp;<span class="id-lock-free" title="Freely accessible">[https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.701.9550 10.1.1.701.9550]</span>. [[Doi (identifier)|doi]]:[[doi:10.1561/2200000006|10.1561/2200000006]]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:207178999 207178999]. Archived from [http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf the original] <span class="cs1-format">(PDF)</span> on 4 March 2016<span class="reference-accessdate">. Retrieved <span class="nowrap">3 September</span> 2015</span>.</cite></ref><ref name="BENGIO2012">{{Cite journal|last2=Courville|first2=A.|last3=Vincent|first3=P.|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|doi=10.1109/tpami.2013.50|pmid=23787338|last1=Bengio|first1=Y.}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBengioCourvilleVincent2013">Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". ''IEEE Transactions on Pattern Analysis and Machine Intelligence''. '''35''' (8): 1798–1828. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1206.5538|1206.5538]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1109/tpami.2013.50|10.1109/tpami.2013.50]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/23787338 23787338]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:393948 393948].</cite></ref><ref name="SCHIDHUB">{{Cite journal|last1=Schmidhuber|first1=J.|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|doi=10.1016/j.neunet.2014.09.003|pmid=25462637}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSchmidhuber2015">Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". ''Neural Networks''. '''61''': 85–117. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1404.7828|1404.7828]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1016/j.neunet.2014.09.003|10.1016/j.neunet.2014.09.003]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/25462637 25462637]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:11715509 11715509].</cite></ref><ref name="SCHOLARDBNS">{{Cite journal|last1=Hinton|first1=G.E.|year=2009|title=Deep belief networks|journal=Scholarpedia|volume=4|issue=5|doi=10.4249/scholarpedia.5947}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFHinton2009">Hinton, G.E. (2009). [[doi:10.4249/scholarpedia.5947|"Deep belief networks"]]. ''Scholarpedia''. '''4''' (5): 5947. [[Bibcode (identifier)|Bibcode]]:[https://ui.adsabs.harvard.edu/abs/2009SchpJ...4.5947H 2009SchpJ...4.5947H]. [[Doi (identifier)|doi]]:<span class="id-lock-free" title="Freely accessible">[[doi:10.4249/scholarpedia.5947|10.4249/scholarpedia.5947]]</span>.</cite></ref><ref name="MURPHY" /> sıyaqlı oqıtıw hám testlewdiń optimizaciya koncepciyaların óz ishine aladı, olar sáykes túrde saykes keliw hám ulıwmalastırıw menen baylanıslı. Anıǵıraq aytqanda, itimallıq interpretaciyası aktivlestiriw sızıqsızlıǵın jıynaw bólistiriw funkciyası retinde qaraydı.<ref name="MURPHY" /> Itimallıq interpretaciyası neyron tarmaqlarda dropout regularizatorın kirgiziliwine alıp keldi. Itimallıq interpretaciyası Xopfild, Widrow hám Narendra sıyaqlı izertlewshiler tárepinen kiritilgen hám Bishop sıyaqlı izertlewshilerdiń sholıwlarında keń tarqalǵan.<ref name="prml">{{Cite book|title=Pattern Recognition and Machine Learning|last1=Bishop, Christopher M.|year=2006}}</ref>

== Tariyxı ==

=== 1980-jılǵa deyin ===
Eki túrli jasalma neyron tarmaǵı (JNT) bar: aldıǵa baǵdarlanǵan neyron tarmaǵı (ABNT) yamasa kóp qatlamlı perceptron (KQP) hám rekurrent neyron tarmaqlari (RNT). RNTlarda baylanıs strukturasında cikllar bar, ABNTlarda joq. 1920-jılları Vilgelm Lenc hám Ernst Izing tiykarınan neyron tárizli sheklik elementlerinen turatuǵın oqıtılmaytuǵın RNT arxitekturası bolǵan Izing modelin dúzdi.<ref name="ising1925">{{Web deregi|url=https://www.hs-augsburg.de/~harsch/anglica/Chronology/20thC/Ising/isi_fm00.html|bet=bibliotheca Augustana|jumıs=www.hs-augsburg.de}}</ref><ref name="brush67">{{Cite journal|title=History of the Lenz-Ising Model}}</ref> 1972-jılı Shunichi Amari bul arxitekturanı adaptiv etti.<ref name="Amari1972">{{Cite journal|title=Learning patterns and pattern sequences by self-organizing nets of threshold elements}}</ref> Onıń oqıtılatuǵın RNTı 1982-jılı Djon Xopfild tárepinen qayta basıp shıǵarıldı.<ref name="Hopfield1982">{{Cite journal|title=Neural networks and physical systems with emergent collective computational abilities}}</ref> Basqa erte rekurrent neyron tarmaqları1971-jılı Kaoru Nakano tárepinen basıp shıǵarıldı.<ref name="Nakano1971">{{Cite book|title=Pattern Recognition and Machine Learning}}</ref><ref name="Nakano1972">{{Cite journal|title=Associatron-A Model of Associative Memory}}</ref> 1948-jılı sonday-aq Alan Tyuring "Intellektual mashinalardı" boyınsha óz ómirinde basılıp shıǵarılmaǵan jumıs isledi,<ref name="turing1948">{{Cite journal|title=Intelligent Machinery}}</ref> onda "jasalma evolyuciya hám oqıtılatuǵın RNTlar menen baylanıslı ideyalar" bar edi<ref name="DLhistory" />

Frank Rozenblatt (1958)<ref>{{Cite journal|last=Rosenblatt|first=F.|title=The perceptron: A probabilistic model for information storage and organization in the brain.}}</ref> 3 qatlamlı perceptrondı usındı: kiris qatlamı, oqıtılmaytuǵın tosınnan salmaqlı jasırın qatlam hám shıǵıs qatlamı. Ol keyinirek 1962-jılı variantlardı hám kompyuter eksperimentlerin, sonıń ishinde sonǵı eki qatlamı oqıtılatuǵın salmaqlı bolǵan "adaptiv preterminal tarmaqlı" tórt qatlamlı perceptron versiyasın (bul jerde ol X. D. Blok hám B. W. Nayttı atap ótedi) kiritken kitap shıǵardı.<ref name="rosenblatt1962">{{Cite book|last=Rosenblatt|first=Frank|title=Principles of Neurodynamics|publisher=Spartan, New York|year=1962}}</ref>: 16-bólim Kitapta R. D. Djozeftiń (1960)<ref name="joseph1960">{{Cite book|last=Joseph|first=R. D.|title=Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo|year=1960}}</ref> bul tórt qatlamlı sistemanıń "variantına funkcionallıq jaǵınan ekvivalent" bolǵan erterek tarmaǵı keltirilgen (kitapta Djozef 30 dan artıq ret tilge alınadı). Solay etip, Djozefti oqıtılatuǵın jasırın birlikleri bar durıs adaptiv kóp qatlamlı perceptronlardıń avtorı dep esaplaw kerek pe? Tilekke qarsı, oqıtıw algoritmi funkcionallıq emes edi hám oǵan umtıldı.

Birinshi isleytuǵın tereń oqıtıw algoritmı Maǵlıwmatlardı qayta islewdiń Toparlıq usılı boldı, ol qálegen tereńliktegi neyron tarmaqlardı oqıtıw usılı, 1965-jılı Aleksey Ivaxnenko hám Lapa tárepinen basıp shıǵarıldı. Olar onı polinom regressiyasınıń bir túri<ref name="ivak1965">{{Cite book|first=A. G.|last=Ivakhnenko|title=Cybernetics and Forecasting Techniques|url={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|year=1967|publisher=American Elsevier Publishing Co.|isbn=978-0-444-00020-0}}</ref> yamasa Rozenblatt perceptronınıń ulıwmalastırılıwı dep esapladı.<ref>{{Cite journal|last=Ivakhnenko|first=A.G.|title=Heuristic self-organization in problems of engineering cybernetics|url=https://linkinghub.elsevier.com/retrieve/pii/0005109870900920}}</ref> 1971-jılǵı maqalada bul usıl menen oqıtılǵan segiz qatlamlı tereń tarmaq súwretlengen,<ref name="ivak1971">{{Cite journal|last=Ivakhnenko|first=Alexey|title=Polynomial theory of complex systems|url=http://gmdh.net/articles/history/polynomial.pdf}}</ref> ol regressiyalıq analiz arqalı qatlam-qatlam oqıtıwǵa tiykarlanǵan. Artıq jasırın birlikler bóleklengen validaciya toplamı járdeminde qırqıp taslanadı. Túyinlerdiń aktivlestiriw funkciyaları Kolmogorov-Gabor polinomaları bolǵanlıqtan, bular kóbeytiwshi birlikleri yamasa "dárwazaları" bar birinshi tereń tarmaqlar edi.

Stoxastikalıq gradient túsiw usılı menen oqıtılǵan birinshi tereń oqıtıw kóp qatlamlı perceptronı 1967-jılı Shunichi Amari tárepinen basıp shıǵarıldı.<ref name="Amari1967">{{Cite journal|last=Amari|first=Shun'ichi|author-link=Shun'ichi Amari|title=A theory of adaptive pattern classifier}}</ref> Amaridiń studentı Saito ótkergen kompyuter eksperimentlerinde, eki ózgertiletuǵın qatlamı bar bes qatlamlı KQP sızıqlı ajıratılmaytuǵın pattern klassların klassifikaciyalaw ushın ishki kórsetiwlerdi úyrendi. Keyingi apparatlıq támiyinlew hám giperparametr sazlawlarındaǵı rawajlanıwlar stoxastikalıq gradient túsiwdi házirgi waqıtta basım oqıtıw texnikasına aylandırdı.

1969-jılı Kunixiko Fukushima ReLU (dúzetilgen sızıqlı birlik) aktivlestiriw funkciyasın kirgizdi.<ref name="Fukushima1969">{{Cite journal|last=Fukushima|first=K.|title=Visual feature extraction by a multilayered network of analog threshold elements}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFFukushima1969">Fukushima, K. (1969). "Visual feature extraction by a multilayered network of analog threshold elements". ''IEEE Transactions on Systems Science and Cybernetics''. '''5''' (4): 322–333. [[Doi (identifier)|doi]]:[[doi:10.1109/TSSC.1969.300225|10.1109/TSSC.1969.300225]].</cite></ref> Dúzetkish tereń oqıtıw ushın eń keń tarqalǵan aktivlestiriw funkciyasına aylandı.

Konvolyuciyalıq qatlamlar hám úlgi kemitiw qatlamları bar konvolyuciyalıq neyron tarmaqları (KNT) ushın tereń oqıtıw arxitekturaları 1979-jılı Kunixiko Fukushima tárepinen kirgizilgen Neokognitronnan baslandı, biraq ol keri tarqalıw usılı menen oqıtılmadı.<ref name="FUKU1979">{{Cite journal|last=Fukushima|first=K.|year=1979|title=Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron}}</ref><ref name="FUKU1980">{{Cite journal|last=Fukushima|first=K.|year=1980|title=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position}}</ref>

Keri tarqalıw - bul 1673-jılı Gottfrid Vilgelm Leybniz tárepinen islep shıǵarılǵan dizbekli qaǵıydanıń differenciallanatuǵın túyinler tarmaǵına effektiv qollanılıwı. "Qátelerdi keri tarqatıw" terminologiyası 1962-jılı Rozenblatt tárepinen kirigizilgen, biraq ol onı qalay ámelge asırıwdı bilmedi, degen menen Genri Dj. Kelli 1960-jılı basqarıw teoriyası kontekstinde keri tarqalıwdıń úziliksiz aldın alıwshısına iye edi.<ref name="kelley1960">{{Cite journal|last=Kelley|first=Henry J.|author-link=Henry J. Kelley|title=Gradient theory of optimal flight paths}}</ref> Keri tarqalıwdıń házirgi forması birinshi ret Seppo Linnaynmaanıń magistrlik dissertaciyasında (1970) basıp shıǵarıldı.<ref name="lin19763">{{Cite journal|last=Linnainmaa|first=Seppo|author-link=Seppo Linnainmaa|title=Taylor expansion of the accumulated rounding error}}</ref> G.M. Ostrovskiy hám basqalar onı 1971-jılı qayta basıp shıǵardı.<ref name="backprop" /> Paul Verbos keri tarqalıwdı 1982-jılı neyron tarmaqlarına qollandı (onıń 1974-jılǵı PhD dissertaciyası, 1994-jılǵı kitapta qayta basılǵan, ele algoritmdi súwretlemegen edi<ref name="backprop">{{Web deregi|url=https://people.idsia.ch/~juergen/who-invented-backpropagation.html|bet=Who Invented Backpropagation?|arxivurl=http://web.archive.org/web/20240730110408/https://people.idsia.ch/~juergen/who-invented-backpropagation.html|arxivsáne=30 July 2024|avtor=Schmidhuber|avtorsilteme=Juergen Schmidhuber|at=Juergen|sáne=25 Oct 2014|baspaxana=IDSIA, Switzerland|qaralǵan sáne=14 Sep 2024|citata=}}</ref>). 1986-jılı Devid E. Rumelxart hám basqalar keri tarqalıwdı keń tarqattı, biraq dáslepki jumısqa silteme bermedi.<ref>{{Cite journal|last=Rumelhart|first=David E.|date=October 1986|title=Learning representations by back-propagating errors|url=https://www.nature.com/articles/323533a0}}</ref>

=== 1980-2000 jıllar ===
Waqıt keshigiw neyron tarmaǵı (WKNT) 1987-jılı Aleks Vaybel tárepinen KNTnı fonema tanıwǵa qollanıw ushın kirgizildi. Ol konvolyuciyalardı, salmaqlardı bólisiw hám keri tarqalıwdı qollandı.  1988-jılı Vey Chjan keri tarqalıw menen oqıtılǵan KNTnı álipbe tanıwǵa qollandı.<ref name="wz1988">{{Cite journal|last=Zhang|first=Wei|title=Shift-invariant pattern recognition neural network and its optical architecture}}</ref> 
1989-jılı Yann Lekun hám basqalar pochtadaǵı qolda jazılǵan ZIP kodların tanıw ushın LeNet dep atalatugın KNTnı dúzdi. Oqıtıw 3 kún talap etti. 1990-jılı Vey Chjan KNTnı optikalıq esaplaw apparatında ámelge asırdı.<ref name="wz1990">{{Cite journal|last=Zhang|first=Wei|title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture}}</ref> 1991-jılı KNT medicinаlıq súwret obyektin segmentaciyalaw<ref>{{Cite journal|last=Zhang|first=Wei|title=Image processing of human corneal endothelium based on a learning network}}</ref> hám mammogrammalarda emshek rakın anıqlaw<ref>{{Cite journal|last=Zhang|first=Wei|title=Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network}}</ref> ushın qollanıldı. Yann Lekun hám basqalarınıń sanlardı klassifikaciyalaytuǵın 7 dárejeli KNTsı LeNet-5 (1998) bir qansha banklar tárepinen 32x32 piksel súwretlerge cifrlastırılǵan qolda jazılǵan cheklerdegi sanlardı tanıw ushın qollanıldı.<ref name="lecun98">{{Cite journal|last=LeCun|first=Yann|year=1998|title=Gradient-based learning applied to document recognition}}</ref>

Qaytalanatuǵın neyron tarmaqları (QNT) ''([[Inglis tili|ingl]]. Recurrent neural networks, RNN)''<ref name="ising1925">{{Web deregi|url=https://www.hs-augsburg.de/~harsch/anglica/Chronology/20thC/Ising/isi_fm00.html|bet=bibliotheca Augustana|jumıs=www.hs-augsburg.de}}<cite class="citation web cs1" data-ve-ignore="true">[https://www.hs-augsburg.de/~harsch/anglica/Chronology/20thC/Ising/isi_fm00.html "bibliotheca Augustana"]. ''www.hs-augsburg.de''.</cite></ref><ref name="Amari1972">{{Cite journal|title=Learning patterns and pattern sequences by self-organizing nets of threshold elements}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFAmari1972">Amari, Shun-Ichi (1972). "Learning patterns and pattern sequences by self-organizing nets of threshold elements". ''IEEE Transactions''. '''C''' (21): 1197–1206.</cite></ref> 1980-jıllarda qosımsha rawajlandı. Qaytalanıw izbe-izlikti qayta islew ushın qollanıladı hám qaytalanatuǵın tarmaqlardı ashqanda, ol matematikalıq jaqtan tereń túrdegi aldıǵa baǵdarlanǵan qatlamǵa uqsaydı. Nátiyjede, olardıń uqsas qásiyetleri hám máselesi bar, olardıń rawajlanıwı bir-birine tásir etken. QNT da eki dáslepki tásirli jumıslar - bul Jordan tarmaǵı (1986)<ref>{{Cite journal|title=Attractor dynamics and parallelism in a connectionist sequential machine|url=https://escholarship.org/uc/item/1fg2j76h}}</ref> hám Elman tarmaǵı (1990) boldı,<ref>{{Cite journal|title=Finding Structure in Time|url=https://onlinelibrary.wiley.com/doi/10.1207/s15516709cog1402_1}}</ref> olar QNT dı kognitiv psixologiya máselerin úyreniwde qollandı.

1980-jıllarda, uzaq kredit berilgen jollar menen tereń oqıtıw ushın keri tarqalıw jaqsı islemedi. Bul máseleni sheshiw ushın 1991-jılı Yurgen Shmidxuber óz-ózin úyretiw arqalı bir waqıtta bir dárejede aldınnan úyretiletuǵın QNT ierarxiyasın usındı, bunda hár bir QNT óz keyingi kirisin boljaydı, bul tómendegi QNT nıń kelesi kútilmegen kirisi bolıp tabıladı.<ref name="chunker1991">{{Cite journal|last=Schmidhuber|first=Jürgen|title=Neural Sequence Chunkers|url=https://people.idsia.ch/~juergen/FKI-148-91ocr.pdf}}</ref><ref name="schmidhuber1992">{{Cite journal|last=Schmidhuber|first=Jürgen|year=1992|title=Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991)|url=https://sferics.idsia.ch/pub/juergen/chunker.pdf}}</ref> Bul "neyron tariyx qısqartıwshısı" kóp sanlı óz-ózin shólkemlestiriwshi waqıt masshtablarında ishki kórsetpelerdi úyreniw ushın boljamlı kodlawdı paydalanbaydı. Bul keyingi tereń oqıtıwdı áhmiyetli dárejede jeńillestiriwi múmkin. QNT ierarxiyası joqarı dárejeli bólsheklewshi tarmaqtı tómendegi dárejeli avtomatlastırıwshı tarmaǵına jiberip, bir QNT ǵa biriktiriliwi múmkin.<ref name="chunker1991" /><ref name="schmidhuber1992" /> 1993-jılı neyron tariyx qısqartıwshısı waqıt boyınsha ashılǵan QNT da 1000 nan artıq izbe-iz qatlamlardı talap etetuǵın "Júdá Tereń Oqıtıw" máselesin sheshti. [[ChatGPT]] daǵı "P" usınday aldınnan oqıtıwǵa tiyisli.

Sepp Xoxrayterdiń diplom jumısı (1991) neyron tariyx qısqartıwshısın,<ref name="chunker1991">{{Cite journal|last=Schmidhuber|first=Jürgen|date=April 1991|title=Neural Sequence Chunkers}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSchmidhuber1991">[[Jürgen Schmidhuber|Schmidhuber, Jürgen]] (April 1991). [https://people.idsia.ch/~juergen/FKI-148-91ocr.pdf "Neural Sequence Chunkers"] <span class="cs1-format">(PDF)</span>. ''TR FKI-148, TU Munich''.</cite></ref> ámelge asırdı hám jobalanatuǵın gradient máselesin anıqladı hám talladı.<ref name="HOCH1991" /><ref name="HOCH2001">{{Cite book|title=A Field Guide to Dynamical Recurrent Networks|last=Hochreiter|first=S.|date=15 January 2001|publisher=John Wiley & Sons|isbn=978-0-7803-5369-5|chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|editor-last2=Kremer|editor-last1=Kolen}}</ref>  Xoxrayter jobalanatuǵın gradient máselesin sheshiw ushın qaytalanatuǵın qaldıq baylanıslardı usındı. Bul 1995-jılı jarıq kórgen uzaq qısqa múddetli este saqlaw (UQMES) ge alıp keldi. UQMES mıńlaǵan ayırım waqıt adımları aldın bolǵan waqıyalardı este saqlaw talap etiletuǵın uzaq kredit berilgen joldı "júdá tereń oqıtıw" wazıypaların úyrene aladı.<ref name="SCHIDHUB">{{Cite journal|last=Schmidhuber|first=J.|title=Deep Learning in Neural Networks: An Overview}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSchmidhuber2015">Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". ''Neural Networks''. '''61''': 85–117. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1404.7828|1404.7828]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1016/j.neunet.2014.09.003|10.1016/j.neunet.2014.09.003]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/25462637 25462637]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:11715509 11715509].</cite></ref> Sol UQMES ele házirgi arxitektura emes edi, oǵan 1999-jılı kirgizilgen "umıtıw dárwazası" kerek boldı[6], keyin ala ol standart QNT arxitekturası boldı.

1991-jılı Yurgen Shmidxuber bir tarmaqtıń jetiskenligi ekinshi tarmaqtıń sátsizligi bolatuǵın nóllik summadaǵı oyın túrinde bir-biri menen jarısatuǵın qarsılas neyron tarmaqlardı da járiyaladi.<ref name="fun2010">{{Cite journal|last=Schmidhuber|first=Jürgen|year=2010|title=Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010)}}</ref> Birinshi tarmaq - shıǵıs úlgileri boyınsha itimallıq bólistirilwin modellestiretuǵın generativlik model. Ekinshi tarmaq bul úlgilerge ortalıqtıń reakciyaların boljaw ushın gradient túsiw jolı menen úyrenedi. Bul "jasalma qızıǵıwshılıq" dep ataladı. 2014-jılı bul princip generativ qarsılas tarmaqlarda (GQT) qollanıldı.<ref name="gancurpm2020">{{Cite journal|last=Schmidhuber|first=Jürgen|title=Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)}}</ref>

1985-1995 jıllar aralıǵında, statistikalıq mexanikadan ilham alıp, Terry Seynovski, Piter Dayan, Djeffri Xinton hám basqalar tárepinen bir neshe arxitekturalar hám metodlar islep shıǵıldı, olardıń ishinde Bolcman mashinası,<ref>{{Cite journal|last1=Ackley|first1=David H.|last2=Hinton|first2=Geoffrey E.|last3=Sejnowski|first3=Terrence J.|date=1985-01-01|title=A learning algorithm for boltzmann machines|url=https://www.sciencedirect.com/science/article/pii/S0364021385800124|journal=Cognitive Science|volume=9|issue=1|pages=147–169|doi=10.1016/S0364-0213(85)80012-4|issn=0364-0213}}</ref> sheklengen Bolcman mashinası,<ref>{{Cite book|last1=Smolensky|first1=Paul|title=Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations|pages=[https://archive.org/details/paralleldistribu00rume/page/194 194–281]}}</ref> Helmgolc mashinası, hám oyaw-uyqı algoritmi bar.<ref name=":1">{{Cite journal|last1=Hinton|first1=Geoffrey E.|last2=Dayan|first2=Peter|last3=Frey|first3=Brendan J.|date=1995-05-26|title=The wake-sleep algorithm for unsupervised neural networks|journal=Science|volume=268|issue=5214|pages=1158–1161|doi=10.1126/science.7761831}}</ref> Bular tereń generativ modellerin qadaǵalawsız oqıtıw ushın dizayn etilgen edi. Biraq, olar keri tarqalıw algoritmine salıstırǵanda esaplaw jaqtan qımbatıraq edi. 1985-jılı járiyalanǵan Bolcman mashinasın úyretiw algoritmi 1986-jılı keri tarqalıw algoritmi tárepinen kóleńkede qalǵanǵa shekem qısqa waqıt dawamında keń tarqalǵan edi (b.&nbsp;112 <ref>{{Cite book|last1=Sejnowski|first1=Terrence J.|title=The deep learning revolution|date=2018}}</ref>). 1988-jılǵı tarmaq protein strukturasın boljawda eń joqarı kórsetkishke eristi, bul bioinformatikada tereń oqıtıwdıń dáslepki qollanılıwlarınan biri edi.<ref>{{Cite journal|last1=Qian|first1=Ning|last2=Sejnowski|first2=Terrence J.|date=1988-08-20|title=Predicting the secondary structure of globular proteins using neural network models|url=https://dx.doi.org/10.1016/0022-2836%2888%2990564-5|journal=Journal of Molecular Biology|volume=202|issue=4|pages=865–884|doi=10.1016/0022-2836(88)90564-5|issn=0022-2836}}</ref>

Sóylewdi tanıw ushın JNT nıń sayız hám tereń oqıtıwı (mısalı, qaytalanatuǵın tarmaqlarda) kóp jıllar dawamında izertlendi. Bul metodlar hesh qashan sóylewdi diskriminativ túrde úyretilgen generativ modeller tiykarındaǵı bir tekli emes ishki-qollap islengen Gauss aralaspa modeli/Jasırın Markov modeli (GAM-JMM) texnologiyasınan artıq nátiyje kórsete almadı. Gradient kemeyiwi hám neyron boljamlı modellerdegi waqıtlıq korrelyaciya strukturasınıń háreketiniń <ref name="Bengio1991">{{Web deregi|url=https://www.researchgate.net/publication/41229141|bet=Artificial Neural Networks and their Application to Speech/Sequence Recognition|arxivurl=https://web.archive.org/web/20210509123131/https://www.researchgate.net/publication/41229141_Artificial_neural_networks_and_their_application_to_sequence_recognition|arxivsáne=2021-05-09|avtor=Bengio|at=Y.|sáne=1991|baspaxana=McGill University Ph.D. thesis|qaralǵan sáne=2017-06-12}}</ref> hálsiz ekenligi sıyaqlı tiykarǵı qıyınshılıqlar tallap shıǵıldı. Qosımsha qıyınshılıqlar - oqıtıw maǵlıwmatlarınıń jetispewshiligi hám sheklengen esaplaw quwatı edi.

Kópshilik sóylewdi tanıw izertlewshileri neyron tarmaqlardı taslap, generativ modellestiriw menen shuǵıllandı. 1990-jıllardıń aqırında SRI International bunnan awlaq boldı. AQSH húkimetiniń NSA hám DARPA támiyinlegen ǵárejeti menen SRI sóylew hám sóylewshini tanıw boyınsha izertlew alıp bardı. Larri Xek basshılıǵındaǵı sóylewshini tanıw toparı 1998-jılǵı NIST Sóylewshini Tanıw bahalaw sınawında sóylewdi qayta islew boyınsha tereń neyron tarmaqlarda áhmiyetli tabısqa eristi.<ref name="Doddington2000">{{Cite journal|last=Doddington|first=G.|title=The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective}}</ref><ref name="Heck2000">{{Cite journal|last=Heck|first=L.|title=Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design}}</ref> Bul Nuance Verifier de qollanıldı hám tereń oqıtıwdıń birinshi iri industrial qollanılıwın kórsetti.

"Raw" ózgesheliklerdiń qollap islengen optimizaciyadan joqarı qoyıw principi birinshi ret 1990-jıllardıń aqırında "raw" spektrogramma yamasa sızıqlı filtr-bank ózgeshelikleri boyınsha tereń avtoenkoder arxitekturasında tabıslı izertlendi, bul spektrogrammalardan ózgermelew basqıshların óz ishine alatuǵın Mel-Kepstral ózgesheliklerinen artıqmashlıǵın kórsetti. Sóylewdiń raw ózgeshelikleri, tolqın formaları keyinirek úlken masshtablı jaqsı nátiyjeler berdi.<ref>{{Web deregi|url=https://www.researchgate.net/publication/266030526|bet=Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)|arxivurl=https://web.archive.org/web/20210509123218/https://www.researchgate.net/publication/266030526_Acoustic_Modeling_with_Deep_Neural_Networks_Using_Raw_Time_Signal_for_LVCSR|arxivsáne=9 May 2021|jumıs=ResearchGate|qaralǵan sáne=14 June 2017}}</ref>

=== 2000-jıllar ===
Neyron tarmaqlardıń rawajlanıwı toqtap qaldı, hám 1990-2000 jıllarda Gabor filtrleri hám tirewshi vektor mashinaları (TVM) sıyaqlı wazıypaǵa tiyisli qollap islengen ózgesheliklerdi paydalanatuǵın ápiwayı modeller artıqmashlıq ala basladı, sebebi jasalma neyron tarmaqlardıń esaplaw qunı joqarı edi hám miydiń biologiyalıq tarmaqlardı qalay dúziwi haqqında túsinik jetispedi.

2003-jılı UQMES (LSTM) ayırım wazıypalarda dástúrli sóylew tanıwshılar menen básekilese alatugın boldı.<ref name="graves2003">{{Web deregi|url=ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf|bet=Biologically Plausible Speech Recognition with LSTM Neural Nets|arxivurl=https://web.archive.org/web/20210509123139/ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf|arxivsáne=2021-05-09|avtor=Graves|at=Alex|sáne=2003|jumıs=1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland|betler=175–184|qaralǵan sáne=2016-04-09}}</ref> 2006-jılı Aleks Greyves, Santiago Fernandes, Faustino Gomes hám Shmidxuber onı UQMES dásteleri menen konnekcionistlik waqıtlıq klassifikaciya (KWK)<ref name="graves2006">{{Cite journal|last1=Graves|first1=Alex|last2=Fernández|first2=Santiago|last3=Gomez|first3=Faustino|last4=Schmidhuber|first4=Jürgen|date=2006|title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks|pages=369–376}}</ref> menen birlestirdi. 2009-jılı ol tutasqan qoldan jazıwdı tanıw boyınsha pattern tanıw jarısında jeńiske erisken birinshi QNT boldı.<ref name="SCHIDHUB">{{Cite journal|last1=Schmidhuber|first1=J.|title=Deep Learning in Neural Networks: An Overview|pages=85–117}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSchmidhuber2015">Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". ''Neural Networks''. '''61''': 85–117. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1404.7828|1404.7828]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1016/j.neunet.2014.09.003|10.1016/j.neunet.2014.09.003]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/25462637 25462637]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:11715509 11715509].</cite></ref>

2006-jılı Djeff Xinton, Ruslan Salaxutdinov, Osindero hám Texlerdiń publikaciyalarında<ref>{{Cite journal|last1=Hinton|first1=Geoffrey E.|date=1 October 2007|title=Learning multiple layers of representation|url=http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3|journal=Trends in Cognitive Sciences|volume=11|issue=10|pages=428–434|doi=10.1016/j.tics.2007.09.004|issn=1364-6613}}</ref><ref name="hinton06">{{Cite journal|last1=Hinton|first1=G. E.|last2=Osindero|first2=S.|last3=Teh|first3=Y. W.|title=A Fast Learning Algorithm for Deep Belief Nets|url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|journal=[[Neural Computation (journal)|Neural Computation]]|volume=18|issue=7|pages=1527–1554|doi=10.1162/neco.2006.18.7.1527}}</ref> generativ modellestiriw ushın tereń isenimlilik tarmaqları rawajlandırıldı. Olar birinshi sheklengen Bolcman mashinasın oqıtıw arqalı úyretiledi, soń onı muzlatıp, birinshisiniń ústine ekinshisin oqıtadı hám solay dawam etedi, keyin qálegen waqıtta qadaǵalanǵan keri tarqalıw arqalı jetilistiriw múmkin. Olar MNIST súwretleriniń tarqalıwı sıyaqlı joqarı ólshemli itimallıq tarqalıwların modellestire alatuǵın edi, biraq tutasıw áste boldı.<ref>{{Cite journal|last1=Hinton|first1=Geoffrey E.|date=October 2007|title=Learning multiple layers of representation|url=https://linkinghub.elsevier.com/retrieve/pii/S1364661307002173|journal=Trends in Cognitive Sciences|volume=11|issue=10|pages=428–434|doi=10.1016/j.tics.2007.09.004}}</ref><ref>{{Cite journal|last1=Hinton|first1=Geoffrey E.|last2=Osindero|first2=Simon|last3=Teh|first3=Yee-Whye|date=July 2006|title=A Fast Learning Algorithm for Deep Belief Nets|url=https://direct.mit.edu/neco/article/18/7/1527-1554/7065|journal=Neural Computation|volume=18|issue=7|pages=1527–1554|doi=10.1162/neco.2006.18.7.1527|issn=0899-7667}}</ref><ref>{{Cite journal|last1=Hinton|first1=Geoffrey E.|date=2009-05-31|title=Deep belief networks|journal=Scholarpedia|volume=4|issue=5|pages=5947|doi=10.4249/scholarpedia.5947|issn=1941-6016}}</ref>

Yann LeCunnıń aytıwınsha, tereń oqıtıwdıń sanaat tarawındaǵı tásiri 2000-jıllardıń basında baslandı, sol waqıtta CNT lar AQSH ta jazılǵan barlıq cheklerdiń 10% ten 20% ke shekemin qayta isleytuǵın edi. Úlken kólemli sóylewdi tanıwda tereń oqıtıwdı sanaatta qollanıw 2010-jıl átirapında baslandı.

2009-jılǵı NIPS Sóylewdi Tanıw ushın Tereń Oqıtıw seminarı sóylewdiń tereń generativ modelleriniń sheklewleri hám quwatlıraq apparat hám úlken kólemli maǵlıwmatlar toplamları menen tereń neyron tarmaqlardıń ámeliy bolıw múmkinshiligi menen motivlengen edi. Tereń isenimlilik tarmaqlardıń (TIT) generativ modellerin paydalanıp TTT lardı aldınna úyretiw neyron tarmaqlardıń tiykarǵı qıyınshılıqların jeńedi dep isenilgen edi. Biraq, úlken, kontekstke baylanıslı shıǵıs qatlamların paydalanǵanda TTT lar ushın aldınnan úyretiwdi úlken kólemli oqıtıw maǵlıwmatları menen almastırıw ápiwayi keri tarqalıw jolı menen sol waqıttaǵı eń jetilik Gauss aralaspa modeli (GAM)/Jasırın Markov Modeli (JMM) hám rawajlanǵan generativ modelge tiykarlanǵan sistemalarǵa salıstırǵanda qáteler sanın áhmiyetli dárejede tómenletkeni anıqlandı. Eki túrli sistema payda etken tanıw qáteleriniń tábiyatı xarakterli túrde hár qıylı boldı,<ref name="ReferenceICASSP2013" /> bul barlıq iri sóylewdi tanıw sistemalarında qollanılatuǵın bar bolǵan júdá nátiyjeli, runtime sóylew dekodlaw sistemasına tereń oqıtıwdı integraciyalaw boyınsha texnikalıq túsinikler berdi.<ref name="ReferenceA">{{Cite book|date=2014|title=Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer)|url={{google books |plainurl=y |id=rUBTBQAAQBAJ}}|last=Yu|first=D.|publisher=Springer}}</ref><ref>{{Web deregi|url=https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/|bet=Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research|arxivurl=https://web.archive.org/web/20180316084821/https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/|arxivsáne=16 March 2018|sáne=3 December 2015|jumıs=Microsoft Research|qaralǵan sáne=16 March 2018}}</ref> 2009-2010 jıllar átirapındaǵı GAM (hám basqa generativ sóylew modellerin) TTT modelleri menen salıstırıw sóylewdi tanıw ushın tereń oqıtıwǵa dáslepki industrial investiciyalardı xoshametledi.<ref name="ReferenceICASSP2013" /> Bul analiz diskriminativ TTT lar hám generativ modeller arasında salıstırmalı iskerlik (qáte múǵdarı 1.5% ten kem) penen júrgizildi.<ref name="HintonDengYu2012" /><ref name="ReferenceICASSP2013">{{Web deregi|url=https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf|bet=New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)|arxivurl=https://web.archive.org/web/20170926190920/https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf|arxivsáne=2017-09-26|avtor=Deng|at=L.|sáne=May 2013|baspaxana=Microsoft|qaralǵan sáne=27 December 2023}}</ref><ref name="interspeech2014Keynote">{{Web deregi|url=https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing|bet=Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'|arxivurl=https://web.archive.org/web/20170926190732/https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing|arxivsáne=2017-09-26|avtor=Li|at=Deng|sáne=September 2014|jumıs=Interspeech|qaralǵan sáne=2017-06-12}}</ref>
2010-jılı izertlewshiler tereń oqıtıwdı TIMIT ten úlken sózlikli sóylewdi tanıwǵa keńeytti, bul sheshim aǵashları menen dúzilgen kontekstke baylanıslı JMM hallarına tiykarlanǵan TTT nıń úlken shıǵıs qatlamların qabıl etiw arqalı ámelge asırıldı.<ref>{{Cite book|last=Seide|first=F.|title=Interspeech 2011|date=2011}}</ref><ref name="ReferenceA" />

=== Tereń oqıtıw revolyuciyası ===
[[Fayl:AI-ML-DL.svg|nobaý|Tereń oqıtıwdıń mashinalıq oqıtıwdıń bir bólimi ekenligin hám mashinalıq oqıtıwdıń jasalma intellekttiń (JI) bir bólimi ekenligin túsindiriw]]
Tereń oqıtıw revolyuciyası CNN- hám GPU-ǵa tiykarlanǵan kompyuter kóriw sisteması dógereginde baslandı.

Keri tarqatıw arqalı úyretilgen CNN-ler onlaǵan jıllar dawamında bar bolǵan hám NN-lerdiń GPU ámelge asırılıwları jıllar dawamında, sonıń ishinde CNN-ler de bar edi,<ref name="chellapilla2006">{{Citation |last=Chellapilla |first=Kumar |title=High performance convolutional neural networks for document processing |date=2006 |url=https://hal.inria.fr/inria-00112631/document |access-date=2021-02-14 |archive-url=https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document |url-status=live |archive-date=2020-05-18 |last2=Puri |first2=Sidd |last3=Simard |first3=Patrice}}</ref> kompyuter kóriw sistemasında alǵa ilgerilewge GPU-larda CNN-lerdiń tezrek ámelge asırılıwı kerek bolǵan. Keyinirek, tereń oqıtıw keń tarqalǵan sayın, arnawlı apparat támiynatı hám algoritm optimizaciyaları tereń oqıtıw ushın arnawlı islep shıǵıldı.

Tereń oqıtıw revolyuciyası ushın tiykarǵı alǵa ilgerilewlerdiń biri apparat támiynatındaǵı rawajlanıwlar, ásirese GPU bolǵan.<ref name="chellapilla2006">{{Citation |last=Chellapilla |first=Kumar |title=High performance convolutional neural networks for document processing |date=2006 |url=https://hal.inria.fr/inria-00112631/document |access-date=2021-02-14 |archive-url=https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document |url-status=live |archive-date=2020-05-18 |last2=Puri |first2=Sidd |last3=Simard |first3=Patrice}}<cite class="citation cs2" data-ve-ignore="true" id="CITEREFChellapillaPuriSimard2006">Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), [https://hal.inria.fr/inria-00112631/document ''High performance convolutional neural networks for document processing''], [https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document archived] from the original on 2020-05-18<span class="reference-accessdate">, retrieved <span class="nowrap">2021-02-14</span></span></cite></ref> Bazı erte jumıslar 2004-jılǵa barıp taqaladı. 2009-jılı Raina, Madhavan hám Andrew Ng 30 Nvidia GeForce GTX 280 GPU-larında úyretilgen 100M tereń isenim tarmaqları haqqında xabar berdi, bul GPU-ǵa tiykarlanǵan tereń oqıtıwdıń erte kórsetpesi edi. Olar 70 ese tezIrek úyretiwdi xabarladı.

2011-jılı Dan Ciresan''<ref name=":3">{{Cite journal|last1=Cireşan|first1=Dan Claudiu|last2=Meier|first2=Ueli|last3=Gambardella|first3=Luca Maria|last4=Schmidhuber|first4=Jürgen|date=21 September 2010|title=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition|pages=3207–3220}}</ref>''<ref name=":6">{{Cite journal|last1=Ciresan|first1=D. C.|last2=Meier|first2=U.|last3=Masci|first3=J.|last4=Gambardella|first4=L.M.|date=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|access-date=2017-06-13}}</ref> Ueli Meier, Jonathan Masci, Luca Maria Gambardella hám Jurgen Schmidhuber tárepinen DanNet dep atalǵan CNN birinshi ret vizual nızamlılıqlardı tanıw jarısında adamnan joqarı nátiyje kórsetti, dástúriy usıllardı 3 ese artıq nátiyje menen jeńip ótti. Keyin ol basqa jarıslarda da jeńiske eristi.<ref name=":8">{{Cite book|url=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|title=Advances in Neural Information Processing Systems 25|last1=Ciresan|first1=Dan|last2=Giusti|first2=Alessandro|last3=Gambardella|first3=Luca M.|last4=Schmidhuber|first4=Jürgen|date=2012|pages=2843–2851}}</ref><ref name="ciresan2013miccai">{{Cite book|last1=Ciresan|first1=D.|title=Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013|last2=Giusti|first2=A.|last3=Gambardella|first3=L.M.|last4=Schmidhuber|first4=J.|date=2013|pages=411–418}}</ref> Olar sonday-aq, GPU-daǵı maksimal birlestiriw CNN-leri iskerlikti áhmiyetli dárejede jaqsılaǵanın kórsetti.<ref name=":9">{{Cite book|title=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|last1=Ciresan|first1=D.|last2=Meier|first2=U.|last3=Schmidhuber|first3=J.}}<cite class="citation book cs1" data-ve-ignore="true" id="CITEREFCiresanMeierSchmidhuber2012">Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). "Multi-column deep neural networks for image classification". ''2012 IEEE Conference on Computer Vision and Pattern Recognition''. pp.&nbsp;3642–3649. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1202.2745|1202.2745]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1109/cvpr.2012.6248110|10.1109/cvpr.2012.6248110]]. [[ISBN (identifier)|ISBN]]&nbsp;[[Special:BookSources/978-1-4673-1228-8|<bdi>978-1-4673-1228-8</bdi>]]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:2161592 2161592].</cite></ref>

2012-jılı Andrew Ng hám Jeff Dean tek ǵana [[YouTube]] videolarınan alınǵan belgisiz súwretlerdi kórip, joqarı dárejeli túsiniklerdi, mısalı, pıshıqlardı tanıp biliw ushın úyrengen FNN dúzdi.

2012-jıl oktyabr ayında Alex Krizhevsky, Ilya Sutskever hám Geoffrey Hinton tárepinen jaratılǵan AlexNet úlken kólemli ImageNet jarısında sayız mashinalıq oqıtıw usıllarınan áhmiyetli parq penen jeńiske eristi. Keyingi ózgeriwler Karen Simonyan hám Andrew Zisserman tárepinen jaratılǵan VGG-16 tarmaǵın<ref name="krizhevsky2012">{{Cite journal|last1=Krizhevsky|first1=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|journal=NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada|access-date=2017-05-24}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFKrizhevskySutskeverHinton2012">Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). [https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf "ImageNet Classification with Deep Convolutional Neural Networks"] <span class="cs1-format">(PDF)</span>. ''NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada''. [https://web.archive.org/web/20170110123024/http://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf Archived] <span class="cs1-format">(PDF)</span> from the original on 2017-01-10<span class="reference-accessdate">. Retrieved <span class="nowrap">2017-05-24</span></span>.</cite></ref> hám Google kompaniyasınıń Inceptionv3 in óz ishine aladı.<ref name="szegedy">{{Cite journal|last1=Szegedy|first1=Christian|date=2015|title=Going deeper with convolutions|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43022.pdf|journal=Cvpr2015}}</ref>

Súwret klassifikaciyasındaǵı tabıs keyin súwretler ushın sıpatlamalar (jazıwlar) jaratıwdıń qıyınıraq wazıypasına keńeytildi, kóbinese CNN hám LSTM birlesiwi sıpatında.

2014-jılı eń joqarı texnologiya 20 dan 30 ǵa shekem qatlamı bar "júdá tereń neyron tarmaqların" úyretiw edi.<ref>{{Citation |last=Simonyan |first=Karen |title=Very Deep Convolutional Networks for Large-Scale Image Recognition |date=2015-04-10 |arxiv=1409.1556 |last2=Zisserman |first2=Andrew}}</ref> Júdá kóp qatlamlardı úyiw úyretiw anıqlıǵınıń ádewir tómenlewine alıp keldi, bul "degradaciya" máselesi dep tanıldı. 2015-jılı júdá tereń tarmaqlar úyretiw ushın eki texnika islep shıǵıldı: Highway Network 2015-jıl may ayında járiyalandı, al qaldıq neyron tarmaǵı (ResNet) 2015-jıl dekabr ayında járiyalandı. ResNet ashıq dárwazalı Highway Net sıyaqlı háreketlenedi.

Shama menen sol waqıtta, tereń oqıtıw kórkem óner tarawına tásir ete basladı. Erte mısallar Google DeepDream (2015) hám neyron stilin kóshiriw (2015), di óz ishine aladı, olardıń ekewi de VGG-19 sıyaqlı aldınnan úyretilgen súwret klassifikaciyası neyron tarmaqlarına tiykarlanǵan edi.

Generativ qarsılasıw tarmaqı (GAN) (Ian Goodfellow hám basqalar, 2014) (Jurgen Schmidhuber'diń jasalma qızıǵıwshılıq principine tiykarlanǵan<ref name="gancurpm2020">{{Cite journal|last=Schmidhuber|first=Jürgen|author-link=Jürgen Schmidhuber|date=2020|title=Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)|journal=Neural Networks|language=en|volume=127|pages=58–66|doi=10.1016/j.neunet.2020.04.008|pmid=32334341}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSchmidhuber2020">[[Jürgen Schmidhuber|Schmidhuber, Jürgen]] (2020). "Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)". ''Neural Networks''. '''127''': 58–66. [[ArXiv (identifier)|arXiv]]:<span class="id-lock-free" title="Freely accessible">[[arxiv:1906.04493|1906.04493]]</span>. [[Doi (identifier)|doi]]:[[doi:10.1016/j.neunet.2020.04.008|10.1016/j.neunet.2020.04.008]]. [[PMID (identifier)|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/32334341 32334341]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:216056336 216056336].</cite></ref>)
) 2014-2018 jıllar aralıǵında generativ modellestiriwde eń joqarı texnologiya bolıp qaldı. Nvidia'nıń StyleGAN (2018)<ref name="SyncedReview2018">{{Web deregi|url=https://syncedreview.com/2018/12/14/gan-2-0-nvidias-hyperrealistic-face-generator/|bet=GAN 2.0: NVIDIA's Hyperrealistic Face Generator|sáne=December 14, 2018|jumıs=SyncedReview.com|qaralǵan sáne=October 3, 2019}}</ref> Tero Karras hám basqalardıń Progressive GAN'ına tiykarlanıp júdá joqarı sapada súwretler jaratadı. Bunda GAN generatorı kishi ólshemnen úlken ólshemge qaray piramida tárizinde ósedi. GAN járdeminde súwret jaratıw keń qollanıldı hám deepfake'ler haqqında talqılawlardı keltirip shıǵardı.<ref>{{Web deregi|url=https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|bet=Prepare, Don't Panic: Synthetic Media and Deepfakes|arxivurl=https://web.archive.org/web/20201202231744/https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|arxivsáne=2 December 2020|baspaxana=witness.org|qaralǵan sáne=25 November 2020}}</ref>  Diffuziya modelleri (2015)<ref>{{Cite journal|last=Sohl-Dickstein|first=Jascha|date=2015-06-01|title=Deep Unsupervised Learning using Nonequilibrium Thermodynamics|journal=Proceedings of the 32nd International Conference on Machine Learning|language=en|volume=37|pages=2256–2265}}</ref> sol waqıttan baslap generativ modellestiriwde GAN'lardan ozıp ketti, [[DALL-E|DALL•E]] 2 (2022) hám Stable Diffusion (2022) sıyaqlı sistemalardı payda etti.

2015-jılı [[Google]]<nowiki/>'diń sóylewdi tanıw texnologiyası LSTM tiykarlanǵan model arqalı 49% jaqsılandı hám onı aqıllı telefonlardaǵı Google Voice Search arqalı jetkilikli etti.<ref name="sak2015">{{Web deregi|url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|bet=Google voice search: faster and more accurate|arxivurl=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|arxivsáne=2016-03-09|avtor=Sak|at=Haşim|sáne=September 2015|qaralǵan sáne=2016-04-09}}</ref>

Tereń oqıtıw hár túrli tarawlarda, ásirese kompyuter kóriwi hám avtomatik sóylewdi tanıw (ASR) sistemalarında eń aldıńǵı qatarlı texnologiya bolıp esaplanadı. TIMIT (ASR) hám MNIST (súwret klassifikaciyası) sıyaqlı keń qollanılatuǵın bahalaw toplamlarında, sonday-aq úlken sózlikli sóylewdi tanıwdıń bir qansha wazıypalarında nátiyjeleri izbe-iz jaqsılanıp bardı. Svertkalı neyron tarmaqları ASR ushın LSTM tárepinen ozıp ketti,<ref name="sak2015">{{Web deregi|url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|bet=Google voice search: faster and more accurate|arxivurl=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|arxivsáne=2016-03-09|avtor=Sak|at=Haşim|sáne=September 2015|qaralǵan sáne=2016-04-09}}<cite class="citation web cs1" data-ve-ignore="true" id="CITEREFSakSeniorRaoBeaufays2015">Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). [http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html "Google voice search: faster and more accurate"]. [https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html Archived] from the original on 2016-03-09<span class="reference-accessdate">. Retrieved <span class="nowrap">2016-04-09</span></span>.</cite></ref><ref name="sak2014">{{Web deregi|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|bet=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|arxivurl=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|arxivsáne=24 April 2018|avtor=Sak|at=Hasim|sáne=2014}}</ref><ref name="zen2015">{{Web deregi|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|bet=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis|arxivurl=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|arxivsáne=2021-05-09|avtor=Zen|at=Heiga|sáne=2015|jumıs=Google.com|betler=4470–4474|baspaxana=ICASSP|qaralǵan sáne=2017-06-13}}</ref> biraq kompyuter kóriwinde ele de tabıslı qollanılmaqta.

Yoshua Bengio, Geoffrey Hinton hám Yann LeCun "tereń neyron tarmaqların esaplaw texnikasınıń áhmiyetli komponenti etken konceptual hám injenerlik jetiskenlikler" ushın 2018-jılǵı Turing sıylıǵı menen sıylıqlandı.<ref>{{Web deregi|url=https://awards.acm.org/about/2018-turing|bet=2018 ACM A.M. Turing Award Laureates|til=en|jumıs=awards.acm.org|qaralǵan sáne=2024-08-07}}</ref>

== Neyron tarmaqları ==
<div class="thumb tmulti tright"><div class="thumbinner multiimageinner" style="width:392px;max-width:392px"><div class="trow"><div class="tsingle" style="width:167px;max-width:167px"><div class="thumbimage" style="height:188px;overflow:hidden">[[File:Simplified_neural_network_training_example.svg|alt=|189x189 nükte]]</div><div class="thumbcaption">Obyektti anıqlawda neyron tarmaqtı úyretiwdiń ápiwayılastırılǵan mısalı: Tarmaq teńiz juldızları hám teńiz kirpilerin sáwlelendiretuǵın kóp sanlı súwretler menen úyretiledi, olar kóriniw ózgesheliklerin bildiretuǵın "túyinler" menen baylanıstırıladı. Teńiz juldızları saqıynalı tekstura hám juldız forması menen sáykes keledi, al kópshilik teńiz kirpileri jolaqlı tekstura hám sopaq forma menen sáykes keledi. Biraq, saqıynalı teksturalı teńiz kirpisiniń mısalı olar arasında hálsiz salmaqlı baylanıstı payda etedi.</div></div><div class="tsingle" style="width:221px;max-width:221px"><div class="thumbimage" style="height:188px;overflow:hidden">[[File:Simplified_neural_network_example.svg|alt=|219x219 nükte]]</div><div class="thumbcaption">Tarmaqtı kiris súwretine (shep tárepte) keyingi qollanıwı:<ref><templatestyles src="Module:Citation/CS1/styles.css"></templatestyles><cite class="citation book cs1" id="CITEREFFerrie,_C.,_&_Kaiser,_S.2019">Ferrie, C., & Kaiser, S. (2019). ''Neural Networks for Babies''. Sourcebooks. [[ISBN (identifier)?action=edit&redlink=1|ISBN]]&nbsp;[[Arnawlı:Kitap qaýnarları/978-1492671206|<bdi>978-1492671206</bdi>]].</cite><span class="cs1-maint citation-comment"><code class="cs1-code"><nowiki>{{</nowiki>[[Úlgi:Cite book|cite book]]<nowiki>}}</nowiki></code>:  CS1 maint: multiple names: authors list ([[:Kategoriya:CS1 maint: multiple names: authors list|link]])</span></ref> Tarmaq teńiz juldızın durıs anıqlaydı. Biraq, saqıynalı tekstura menen teńiz kirpisi arasındaǵı hálsiz salmaqlı baylanıs sonıń menen birge aralıq túyinlerdiń birinen sońǵısına hálsiz signal beredi. Bunnan tısqarı, úyretiw procesine kirgizilmegen qabıq sopaq forma ushın hálsiz signal beredi, bul da teńiz kirpisi shıǵısı ushın hálsiz signaldı keltirip shıǵaradı. Bul hálsiz signallar teńiz kirpisi ushın jalǵan oń nátiyje beriwi múmkin.<br /><br />Haqıyqatın da, teksturalar hám konturlar bir túyin menen emes, al bir neshe túyinniń baylanısqan salmaq úlgileri menen kórsetilgen bolar edi.</div></div></div></div></div>'''Jasalma neyron tarmaqları (JNT)''' yamasa baylanıs sistemalar haywanlar miyiniń biologiyalıq neyron tarmaqlarınan ilham alǵan esaplaw sistemaları bolıp tabıladı. Bunday sistemalar wazıypalardı orınlaw ushın mısallardı qarap shıǵıw arqalı úyrenedi (óz qábiletin az-azdan jaqsılap baradı), kóbinese wazıypaǵa baylanıslı arnawlı programmalastırıwsız. Mısalı, súwretti tanıwda, olar "pıshıq" yamasa "pıshıq emes" dep qoldan belgilengen mısal súwretlerdi analiz qılıw arqalı pıshıqları bar súwretlerdi anıqlaw usılın úyreniwi múmkin hám bul analiz nátiyjelerin basqa súwretlerdegi pıshıqlardı anıqlaw ushın qollanıwı múmkin. Olar kóbinese qaǵıydaǵa tiykarlanǵan programmalastırıw járdeminde dástúriy kompyuter algoritmi menen ańlatıw qıyın bolǵan qollanıwlarda eń kóp paydalanıladı.

JNT jasalma neyronlar dep ataladı baylanısqan birlikler toplamına tiykarlanǵan (biologiyalıq miydegi biologiyalıq neyronlarǵa uqsas). Neyronlar arasındaǵı hár bir baylanıs (sinaps) basqa neyronǵa signal jibere aladı. Qabıllawshı (postsinaptikalıq) neyron signaldı (signallardı) qayta islep, keyin ózi menen baylanısqan tómengi aǵımdaǵı neyronlarǵa signal jibere aladı. Neyronlarda hal bolıwı múmkin, bul kóbinese haqıyqıy sanlar menen kórsetiledi, ádettе 0 hám 1 arasında. Neyronlar hám sinapslar da úyreniw barısında ózgerip turatıǵın salmaǵı bolıwı múmkin, bul tómengi aǵımǵa jiberetugın signaldıń kúshin arttırıwı yamasa kemeytiw múmkin.

Kóbinese, neyronlar qatlamlar boyınsha shólkemlestiriledi. Hár qıylı qatlamlar óz kirislerin hár túrli ózgertiwlerge ushıratıwı múmkin. Signallar birinshi (kiris) qatlamnan aqırǵı (shıǵıs) qatlamǵa shekem júredi, múmkin qatlamlardı bir neshe ret ótip.

Neyron tarmaq usılınıń dáslepki maqseti adamnıń miyi sıyaqlı máselelеrdi sheshiw edi. Waqıttıń ótiwi menen, dıqqat belgili intellektual qábiletlerge sáykes keliw ústin qoyıldı, bul biologiyadan awıtqıwlarǵa alıp keldi, mısalı, keri tarqalıw yamasa maǵlıwmattı keri baǵıtta ótkiziw hám sol maǵlıwmattı sáwlelendiriw ushın tarmaqtı dúzetiw.

Neyron tarmaqlar kompyuter kóriwi, sóylewdi tanıw, mashina awdarması, sociallıq tarmaq filtrlew, taxta hám video oyınlar oynaw hám medicinalıq diagnoz qoyıw sıyaqlı hár túrli wazıypalarda qollanılǵan.

2017-jılǵa kelip, neyron tarmaqlar ádette bir neshe mıńnan bir neshe million birlikke hám millionlaǵan baylanıslarǵa iye. Bul san adam miyindegi neyronlar sanınan bir neshe tártipke kem bolsa da, bul tarmaqlar kóp wazıypalardı adam dárejesinen joqarı dárejede orınlay aladı (mısalı, júzlerdi tanıw yamasa "Go" oyının oynaw<ref>{{Cite journal|last1=Silver|first1=David|last2=Huang|first2=Aja|last3=Maddison|first3=Chris J.|last4=Guez|first4=Arthur|last5=Sifre|first5=Laurent|last6=Driessche|first6=George van den|last7=Schrittwieser|first7=Julian|last8=Antonoglou|first8=Ioannis|last9=Panneershelvam|first9=Veda|date=January 2016|title=Mastering the game of Go with deep neural networks and tree search|journal=Nature|volume=529|issue=7587|pages=484–489|doi=10.1038/nature16961|issn=1476-4687|pmid=26819042|bibcode=2016Natur.529..484S}}</ref>).

=== Tereń neyron tarmaqları ===
Tereń neyron tarmaǵı (TNT) - bul kiris hám shıǵıs qatlamları arasında bir neshe qatlamı bar jasalma neyron tarmaǵı. Neyron tarmaqlarınıń hár qıylı túrleri bar, biraq olar bárqulla birdey qurawshılardan turadı: neyronlar, sinapslar, salmaqlar, qıysıqlıqlar hám funkciyalar.<ref name="Nokkada">{{Citation |title=A Guide to Deep Learning and Neural Networks |url=https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks |access-date=2020-11-16 |archive-url=https://web.archive.org/web/20201102151103/https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks |url-status=live |archive-date=2020-11-02}}</ref> Bul qurawshılar barlıǵı adam miyiniń funkciyaların eliklew usılında isleydi hám basqa ML algoritmi sıyaqlı úyretiliw múmkin.

Mısalı, iyt tuqımların tanıw ushın úyretilgen TNT berilgen súwretti qarap shıǵadı hám súwrettegi iyttiń belgili bir tuqımǵa tiyisli bolıw itimallıǵın esaplaydı. Paydalanıwshı nátiyjelеrdi kórip shıǵıp, tarmaq qaysı itimallıqlardı kórsetiwin (belgili bir shekten joqarı t.b.) tаńlaw hám usınılǵan belgini qaytarıw múmkin. Usınday hár bir matematikalıq manipulyaciya bir qatlam dep esaplanadı, hám quramalı TNT-lar kóp qatlamlarǵa iye, sonlıqtan olar "tereń" tarmaqlar dep ataladı.

TNT-lar quramalı sızıqlı emes qatnasıqlardı modellestirе aladı. TNT arxitekturaları kompoziciyalıq modellеrdi payda etedi, bunda obyekt dáslepki elementlerdiń qatlamlı kompoziciyası túrinde аńlatıladı.<ref>{{Cite journal|last1=Szegedy|first1=Christian|last2=Toshev|first2=Alexander|last3=Erhan|first3=Dumitru|date=2013|title=Deep neural networks for object detection|url=https://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection|journal=Advances in Neural Information Processing Systems|pages=2553–2561|access-date=2017-06-13}}</ref> Qosımsha qatlamlar tómengi qatlamlardaǵı ózgesheliklerdiń kompoziciyasın ámelge asırıwǵa múmkinshilik beredi, bul quramalı maǵlıwmatlardı usınday islewshi sayız tarmaqqa qaraǵanda azıraq birlikler menen modellestiriw imkaniyatın beredi.<ref name="BENGIODEEP">{{Cite journal|last1=Bengio|first1=Yoshua|title=Learning Deep Architectures for AI|url=http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf|journal=Foundations and Trends in Machine Learning|pages=1–127|access-date=3 September 2015}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBengio2009">Bengio, Yoshua (2009). [https://web.archive.org/web/20160304084250/http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20(2009).pdf "Learning Deep Architectures for AI"] <span class="cs1-format">(PDF)</span>. ''Foundations and Trends in Machine Learning''. '''2''' (1): 1–127. [[CiteSeerX (identifier)|CiteSeerX]]&nbsp;<span class="id-lock-free" title="Freely accessible">[https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.701.9550 10.1.1.701.9550]</span>. [[Doi (identifier)|doi]]:[[doi:10.1561/2200000006|10.1561/2200000006]]. [[S2CID (identifier)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:207178999 207178999]. Archived from [http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf the original] <span class="cs1-format">(PDF)</span> on 4 March 2016<span class="reference-accessdate">. Retrieved <span class="nowrap">3 September</span> 2015</span>.</cite></ref> Mısalı, siyrek kóp ózgeriwshili polinomlar TNT-lar járdeminde sayız tarmaqlarǵa qaraǵanda eksponencial túrde аńsatıraq jaqınlastırılıwı dálillendi.

Tereń arxitekturalar bir neshe tiykarǵı usıllardıń kóp variantların óz ishine aladı. Hár bir arxitektura belgili bir tarawda tabısqa eristi. Eger bir neshe arxitektura birdey maǵlıwmatlar toplamında bahalanbaǵan bolsa, olardıń islewin salıstırıw barlıq waqıtta múmkin emes.

TNT-lar ádette alǵa baǵdarlanǵan tarmaqlar bolıp, olarda maǵlıwmatlar kiriw qatlamınan shıǵıw qatlamına qaytpastan ótedi. Dáslep, TNT virtual neyronlar kartasın dúzedi hám olar arasındaǵı baylanıslarǵa qaytalanatuǵın san mánislerin yamasa "salmaqların" belgileydi. Salmaqlar hám kiriw maǵlıwmatları kóbeytiledi hám 0 menen 1 arasındaǵı shıǵıs mánisin qaytaradı. Eger tarmaq belgili bir úlgini anıq tanıy almasa, algoritm salmaqtı dúzetedi.<ref>{{Cite news|last=Hof|first=Robert D.|title=Is Artificial Intelligence Finally Coming into Its Own?|work=MIT Technology Review|url=https://www.technologyreview.com/s/513696/deep-learning/|access-date=10 July 2018}}</ref> Usılay etip, algoritm maǵlıwmatlardı tolıq qayta islew ushın durıs matematikalıq manipulyaciyan i anıqlamaǵansha, belgili parametrlerdi kóbirek tásirli etedi.

Maǵlıwmatlar hár qanday baǵdarda aǵıp óte alatuǵın qaytalanatuǵın neyron tarmaqları [[Til modeli|til modellestiriw]] sıyaqlı qollanıwlar ushın paydalanıladı. Uzaq qısqa múddetli este saqlaw (UQMES) bul maqset ushın ayırıqsha nátiyjeli.<ref name=":10">{{Web deregi|url=https://www.researchgate.net/publication/220320057|bet=Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)|arxivurl=https://web.archive.org/web/20210509123147/https://www.researchgate.net/publication/220320057_Learning_Precise_Timing_with_LSTM_Recurrent_Networks|arxivsáne=9 May 2021|jumıs=ResearchGate|qaralǵan sáne=13 June 2017}}</ref>

Konvolyucion neyron tarmaqları (ÚNT) kompyuter kóriwinde qollanıladı. Sonday-aq, KNT-lar avtomatik sóylewdi tanıw (AST) ushın akustikalıq modellestiriwde de qollanılǵan.<ref name=":2">{{Cite book|title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing}}</ref>

==== Qıyınshılıqlar ====
Jasalma neyron tarmaqları (JNT) sıyaqlı, ápiwayı úyretilgen TNT-larda da kóplegen máseleler payda bolıwı múmkin. Eki ulıwma máselе - bul hádden tıs beyimlesiw hám esaplaw waqtı.

TNT-lar qosımsha abstrakciya qatlamları sebepli hadden tıs beyimlesiwge uqıplı, bul olarǵa úyretiw maǵlıwmatlarındaǵı siyrek ǵárezliliklerdi modellestiriwge múmkinshilik beredi. Hádden tıs beyimlesiwge qarsı gúresiw ushın úyretiw waqtında Ivaxnenkonıń birlik qısqartıw<ref name="ivak1971">{{Cite journal|last=Ivakhnenko|first=Alexey|title=Polynomial theory of complex systems|url=http://gmdh.net/articles/history/polynomial.pdf|access-date=2019-11-05}}<cite class="citation journal cs1 cs1-prop-long-vol" data-ve-ignore="true" id="CITEREFIvakhnenko1971">Ivakhnenko, Alexey (1971). [http://gmdh.net/articles/history/polynomial.pdf "Polynomial theory of complex systems"] <span class="cs1-format">(PDF)</span>. ''IEEE Transactions on Systems, Man, and Cybernetics''. SMC-1 (4): 364–378. [[Doi (identifier)|doi]]:[[doi:10.1109/TSMC.1971.4308320|10.1109/TSMC.1971.4308320]]. [https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf Archived] <span class="cs1-format">(PDF)</span> from the original on 2017-08-29<span class="reference-accessdate">. Retrieved <span class="nowrap">2019-11-05</span></span>.</cite>
[[Category:CS1: long volume value]]</ref> yamasa salmaq kemeyiwi (<math> \ell_2 </math>-regularizaciya) yamasa siyreklik (<math> \ell_1 </math>-regularizaciya) sıyaqlı regularizaciya usılları qollanılıwı múmkin. Basqa variantta, dropout regularizaciyası úyretiw waqtında jasırın qatlamlardaǵı birliklerdi tosınnan alıp taslaydı. Bul siyrek ǵárezliliklerdi sırtqa shıǵarıwǵa járdem beredi.<ref name="DAHL2013">{{Cite journal|last=Dahl|first=G.|title=Improving DNNs for LVCSR using rectified linear units and dropout|url=http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf|access-date=2017-06-13}}</ref> Aqırında, kishi úyretiw toplamlarınıń kólemin úlkeytip, hádden tıs beyimlesiw itimalın azaytıw ushın, maǵlıwmatlardı kesip alıw hám burıw sıyaqlı usıllar menen keńeytiwge boladı.<ref>{{Web deregi|url=https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation|bet=Data Augmentation - deeplearning.ai {{!}} Coursera|arxivurl=https://web.archive.org/web/20171201032606/https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation|arxivsáne=1 December 2017|jumıs=Coursera|qaralǵan sáne=30 November 2017}}</ref>

TNT-lar kóplegen úyretiw parametrlerin, mısalı, kólemi (qatlamlar sanı hám hár qatlamdaǵı birlikler sanı), úyreniw tezligi hám dáslepki salmaqların esapqa alıwı kerek. Optimal parametrler ushın parametrler keńisligin tolıq izertlew waqıt hám esaplaw resursları kóz-qarasınan múmkin bolmawı múmkin. Toplamlar (ayırım mısallar ornına bir waqıtta bir neshe úyretiw mısalında gradientti esaplaw) sıyaqlı hár túrli hiyleler esaplawdı tezletedi.<ref name="RBMTRAIN">{{Cite journal|last1=Hinton|first1=G. E.|date=2010|title=A Practical Guide to Training Restricted Boltzmann Machines|url=https://www.researchgate.net/publication/221166159|access-date=2017-06-13}}</ref> Kóp yadrolı arxitekturalardıń (GPU yamasa Intel Xeon Phi sıyaqlı) úlken qayta islew múmkinshilikleri matrica hám vektor esaplawları ushın bunday qayta islew arxitekturalarınıń qolaylılıǵı sebepli úyretiwde áhmiyetli tezletiwlerdi payda etti.<ref>{{Cite book|last1=You|first1=Yang|title=Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17|pages=1–12|last2=Buluç|first2=Aydın|last3=Demmel|first3=James|chapter=Scaling deep learning on GPU and knights landing clusters|publisher=SC '17, ACM|date=November 2017|doi=10.1145/3126908.3126912|isbn=9781450351140|url=http://www.escholarship.org/uc/item/6ch40821}}</ref><ref>{{Cite journal|last1=Viebke|first1=André|last2=Memeti|first2=Suejb|last3=Pllana|first3=Sabri|title=CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi|pages=197–227|doi=10.1007/s11227-017-1994-x}}</ref>

Basqa variantta, injenerler ápiwayıraq hám jaqınlasıwshı úyretiw algoritmleri bar basqa túrdegi neyron tarmaqlarına qarawı múmkin. CMAC (cerebellarlıq model artikulyaciya kontroleri) usınday neyron tarmaqlarınıń bir túri. Ol úyreniw tezliklerin yamasa tosınnan tańlanǵan dáslepki salmaqtı talap etpeydi. Úyretiw procesi jańa maǵlıwmatlar toparı menen bir qádemde jaqınlasıwǵa kepillik bere aladı, hám úyretiw algoritminiń esaplaw quramalılıǵı qatnasqan neyronlar sanına qarata sızıqlı.

== Apparatlıq támiyinlew ==
2010-jıllardan baslap, [[mashinalıq oqıtıw]] algoritmleri hám kompyuter [[Apparatlıq támiynat|apparatlıq támiynlewiniń]] rawajlanıwı kóp sanlı sızıqlı emes jasırın birlikler hám júdá úlken shıǵıs qatlamın óz ishine alǵan tereń neyron tarmaqların úyretiw ushın nátiyjeli usıllardıń payda bolıwına alıp keldi.<ref>{{Web deregi|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|bet=Deep Neural Networks for Acoustic Modeling in Speech Recognition|arxivurl=https://web.archive.org/web/20160201033801/http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|arxivsáne=1 February 2016|avtor=Research|at=AI|sáne=23 October 2015|jumıs=airesearch.com|qaralǵan sáne=23 October 2015}}</ref> 2019-jılǵa kelip, kóbinese jasalma intellektke tiyisli jetilisiwler menen grafikalıq processorlar (GPU) úlken kólemli kommerciyalıq bult JI-di úyretiwdiń tiykarǵı usılı sıpatında oraylıq processorlar (CPU) ornın iyeledi .<ref>{{Cite news|title=GPUs Continue to Dominate the AI Accelerator Market for Now|url=https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475|access-date=11 June 2020|date=December 2019}}</ref> [[OpenAI]] AlexNet-ten (2012) AlphaZero-ǵa (2017) shekem eń iri tereń oqıtıw joybarlarında qollanılǵan apparatlıq esaplawlardı bahalap, talap etiletuǵın esaplawlar muǵdarınıń 300,000 ese artqanın hám bul kórsetkishtiń hár 3.4 ayda eki ese ósip baratırǵanın anıqladı.<ref>{{Cite news|last1=Ray|first1=Tiernan|title=AI is changing the entire nature of computation|url=https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/|access-date=11 June 2020|date=2019}}</ref><ref>{{Web deregi|url=https://openai.com/blog/ai-and-compute/|bet=AI and Compute|arxivurl=https://web.archive.org/web/20200617200602/https://openai.com/blog/ai-and-compute/|arxivsáne=17 June 2020|sáne=16 May 2018|til=en|jumıs=OpenAI|qaralǵan sáne=11 June 2020}}</ref>

Tereń oqıtıw algoritmleriniń tezligin arttırıw ushın tereń oqıtıw processorları dep atalatuǵın arnawlı elektron sxemalar islep shıǵıldı. Tereń oqıtıw processorlarına Huawei uyalı telefonlarındaǵı neyron qayta islew blokları (NPU)<ref>{{Web deregi|url=https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/|bet=HUAWEI Reveals the Future of Mobile AI at IFA 2017 &#124; HUAWEI Latest News &#124; HUAWEI Global|jumıs=consumer.huawei.com}}</ref> hám Google Cloud Platform-daǵı tensor qayta islew blokları (TPU) sıyaqlı bult esaplaw serverleri kiredi. Sonday-aq, Cerebras Systems úlken tereń oqıtıw modellerin qayta islew ushın arnawlı sistema - CS-2 dúzdi, ol sanaat tarawındaǵı eń iri processor - ekinshi áwlad Wafer Scale Engine (WSE-2) tiykarında isleydi.<ref>{{Web deregi|url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/|bet=Cerebras Hits the Accelerator for Deep Learning Workloads|avtor=Woodie|at=Alex|sáne=2021-11-01|jumıs=Datanami|qaralǵan sáne=2022-08-03}}</ref><ref>{{Web deregi|url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/|bet=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors|sáne=2021-04-20|til=en-US|jumıs=VentureBeat|qaralǵan sáne=2022-08-03}}</ref>

Atomlıq júdá juqa yarım ótkizgishler logikalıq operaciyalar hám maǵlıwmatlardı saqlawda bir qıylı tiykarǵı qurılma qollanılatuǵın energiya ónimli tereń oqıtıw apparatlıq támiyinlewin jaratıw ushın úmitli dep esaplanadı. 2020-jılı Marega hám onıń kásiplesleri qalqıwshı zatvor maydan effektli tranzistorlarına (FGFET) tiykarlanǵan logikalıq-yadta qurılmalar hám sxemalardı rawajlandırıw ushın úlken maydanlı aktiv kanal materialı menen ótkerilgen tájiriybeler haqqında maqala járiyaladı.

2021-jılı J. Feldmann hám onıń kásiplesleri parallel konvolyuciyalıq qayta islew ushın integraciyalanǵan fotonikalıq apparatlıq tezletkishti usınıs etti.<ref name="photonic">{{Cite journal|title=Parallel convolutional processing using an integrated photonic tensor|year=2021|doi=10.1038/s41586-020-03070-1|last1=Feldmann|first1=J.|last2=Youngblood|first2=N.|last3=Karpov|first3=M.|last4=Gehring|first4=H.|journal=Nature|volume=589|issue=2|pages=52–58|pmid=33408373}}</ref> Avtorlar integraciyalanǵan fotonikaniń elektronikalıq analoglarına salıstırǵanda eki tiykarǵı artıqmashılıǵın atap ótedi: (1) jiyilik grebenkaları menen birgelikte tolqın uzınlıǵı boyınsha bólistiriw arqalı júdá kóp sanlı parallel maǵlıwmat uzatıw, hám (2) júdá joqarı maǵlıwmat modulyaciya tezligi.<ref name="photonic" /> Olardıń sisteması sekundına trillionlaǵan kóbeytiw-jıynaw operaciyaların orınlay aladı, bul integraciyalanǵan fotonikanıń maǵlıwmatqa bay JI qollanıwlarındaǵı potencialın kórsetedi.<ref name="photonic" />

== Derekler ==
{{Reflist|30em}}
[[Kategoriya:Programmalıq injiniring]]
__BÖLİDİMÖNDEMEW__