Кіріспе
Машиналық оқытуда қолданылатын есептеу моделі
Қайталанатын нейрондық желі (RNN) – жасанды нейрондық желілердің екі негізгі түрінің бірі, оның қабаттары арасындағы ақпарат ағынының бағытымен сипатталады. Бір бағытты feedforward нейрондық желісінен өзгеше, бұл екі бағытты жасанды нейрондық желі, яғни кейбір түйіндердің шығысы сол түйіндерге келесі кіріс ретінде әсер ете алады. Олардың ішкі жай-күйін (жадын) пайдаланып, кез келген тізбектелген кірістерді өңдеу мүмкіндігі, оларды сегменттелмеген, жалғасқан қолжазбаны немесе сөйлеуді тану сияқты міндеттерге қолдануға мүмкіндік береді. "Қайталанатын нейрондық желі" термині шексіз импульсті жауапқа ие желілер класына қатысты қолданылады, ал "конволюциялық нейрондық желі" – шекті импульсті жауап класына. Екі кластағы желілердің де уақыт бойынша динамикалық мінез-құлқы байқалады. Шекті импульсті қайталанатын желі – бұл бағытталған ациклдік график, оны жайып, қатаң алға бағытталған нейрондық желімен алмастыруға болады, ал шексіз импульсті қайталанатын желі – бағытталған циклдік график, оны жаю мүмкін емес. Қосымша сақталған жай-күйлер мен желінің тікелей бақылауындағы жад, шексіз және шекті импульсті желілерге қосылуы мүмкін. Уақыттық кешігулер немесе кері байланыс циклдары болған жағдайда, басқа желі немесе график жадты алмастыра алады. Мұндай бақыланатын жай-күйлер қақпалы жай-күйлер немесе қақпалы жад деп аталады және ұзақ мерзімді қысқа мерзімді жад желілерінің (LSTM) және қақпалы қайталанатын бірліктердің құрамында болады. Бұл сондай-ақ кері байланыс нейрондық желісі (FNN) деп те аталады. Қайталанатын нейрондық желілер теориялық тұрғыдан Тьюринг толықтығына ие және кез келген кіріс тізбектерін өңдеу үшін кез келген бағдарламаны орындай алады.
LSTM
Ұзақ мерзімді қысқа мерзімді жад (LSTM) желілерін 1997 жылы Хохрайтер мен Шмидхубер ойлап тапты және көптеген қолдану салаларында дәлдік бойынша рекордтар орнатты. 2007 жылға қарай LSTM сөйлеуді тану саласында революция жасады, кейбір сөйлеу қолданбаларында дәстүрлі модельдерден басып өтті. 2009 жылы Connectionist Temporal Classification (CTC) арқылы оқытылған LSTM желісі үлгілерді тану конкурстарында жеңіс туған алғашқы RNN болды, ол байланысты қолжазбаларды тануда бірнеше жарыстарда жеңіп алды. 2014 жылы қытайлық Baidu компаниясы CTC арқылы оқытылған RNN-ді 2S09 Switchboard Hub5'00 сөйлеуді тану деректер жинағының көрсеткішін ешқандай дәстүрлі сөйлеуді өңдеу әдістерін қолданбай бұзып жіберді. LSTM үлкен сөздікпен сөйлеуді тануды да жақсартты және Google Android-те пайдаланылды. 2015 жылы Google-дың сөйлеуді тану жүйесі CTC арқылы оқытылған LSTM арқасында 49%-ға өсімді көрсетті. LSTM машиналық аударма, тілдік модельдеу және көп тілді тілді өңдеу салаларында жаңа рекордтар орнатты. LSTM конволюциялық нейрондық желілермен (CNN) бірігіп автоматты түрде суреттерге сипаттама жазуды жақсартты.
Архитектуралар
РНН-нің көптеген нұсқалары бар.
Толық қайталануы
Толық қайталанатын нейрондық желілер (FRNN) барлық нейрондардың шығыстарын барлық нейрондардың кірістерімен байланыстырады. Бұл – нейрондық желілердің ең жалпы топологиясы, себебі басқа барлық топологияларды кейбір байланыс салмақтарын нөлге теңеу арқылы, сол нейрондар арасындағы байланыс жоқтығын модельдеу арқылы көрсетуге болады. Оң жақтағы иллюстрация көптеген адамдарды жаңылыстыруы мүмкін, өйткені практикалық нейрондық желілердің топологиясы көбінесе "қабаттар" түрінде ұйымдастырылады және сурет сондай көрініс береді. Дегенмен, қабаттар сияқты көрінетін нәрселер, шындығында, бір толық қайталанатын нейрондық желінің әртүрлі уақыт кезеңдері. Суреттегі сол жақ бөлік, қайталанатын байланыстарды 'v' деп белгіленген доға арқылы көрсетеді. Ол уақыт бойынша "ашылады", нәтижесінде қабаттар пайда болады.
Хопфилд
Хопфилд желісі – қабаттар арасындағы барлық байланыстардың шамасы бірдей болатын рекурренттік нейрондық желі. Ол стационарлық кіріс деректерін қажет етеді, сондықтан ол жалпы рекурренттік нейрондық желі емес, себебі ол үлгілер тізбегін өңдемейді. Дегенмен, ол конвергенцияға келетініне кепілдік береді. Егер байланыстар Хеббиандық оқыту арқылы жаттықтырылса, Хопфилд желісі байланыс өзгерістеріне төзімді, мазмұндық адрестемелі жад ретінде жұмыс істей алады.
Екі бағыттағы ассоциативтік жады
Барт Коско ұсынған екі бағытты ассоциативтік жад (BAM) желісі – ассоциативтік деректерді вектор ретінде сақтайтын Хопфилд желісінің бір түрі. Екі бағыттылығы матрица және оның транспозіциясы арқылы ақпаратты өңдеуден туындайды. Әдетте, ассоциативтік жұптарды екілік кодтаудан гөрі қос полюсті кодтау арқылы жазу ұсынылады. Соңғы кезде Марков қадамдарын қолданатын, стохастикалық BAM модельдері желінің тұрақтылығын арттыру және нақты қолданыстарға сәйкестігін жақсарту үшін оңтайландырылды. BAM желісі екі қабаттан тұрады, олардың кез келгені қауымдастыруды еске түсіру үшін кіріс ретінде қолданылып, екінші қабатта нәтиже бере алады.
Эхо күйі
Эхолық жүйелер (ESN) сирек байланысқан, кездейсоқ жасырын қабатқа ие. Желідегі өзгертілетін (оқытылатын) жалғыз бөлік – шығыс нейрондарының салмағы. ЭСН нақты уақыт қатарларын жақсы қайта жасай алады. Импульстік нейрондарға арналған нұсқасы – сұйық күйдегі машина деп аталады.
Тәуелсіз РНН (IndRNN)
Тәуелсіз қайталанатын нейрондық желі (IndRNN) дәстүрлі толық байланысты RNN-дегі градиент жоғалу және жарылу проблемаларын шешеді. Бір қабаттағы әр нейрон тек өзінің бұрынғы күйін контексттік ақпарат ретінде алады (осы қабаттағы барлық басқа нейрондармен толық байланыс орнатудың орнына), соның салдарынан нейрондар бір-бірінің тарихына тәуелсіз болады. Градиентті кері таратуды реттеу арқылы ұзақ немесе қысқа мерзімді жадты сақтау үшін градиенттің жоғалуы мен жарылуына жол бермейді. Нейрондар аралық ақпарат келесі қабаттарда зерттеледі. IndRNN ReLU сияқты қанықпаған сызықтық емес функциялармен тұрақты түрде оқытылуы мүмкін. Терең желілерді өткізіп жіберу байланыстары арқылы оқытуға болады.
Қайталану
Рекурсивті нейрондық желі, дифференциалданатын график сияқты құрылымды топологиялық тәртіппен кезіп өту арқылы, оған рекурсивті түрде бірдей салмақтар жиынтығын қолдану арқылы жасалады. Мұндай желілер көбінесе автоматты дифференциацияның кері режимімен оқытылады. Олар логикалық терминдер сияқты құрылымның таратылған өрнектерін өңдей алады. Рекурсивті нейрондық желілердің ерекше жағдайы – құрылымы тізбектей тізілген RNN. Рекурсивті нейрондық желілер табиғи тілді өңдеуде қолданылған. Рекурсивті нейрондық тензорлық желі ағаштағы барлық түйіндер үшін тензорға негізделген құрастыру функциясын пайдаланады.
Нейрохимиялық компрессор
Нейрондық тарих компрессоры – бұл бақылаусыз РНН-дар жинағы. Кіріс деңгейінде ол алдыңғы кірістерден келесі кірісті болжауды үйренеді. Иерархиядағы бір РНН-ның болжамауға болатын кірістері ғана келесі жоғары деңгейдегі РНН-ға кіріс болады, сондықтан ол өзінің ішкі күйін сирек қайта есептейді. Осылайша, әрбір жоғары деңгейдегі РНН төмендегі РНН-дағы ақпараттың қысқартылған нұсқасын зерттейді. Бұл кіріс тізбегін ең жоғары деңгейдегі өрнектен дәл қайта құруға мүмкіндік береді. Жүйе деректердің сипаттама ұзындығын немесе ықтималдығының теріс логарифмін тиімді түрде азайтады. Келіп түсетін деректер тізбегінде көптеген оқуға болатын болжамдылықтар болған жағдайда, ең жоғары деңгейдегі РНН бақыланатын оқытуды маңызды оқиғалар арасындағы ұзақ интервалдар бар тіпті терең тізбектерді оңай жіктеу үшін пайдалана алады. РНН иерархиясын екі РНН-ға бөлуге болады: "есте қалатын" бөлектегіш (жоғары деңгей) және "есте болмайтын" автоматтандырғыш (төменгі деңгей). 1992 жылы нейрондық желілерде автоматты дифференциация немесе кері таралу ойда келді. 1993 жылы мұндай жүйе уақыт бойынша жайылған РНН-де 1000-нан астам кезекті қабаттарды қажет ететін "Өте терең оқыту" міндетін шешті. Ұзақ мерзімді қысқа мерзімді жад – бұған мысал, бірақ мұндай формалды карталар немесе тұрақтылықтың дәлелі жоқ.
Ұзақ мерзімді қысқа мерзімді есте сақтау
Ұзақ мерзімді қысқа мерзімді жад (LSTM) – жоғалып бара жатқан градиент мәселесін болдырмайтын терең оқыту жүйесі. LSTM әдетте "ұмыту қақпалары" деп аталатын рекурренттік қақпалармен күшейтіледі. LSTM кері таратылған қателердің жоғалып кетуіне немесе шарықтауға жол бермейді, бұл үшін мыңдаған, тіпті миллиондаған дискретті уақыт қадамдары бұрын болған оқиғалардың жадына сақталуы қажет. Проблемаға қатысты LSTM сияқты топологиялар дами алады. LSTM маңызды оқиғалар арасындағы ұзақ кешігулерге қарамастан жұмыс істейді және төмен және жоғары жиілікті компоненттердің араласуын қамтитын сигналдарды өңдей алады. Көптеген қолданбалар LSTM RNN-дарының жиынтығын пайдаланады және оларды коннекционистік уақыттық жіктеу (CTC) арқылы оқу жинағындағы белгілер тізбегінің ықтималдығын барынша арттыратын RNN салмақ матрицасын табу үшін жаттықтырады. CTC қатарластыру мен танудың екеуін де қамтамасыз етеді. LSTM, жасырын Марков модельдері (HMM) және ұқсас ұғымдарға негізделген бұрынғы модельдерден өзгеше, контекстке сезімтал тілдерді тануды үйрене алады. Олардың көп дауысты музыканы және сөйлеу сигналдарын модельдеудегі өнімділігі ұзақ мерзімді қысқа мерзімді жадқа ұқсас екені анықталды. Оларда LSTM-ге қарағанда параметрлер аз, себебі оларда шығыс қақпасы жоқ.
Екі бағыттағы
Екі бағытты RNN тізбектің әрбір элементін болжау немесе белгілеу үшін, элементтің өткен және болашақ контекстіне сүйене отырып, шекті тізбек қолданады. Бұл екі RNN-ның нәтижелерін біріктіру арқылы іске асырылады: біреуі тізбекті солдан оңға, ал екіншісі оңнан солға өңдейді. Біріктірілген нәтижелер – мұғалімнің мақсатты сигналдарға сәйкес болжамдары. Бұл техника, әсіресе LSTM RNN-мен қолданылғанда өте тиімді екені дәлелденген.
Иерархиялық қайталанатын нейрондық желі
Иерархиялық қайталанатын нейрондық желілер (HRNN) өз нейрондарын әртүрлі тәсілдермен байланыстырып, иерархиялық мінез-құлықты пайдалы кіші бағдарламаларға бөліп талдайды. Мұндай танымның иерархиялық құрылымдары философ Анри Бергсонның есте сақтау туралы теорияларында кездеседі, оның философиялық көзқарастары иерархиялық модельдерді дамытуға әсер етті. Иерархиялық қайталанатын нейрондық желілер болжам жасауда тиімді, олар тұтыну бағалары индексінің (CPI) бөлінген инфляциялық компоненттерін болжауға көмектеседі. HRNN моделі CPI иерархиясының жоғары деңгейлерінен алынған ақпаратты пайдаланып, төменгі деңгейдегі болжамдарды жақсартады. АҚШ-тың CPI U индексінен алынған маңызды деректерді бағалау, HRNN моделінің инфляцияны болжаудың әртүрлі беделді әдістерімен салыстырғанда жоғары тиімділігін көрсетеді.
Қайталанатын көпқабатты перцептрондық желі
Жалпы, рекуррентті көп қабатты перцептрон желісі (RMLP желісі) каскадталған кіші желілерден тұрады, олардың әрқайсысы бірнеше қабатты түйіндерді қамтиды. Әрбір кіші желі соңғы қабатында кері байланыс болған жағдайда ғана, ал қалғандары тікелей тарату арқылы жұмыс істейді. Осы кіші желілердің арасындағы байланыс тек тікелей тарату арқылы жүзеге асырылады.
Бірнеше уақыт масштабтары моделі
Көп уақыт өлшемді рекурренттік нейрондық желі (MTRNN) – бұл нейронға негіделген есептеу моделі, ол нейрондар арасындағы кеңістіктік байланысқа және әрқайсысының өзіндік уақыт сипаттамалары бар нейрондық белсенділіктің әртүрлі түрлеріне байланысты, өзін-өзі ұйымдастыру арқылы мидың функционалдық иерархиясын имитациялай алады. Мұндай әртүрлі нейрондық белсенділіктердің арқасында, кез келген мінез-құлық жиынтығының үздіксіз тізбектері қайта пайдалануға болатын негізгі элементтерге бөлінеді, олар өз кезегінде әртүрлі тізбекті мінез-құлықтарға икемді түрде біріктіріледі. Мұндай иерархияның биологиялық негіздемесі Хокинс өзінің "Ақылдылық туралы" кітабында мидың жұмыс ілуінің есте сақтауды болжау теориясында талқыланды. Бұл иерархия философ Анри Бергсонның есте сақтау туралы теорияларымен де сәйкес келеді, олар MTRNN моделіне енгізілген.
Нейро-Тьюринг машиналары
Нейро-Тьюринг машиналары (НТМ) – қайталанатын нейрондық желілерді сыртқы жад ресурстарымен байланыстыру арқылы кеңейту әдісі болып табылады, олар назар процестері арқылы осы ресурстармен өзара әрекеттесе алады. Бұл біріктірілген жүйе Тьюринг машинасына немесе фон Нейман архитектурасына ұқсас, бірақ толыққанды дифференциалданады, бұл оны градиенттік төмен түсу арқылы тиімді жаттықтыруға мүмкіндік береді.
Айырмаланатын нейрокомпьютер
Дифференциалдық нейрондық компьютерлер (DNC) – бұл нейрондық Тьюринг машиналарының кеңейтілген түрі, олар әрбір жад адресінің шамасын бұлыңғыр түрде пайдалануға және оқиғалардың тіркемесін сақтауға мүмкіндік береді.
Нейрондық желілердегі төменге қарай жылжыту автоматтары
Нейрондық желілік түрту автоматтары (NNPDA) NTM-дерге ұқсас, бірақ таспалар дифференциалданатын және жаттықтырылатын аналогтық стектермен алмастырылады. Осылайша, олар күрделілігі тұрғысынан контекстсіз грамматикаларды (CFG) танушыларға ұқсас.
Мемстивтік желілер
HP Labs-тің Грег Снайдер мемристивті наноқұрылғылармен кортикальді есептеу жүйесін сипаттайды. Мемисторлар (жадты кедергілер) жұқа пленкалық материалдар арқылы іске асырылады, онда кедергі пленка ішінде иондардың немесе оттегінің бос орындарының қозғалысы арқылы электрлік түрде реттеледі. DARPA-ның SyNAPSE жобасы IBM Research және HP Labs компанияларын Бостон университетінің Когнитивтік және Нейрологиялық жүйелер бөлімімен (CNS) бірлесіп, мемристивтік жүйелерге негізделген нейроморфты архитектураларды әзірлеу үшін қаржыландырды. Мемристивтік желілер – физикалық нейрондық желілердің ерекше түрі, олар (кіші) Хопфилд желілеріне өте ұқсас қасиеттерге ие, себебі оларда үздіксіз динамика, шектеулі жад сыйымдылығы және Изинг моделіне асимптотикалық жақындау арқылы функцияны азайту арқылы табиғи релаксация бар. Осы тұрғыдан алғанда, мемристивтік тізбектің динамикасы резистор-конденсатор желісімен салыстырғанда, қызықтырақ сызықтық емес мінез-құлыққа ие. Осы көзқарас бойынша, аналогты мемристивтік желілерді жасау – құрылғының мінез-құлқы тізбектің қосылымдарынан немесе топологиясынан тәуелді болатын нейроморфтық инженерияның ерекше түрі болып табылады. Бұл желілердің эволюциясын Caravelli–Traversa–Di Ventra теңдеуінің түрленулерін қолдана отырып, талдау арқылы зерттеуге болады.
Байланысты салалар мен модельдер
РНН-дер хаотикалық түрде жұмыс істеуі мүмкін. Мұндай жағдайларда, талдау үшін динамикалық жүйелер теориясы қолданылуы мүмкін. Бұл, шындығында, белгілі бір құрылымы бар рекурсивті нейрондық желілер – сызықтық тізбек. Рекурсивті нейрондық желілер кез келген иерархиялық құрылыммен жұмыс істейді, балалық өкілдіктерді аталық өкілдіктерге біріктіреді, ал рекурренттік нейрондық желілер уақыттың сызықтық ағынымен жұмыс істейді, бұрынғы уақыт қадамын және жасырын өкілдікті ағымдағы уақыт қадамының өкілдігіне біріктіреді. Атап айтқанда, РНН-дер шекті импульстік жауап және шексіз импульстік жауап сүзгілерінің бейсызық нұсқалары ретінде, сондай-ақ бейсызық авторегрессивті экзогенді модель (NARX) ретінде көрінуі мүмкін. Тізбектерді тану үшін жадқа негізделген оқытудың әсерін, нейрондардың салыстырмалы түрде жоғары жиілікті импульстіқ белсенділігінде байқалатын үнсіздендіру механизмін пайдаланатын, биологиялық негізделген модель арқылы жүзеге асыруға болады.