Жүйке желісіндегі жасанды нейрон моделі

Кіріспе

Математикалық функция, қарапайым модель ретінде ұсынылған. Жасанды нейрон – бұл нейрондық желідегі биологиялық нейрондардың моделі ретінде ұсынылған математикалық функция. Жасанды нейрондар – жасанды нейрондық желілердің элементар бірліктері. Жасанды нейрон – бір немесе бірнеше кіріс алатын, осы кірістерге салмақ қойып, оларды шығыс беру үшін қосатын функция. Жасанды нейронның дизайны нейрондық тізбектерден шабыттандырылған. Оның кірістері нейрон дендриттеріндегі оңтайлы постсинаптикалық потенциалдар мен тежеуші постсинаптикалық потенциалдарға ұқсас, ал оның салмағы синапстық салмаққа, ал шығысы нейронның аксоны бойымен берілетін әрекет потенциалына ұқсас. Әдетте, әрбір кіріс жеке салмақтандырылады, ал қосындысы көбінесе «бестендіру» (шектік потенциалына шамамен сәйкес келетін) деп аталатын мүшеге қосылады, содан кейін «белсендіру функциясы» немесе «көшіру функциясы» деп аталатын сызықтық емес функция арқылы өтеді. Көшіру функциялары әдетте сигмоид пішіндес болады, бірақ олар басқа сызықтық емес функциялар, кесімдік сызықтық функциялар немесе қадамдық функциялар түрінде де болуы мүмкін. Олар көбінесе монотонды түрде өседі, үздіксіз, дифференциалданады және шектеулі болады. Сигмоидты және ReLU сияқты белсендіру функцияларынан көптеген тапсырмаларда жақсы нәтиже беретін, бірнеше нөлдері бар монотонды емес, шексіз және тербелісті белсендіру функциялары да соңғы кезде зерттелді. Шектілеу функциясы логикалық қақпаларды құруға әсер етті, олар мидың өңдеуіне ұқсас логикалық тізбектерді құруға қолданылады. Мысалы, жақында осындай логиканы дамыту үшін мемристорлар сияқты жаңа құрылғылар кеңінен қолданылды. Жасанды нейронның көшіру функциясын сызықтық жүйенің көшіру функциясымен шатастырмау керек. Жасанды нейронды жартылай сызықтық бірлік, Nv нейрон, бинарлық нейрон, сызықтық шектік функция немесе Маккалох-Питс (MCP) нейроны деп те атауға болады, бұл қолданылатын құрылымға байланысты. Жасанды нейрондардың қарапайым үлгілері, мысалы, Маккалох-Питс моделі, кейде «карикатуралық модельдер» деп сипатталады, өйткені олар бір немесе бірнеше нейрофизиологиялық байқауларды көрсетуге арналған, бірақ реализмге мән берілмейді. Жасанды нейрондар сонымен қатар нейроморфтық инженериядағы жасанды жасушаларды білдіруі мүмкін, олар табиғи физикалық нейрондарға ұқсас.

Mathematical function conceived as a crude model
An artificial neuron is a mathematical function conceived as a model of biological neurons in a neural network. Artificial neurons are the elementary units of artificial neural networks. The artificial neuron is a function that receives one or more inputs, applies weights to these inputs, and sums them to produce an output. The design of the artificial neuron was inspired by neural circuitry. Its inputs are analogous to excitatory postsynaptic potentials and inhibitory postsynaptic potentials at neural dendrites, or , its weights are analogous to synaptic weight, and its output is analogous to a neuron's action potential which is transmitted along its axon. Usually, each input is separately weighted, and the sum is often added to a term known as a bias (loosely corresponding to the threshold potential), before being passed through a non linear function known as an activation function or transfer function. The transfer functions usually have a sigmoid shape, but they may also take the form of other non linear functions, piecewise linear functions, or step functions. They are also often monotonically increasing, continuous, differentiable and bounded. Non monotonic, unbounded and oscillating activation functions with multiple zeros that outperform sigmoidal and ReLU like activation functions on many tasks have also been recently explored. The thresholding function has inspired building logic gates referred to as threshold logic; applicable to building logic circuits resembling brain processing. For example, new devices such as memristors have been extensively used to develop such logic in recent times. The artificial neuron transfer function should not be confused with a linear system's transfer function. An artificial neuron may be referred to as a semi linear unit, Nv neuron, binary neuron, linear threshold function, or McCulloch–Pitts (MCP) neuron, depending on the structure used. Simple artificial neurons, such as the McCulloch–Pitts model, are sometimes described as "caricature models", since they are intended to reflect one or more neurophysiological observations, but without regard to realism. Artificial neurons can also refer to artificial cells in neuromorphic engineering that are similar to natural physical neurons.

Маккалок-Питтс (МКП) нейроны

МКК нейроны – дискретті уақыт қадамдарында жұмыс істейтін шектеулі жасанды нейронның бір түрі. Олардың нөл немесе одан көп кірісі бар, және олар деп жазылады. Олардың бір шығысы бар, деп жазылады. Әрбір кіріс қоздырғыш немесе тежегіш болуы мүмкін. Шығыс тыныш немесе белсенді болуы мүмкін. МКК нейронының да шегі бар. МКК нейрондық желідегі барлық нейрондар синхронды дискретті уақыт қадамдарында жұмыс істейді. уақыт моментінде, нейронның шығысы, егер белсенді кірістердің саны шегіне тең немесе одан жоғары болса, және ешқандай тежегіш кіріс белсенді болмаса; әйтпесе болады. Әрбір шығыс өзін қоса алғанда, кез келген нейронға кіріс ретінде берілуі мүмкін (яғни, өзіндік циклдар мүмкін). Дегенмен, бір шығыс бір нейронмен бірден артық рет байланыса алмайды. Өзіндік циклдар қайшылықтар тудырмайды, себебі желі синхронды дискретті уақыт қадамдарында жұмыс істейді. Мысал ретінде, 0 шегі бар бір нейронды және бір тежегіш өзіндік циклді қарастырайық. Оның шығысы әр қадамда 0 мен 1 арасында ауысып, "сағат" ретінде жұмыс істейді. Кез келген ақырлы автоматты МКК нейрондық желісімен модельдеуге болады. Шегі жоқ лентамен жабдықталған МКК нейрондық желісі кез келген Тьюринг машинасының жұмысын модельдей алады.

Биологиялық модельдер

Жасанды нейрондар биологиялық аналогтарының кейбір аспектілерін имитациялауға арналған. Дегенмен, биологиялық және жасанды нейрондық желілер арасында елеулі өнімділік айырмашылығы бар. Атап айтқанда, адам миында осцилляциялық белсендіру функциясымен және XOR функциясын үйренуге қабілетті жеке биологиялық нейрондар табылды. Дендриттер – Биологиялық нейронда дендриттер кіріс векторы ретінде қызмет етеді. Бұл дендриттер жасушаға көптеген (>1000) көрші нейрондардан сигналдарды қабылдауға мүмкіндік береді. Жоғарыдағы математикалық сипаттамада көрсетілгендей, әр дендрит сол дендриттің "салмақ мәнімен" "көбейтуді" жүзеге асыра алады. Көбейту, синапстық нейротрансмиттерлерге жауап ретінде дендритке енгізілген сигналдық химиялық заттардың арақатынасын арттыру немесе азайту арқылы іске асырылады. Теріс көбейту әсеріне, синапстық нейротрансмиттерлерді қабылдаған кезде дендрит бойымен сигнал тежегіштерін (яғни, қарама-қарсы зарядталған иондарды) жіберу арқылы қол жеткізуге болады. Сома – Биологиялық нейронда сома жоғарыдағы математикалық сипаттамада көрсетілген жиынтықтау функциясы ретінде әрекет етеді. Дендриттерден сомаға оң және теріс сигналдар (тиісінше, қозу және тежеу) келгенде, оң және теріс иондар жасуша денесіндегі ерітіндіде араласу нәтижесінде тиімді түрде қосылады. Аксон – Аксон өзінің сигналын сома ішінде жүретін жиынтықтау процесінен алады. Аксонға ашылатын тесік, сома ішіндегі ерітіндінің электрлік потенциалын өлшейді. Сома белгілі бір потенциалға жеткенде, аксон өзінің бойымен толық сигнал импульсын жібереді. Осыған байланысты, аксон біздің жасанды нейрондарымызды басқа жасанды нейрондармен байланыстыру мүмкіндігін ұсынады. Алайда, көптеген жасанды нейрондардың айырмашылығы, биологиялық нейрондар дискретті импульстармен жұмыс істейді. Сома ішіндегі электрлік потенциал белгілі бір шегіне жеткен сайын, аксон арқылы импульс жіберіледі. Бұл импульсты үздіксіз мәндерге түрлендіруге болады. Аксонның жылдамдығы (секундына белсендірулер және т.б.) көрші жасушаларға сигнал иондарының енгізілу жылдамдығымен тікелей байланысты. Биологиялық нейрон неғұрлым жылдам жұмыс істесе, жақын орналасқан нейрондар да соғұрлым жылдам электрлік потенциалды жинақтайды (немесе электрлік потенциалды жоғалтады, бұл қозған нейронға қосылған дендриттің "салмағына" байланысты). Осы түрлендіру компьютерлік ғалымдар мен математиктерге биологиялық нейрондық желілерді жасанды нейрондарды қолдана отырып, ерекше мәндерді (көбінесе -1-ден 1-ге дейін) шығара алатын түрде модельдеуге мүмкіндік береді.

Artificial neurons are designed to mimic aspects of their biological counterparts. However a significant performance gap exists between biological and artificial neural networks. In particular single biological neurons in the human brain with oscillating activation function capable of learning the XOR function have been discovered. Dendrites – In a biological neuron, the dendrites act as the input vector. These dendrites allow the cell to receive signals from a large (>1000) number of neighboring neurons. As in the above mathematical treatment, each dendrite is able to perform "multiplication" by that dendrite's "weight value." The multiplication is accomplished by increasing or decreasing the ratio of synaptic neurotransmitters to signal chemicals introduced into the dendrite in response to the synaptic neurotransmitter. A negative multiplication effect can be achieved by transmitting signal inhibitors (i. e. oppositely charged ions) along the dendrite in response to the reception of synaptic neurotransmitters. Soma – In a biological neuron, the soma acts as the summation function, seen in the above mathematical description. As positive and negative signals (exciting and inhibiting, respectively) arrive in the soma from the dendrites, the positive and negative ions are effectively added in summation, by simple virtue of being mixed together in the solution inside the cell's body. Axon – The axon gets its signal from the summation behavior which occurs inside the soma. The opening to the axon essentially samples the electrical potential of the solution inside the soma. Once the soma reaches a certain potential, the axon will transmit an all in signal pulse down its length. In this regard, the axon behaves as the ability for us to connect our artificial neuron to other artificial neurons. Unlike most artificial neurons, however, biological neurons fire in discrete pulses. Each time the electrical potential inside the soma reaches a certain threshold, a pulse is transmitted down the axon. This pulsing can be translated into continuous values. The rate (activations per second, etc.) at which an axon fires converts directly into the rate at which neighboring cells get signal ions introduced into them. The faster a biological neuron fires, the faster nearby neurons accumulate electrical potential (or lose electrical potential, depending on the "weighting" of the dendrite that connects to the neuron that fired). It is this conversion that allows computer scientists and mathematicians to simulate biological neural networks using artificial neurons which can output distinct values (often from −1 to 1).

Кодтау

Зерттеулер көрсеткендей, құстардың әнін жасауға жауапты нейрондық тізбектерде унирлік кодтау қолданылады. Биологиялық желілерде унирлік кодтаудың қолданылуы, болжам бойынша, оның қарапайымдылығымен байланысты. Сондай-ақ, унирлік кодтау белгілі бір дәрежеде қателерді түзеуге мүмкіндік беретіні де себеп болуы мүмкін.

Физикалық жасанды жасушалар

Физикалық жасанды нейрондар – органикалық және органикалық емес түрлері зерттеліп, жасалуда. Мысалы, кейбір жасанды нейрондар дофамин (электрлік емес, химиялық сигналдар) қабылдап, бөліп шығара алады және табиғи егеуқұйрық бұлшық еттері мен ми жасушаларымен байланысады, бұл оларды ми-компьютер интерфейсі (МКИ) / протездерде қолдану мүмкіндігін береді. Биоүйлесімді, төмен қуатты мемристорлар биологиялық әрекет потенциалының кернеуінде жұмыс істейтін жасанды нейрондарды құруға мүмкіндік береді және биологиялық сенсорлық сигналдарды тікелей өңдеуге, нейроморфтық есептеулерге және/немесе биологиялық нейрондармен тікелей байланысқа қолданылуы мүмкін. Полимерлерден жасалған және ионға толы гельмен қапталған нейроморфтық органикалық тізбектер, материалға нақты нейрондар сияқты электр зарядын тасымалдауға мүмкіндік береді, роботқа орнатылды, бұл оған нақты әлемде сенсомоторлық тәсілмен, симуляциялар немесе виртуалды ортасыз үйренуге мүмкіндік береді. Сонымен қатар, жұмсақ материалдардан (полимерлерден) жасалған жасанды импульстік нейрондар биологиялық ортада жұмыс істей алады және жасанды және биологиялық жүйелер арасындағы синергиялық байланысты қамтамасыз етеді.

Тарих

Алғашқы жасанды нейрон 1943 жылы Уоррен МакКаллок пен Уолтер Питтс ұсынған Шекті логикалық блок (ШЛБ) немесе Сызықтық шектік блок болды. Модель мидағы "нерв желісін" есептеу моделі ретінде жасалған. Ол ауысу функциясы ретінде Heaviside сатылы функциясын пайдаланумен тең келетін шекті пайдаланды. Бастапқыда екілік кіріс және шығыс, салмақтар бойынша белгілі бір шектеулер және икемдірек шектік мәнмен қарапайым модель қарастырылды. Бастапқыда кез келген логикалық функция мұндай құрылғылардың желілері арқылы жүзеге асырылуы мүмкін екендігі байқалды, бұл AND және OR функцияларын жүзеге асырып, оларды дизъюнктивті немесе конъюнктивті қалыпты түрде қолдану арқылы оңай көрінеді. Зерттеушілер нейрондар арқылы кері байланыспен циклдік желілердің жадымен динамикалық жүйелерді анықтай алатынын тез түсінді, бірақ көптеген зерттеулер (әлі де) тек алға қоректендіру желілеріне шоғырланды, себебі олар аз қиындықтар тудырды. Сызықтық шек функциясын пайдаланған маңызды және пионерлік жасанды нейрондық желілердің бірі – Франк Розенблатт әзірлеген перцептрон. Бұл модель нейрондардағы салмақтың икемділігін ескерді және бейімделу қабілеті бар машиналарда қолданылды. Шектік мәндерді ықпал ету термині ретінде көрсетуді Бернард Видроу 1960 жылы енгізді. 1980 жылдардың соңында нейрондық желілерге қатысты зерттеулер жанданған кезде, үздіксіз пішіндегі нейрондар қарастырыла бастады. Активация функциясын дифференциалдау мүмкіндігі салмақты реттеу үшін градиенттік түсу және басқа да оптимизация алгоритмдерін тікелей пайдалануға мүмкіндік береді. Нейрондық желілер жалпы функцияларды жуықтау моделі ретінде де қолданыла бастады. Ең танымал оқыту алгоритмі кері таралу деп аталады, ол бірнеше рет қайта ашылды, бірақ оның алғашқы дамуы Пол Вербостың жұмысына барады.

Көшіру функцияларының түрлері

Нейронның трансферт функциясы (активация функциясы) нейронды қамтитын желінің мүмкіндіктерін арттыру немесе оны қарапайым ету үшін қасиеттеріне қарай таңдалады. Маңыздысы, сызықтық трансферт функциясын қолданатын көп қабатты перцептронға баламалы бір қабатты желі сәйкес келеді; демек, көп қабатты желінің артықшылықтарын алу үшін сызықтық емес функция қажет. Төменде u әрқашан нейронға келіп түсетін барлық кірістердің салмақталған қосындысын білдіреді, яғни n кіріс үшін,

мұнда w – синапстық салмақтар векторы, ал x – кірістер векторы.

Қадамдық функция

Бұл трансферт функциясының y шығысы екілік болып табылады, кіріс белгілі бір шекті мәнге, θ-ға жететініне байланысты. Егер белсендіру шекті мәнге жетсе, "сигнал" жіберіледі, яғни шығыс бірге тең болады. Бұл функция перцептрондарда қолданылады және көптеген басқа модельдерде де жиі кездеседі. Ол кіріс кеңістігін гипержазықтық арқылы бөледі. Бұл, әсіресе кіріс деректерін екілік жіктеуге арналған желілердің соңғы қабатында пайдалы. Оны салмақтарға үлкен мәндер тағайындау арқылы басқа сигмоидтық функциялардан жуықтауға болады.

Сызықтық комбинация

Бұл жағдайда шығыс бірлігі – кірістерінің салмақталған қосындысы мен смещение мүшесінің қосындысы ғана. Мұндай сызықтық нейрондардың бірнешеуі кіріс векторларын сызықтық түрлендіруді жүзеге асырады. Бұл көбінесе желінің алғашқы қабаттарында тиімдірек болады. Сызықтық модельдерге негізделген түрлі талдау құралдары бар, мысалы, гармоникалық талдау, және олардың бәрін осы сызықтық нейронды қолдана отырып, нейрондық желілерде пайдалануға болады. Смещение мүшесі деректерге аффиндік түрлендіру жасауға мүмкіндік береді. Қараңыз: Сызықтық түрлендіру, Гармоникалық талдау, Сызықтық сүзгі, Толқын, Басты компоненттік талдау, Тәуелсіз компоненттік талдау, Деконволюция.

Сигмоидты

Шамалы қарапайым сызықтық емес функция, логистикалық функция сияқты сигмоид функциясы да оңай есептелетін туындыға ие, бұл желідегі салмақтарды жаңартуды есептеу кезінде маңызды болуы мүмкін. Осылайша, желіні математикалық тұрғыдан басқару оңайырақ болады және бұрынғы компьютер ғалымдарына олардың модельдеу есептеу жүктемесін азайту қажет болды. Бұрын көп қабатты перцептрон модельдерінде жиі қолданылды. Дегенмен, соңғы зерттеулер сигмоидтық нейрондардың түзетілген сызықтық нейрондарға қарағанда нашар тиімді екенін көрсетті. Бұның себебі, кері тарату алгоритмімен есептелген градиенттер сигмоидтық нейрондардың қабаттары арқылы өтетін кезде нөлге жақындап азаяды, бұл сигмоидтық нейрондардың көп қабаттарын қолдана отырып, нейрондық желіні оңтайландыруды қиындатады.