Жеңімпазды таңдау принципі: нейрондық желілердегі бәсекелестік және оның жүзеге асырылуы
Winner-take-all (computing)
Жаңа нейрондық желілердегі «Жеңімпаз алады» қағидасы: нейрондардың белсенділік үшін бәсекелесуі, рецидивті желілердегі оқу және өнімділік туралы ақпарат.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Жеңімпаз бәрін алады – нейрондық желілердің есептеу модельдерінде қолданылатын, нейрондардың белсенділік үшін бір-бірімен бәсекелесетін есептеу принципі. Классикалық нұсқасында, тек ең жоғары белсенділікке ие нейрон ғана белсенді болып қалады, ал қалған нейрондардың бәрі өшеді; алайда, басқа түрлері бірнеше нейронның бірдей белсенді болуына мүмкіндік береді, мысалы, «жұмсақ жеңімпаз бәрін алады» түрінде, онда нейрондарға қуат функциясы қолданылады.
Winner take all is a computational principle applied in computational models of neural networks by which neurons compete with each other for activation. In the classical form, only the neuron with the highest activation stays active while all other neurons shut down; however, other variations allow more than one neuron to be active, for example the soft winner take all, by which a power function is applied to the neurons.
Нейро желілері
Жасанды нейрондық желілер теориясында "жеңімпаз бәрін алады" желілері – қайталанатын нейрондық желілердегі бәсекелестік оқытудың бір түрі. Желідегі шығыс түйіндері бір-бірін тежейді, сонымен бірге рефлекстік байланыстар арқылы өзін-өзі белсенділендіреді. Біршама уақыт өткен соң, шығыс қабатындағы бір ғана түйін белсенді болады, яғни ең күшті кіріске сәйкес келетін түйін. Осылайша, желі кірістер жиынтығының ең үлкенін анықтау үшін сызықтық емес тежеуді пайдаланады. "Жеңімпаз бәрін алады" – үздіксіз уақытты және импульстік желілерді қоса алғанда, әртүрлі нейрондық желілер модельдерінде жүзеге асырылатын жалпы есептеулік элемент. "Жеңімпаз бәрін алады" желілері мидың есептеу модельдерінде, әсіресе қабықшадағы тарапты шешім қабылдау немесе әрекеттерді таңдау үшін кеңінен қолданылады. Маңызды мысалдарға көрудің иерархиялық модельдері, сондай-ақ таңдамалы назар және тану модельдері жатады. Олар жасанды нейрондық желілерде және нейроморфты аналогты VLSI тізбектерінде де жиі кездеседі. "Жеңімпаз бәрін алады" операциясы, мысалы, шектілік сияқты басқа сызықтық емес операциялармен салыстырғанда, есептеу қуаты жоғары екені ресми түрде дәлелденді. Көптеген практикалық жағдайларда, белсенді болатын бір ғана нейрон ғана емес, нақты k нейрон болады, мұнда k – тұрақты сан. Бұл принцип "k жеңімпаз бәрін алады" деп аталады.
In the theory of artificial neural networks, winner take all networks are a case of competitive learning in recurrent neural networks. Output nodes in the network mutually inhibit each other, while simultaneously activating themselves through reflexive connections. After some time, only one node in the output layer will be active, namely the one corresponding to the strongest input. Thus the network uses nonlinear inhibition to pick out the largest of a set of inputs. Winner take all is a general computational primitive that can be implemented using different types of neural network models, including both continuous time and spiking networks. Winner take all networks are commonly used in computational models of the brain, particularly for distributed decision making or action selection in the cortex. Important examples include hierarchical models of vision, and models of selective attention and recognition. They are also common in artificial neural networks and neuromorphic analog VLSI circuits. It has been formally proven that the winner take all operation is computationally powerful compared to other nonlinear operations, such as thresholding. In many practical cases, there is not only one single neuron which becomes active but there are exactly k neurons which become active for a fixed number k. This principle is referred to as k winners take all.
Сұлба үлгісі
Оң жақта барлық схеманы жеңіп алған қарапайым, бірақ танымал CMOS тізбегі көрсетілген. Бұл тізбек бастапқыда Лазаро және авторлар (1989) әлсіз инверсия немесе төменгі шектік режимде жұмыс істеуге бағдарланған MOS транзисторларын қолдана отырып ұсынған. Көрсетілген нақты жағдайда тек екі кіріс (IIN,1 және IIN,2) бар, бірақ тізбекті бірнеше кірістерге оңай кеңейтуге болады. Ол үнемі уақыт сигналдары (тоқтар) арқылы параллель жұмыс істейді, әр кіріс үшін тек екі транзистор қолданылады. Сонымен қатар, IBIAS тогы барлық кірістерге ортақ бір жаһандық транзистормен белгіленеді. Кіріс тоқтарының ең үлкені ортақ потенциал VC-ні анықтайды. Нәтижесінде, сәйкес шығыс тогының барлық бөлігін алып жүреді, ал қалған шығыстардағы тоқтар нөлге жуық болады. Осылайша, тізбек екі кіріс тогының үлкенін таңдайды, яғни егер IIN,1 > IIN,2 болса, IOUT,1 = IBIAS және IOUT,2 = 0 болады. Сол сияқты, егер IIN,2 > IIN,1 болса, IOUT,1 = 0 және IOUT,2 = IBIAS болады. Екі кірістік жағдайдағы CMOS жеңімпаз тізбегінің SPICE негізіндегі DC симуляциясы оң жақта көрсетілген. Жоғарыдағы суретте көрсетілгендей, IIN,1 кірісі 6nA-ға бекітілді, ал IIN,2 0-ден 10nA-ға дейін сызықты түрде арттырылды. Төменгі суретте екі шығыс тогы көрсетілген. Күтілгендей, екі кірістің үлкеніне сәйкес келетін шығыс тогы барлық IBIAS тогын (10nA) алып жүреді, бұл жағдайда екінші шығыс тогын нөлге жуық мәнге дейін мәжбүрлейді.
A simple, but popular CMOS winner take all circuit is shown on the right. This circuit was originally proposed by Lazzaro et al. (1989) using MOS transistors biased to operate in the weak inversion or subthreshold regime. In the particular case shown there are only two inputs (IIN,1 and IIN,2), but the circuit can be easily extended to multiple inputs in a straightforward way. It operates on continuous time input signals (currents) in parallel, using only two transistors per input. In addition, the bias current IBIAS is set by a single global transistor that is common to all the inputs. The largest of the input currents sets the common potential VC. As a result, the corresponding output carries almost all the bias current, while the other outputs have currents that are close to zero. Thus, the circuit selects the larger of the two input currents, i. e., if IIN,1 > IIN,2, we get IOUT,1 = IBIAS and IOUT,2 = 0. Similarly, if IIN,2 > IIN,1, we get IOUT,1 = 0 and IOUT,2 = IBIAS. A SPICE based DC simulation of the CMOS winner take all circuit in the two input case is shown on the right. As shown in the top subplot, the input IIN,1 was fixed at 6nA, while IIN,2 was linearly increased from 0 to 10nA. The bottom subplot shows the two output currents. As expected, the output corresponding to the larger of the two inputs carries the entire bias current (10nA in this case), forcing the other output current nearly to zero.
Басқа қолданыстар
Стерео сәйкестендіру алгоритмдерінде, Шарштейн мен Селиски ұсынған таксономия бойынша, "жеңімпаз бәрін алады" әдісі айырмашылықты есептеудің жергілікті тәсілі болып табылады. "Жеңімпаз бәрін алады" стратегиясын қолдану арқылы, әр пикселде ең төмен немесе ең жоғары құнға ие айырмашылық таңдалады. Электрондық коммерция нарығында AOL немесе Yahoo! сияқты алғашқы жетекші компаниялар ең көп пайданы алады – бұл аксиомалық мәселе. 1998 жылы жасалған бір зерттеуге сәйкес, барлық веб-сайттардың 5% -ы жалпы трафиктің 74% -тен астамын құрады. Экономикадағы "жеңімпаз бәрін алады" гипотезасы, технология немесе компания алға шыққаннан кейін, уақыт өте келе одан да жақсы нәтижелерге жетеді, ал артта қалған технологиялар мен компаниялар одан әрі қалып қояды дегенді көрсетеді. Қараңыз: Бірінші қадамның артықшылығы.
In stereo matching algorithms, following the taxonomy proposed by Scharstein and Szelliski, winner take all is a local method for disparity computation. Adopting a winner take all strategy, the disparity associated with the minimum or maximum cost value is selected at each pixel. It is axiomatic that in the electronic commerce market, early dominant players such as AOL or Yahoo! get most of the rewards. By 1998, one study found the top 5% of all web sites garnered more than 74% of all traffic. The winner take all hypothesis in economics suggests that once a technology or a firm gets ahead, it will do better and better over time, whereas lagging technology and firms will fall further behind. See First mover advantage.