Жылдам оқытылатын нейрондық желілер және олардың түрлері
Instantaneously trained neural networks
Жылдам оқытылатын нейрондық желілер: жаңа үлгілер үшін жасырын нейрондарды құрады, жақын үлгілерді бөліп, жалпылауға мүмкіндік береді. CC1, CC4 желілері.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Тез оқытылатын нейрондық желілер – әрбір жаңа оқу үлгісі үшін жаңа жасырын нейрон түйінін құратын алға берілетін жасанды нейрондық желілер. Осы жасырын нейронға берілетін салмақтар тек осы оқу үлгісін ғана емес, сондай-ақ оған жақын үлгілерді де бөліп шығарады, осылайша жалпылауға мүмкіндік береді. Бұл бөліну бірден есептелінетін ең жақын гипержазықтық арқылы жүзеге асырылады. Екі маңызды іске асыруда жалпылау аймағы оқу үлгісіне байланысты (CC1 желісі) өзгеріп отырады немесе тұрақты болып қалады (CC4 желісі). Бұл желілер деректер жиынтығын тиімді бейнелеу үшін біртұтас кодтауды қолданады. Бұл типтегі желі алғаш рет 1993 жылы Субхаш Кактың мақаласында ұсынылған. Олар құжаттарды жылдам жіктеу, терең оқыту және деректерді талдау салаларында да қолданылады. Басқа нейрондық желілер сияқты, олар көбінесе бағдарламалық қамтамасыздан пайдаланылады, бірақ FPGA және оптикалық жүзеге асыру арқылы аппараттық құралдарда да іске асырылған.
Instantaneously trained neural networks are feedforward artificial neural networks that create a new hidden neuron node for each novel training sample. The weights to this hidden neuron separate out not only this training sample but others that are near it, thus providing generalization. This separation is done using the nearest hyperplane that can be written down instantaneously. In the two most important implementations the neighborhood of generalization either varies with the training sample (CC1 network) or remains constant (CC4 network). These networks use unary coding for an effective representation of the data sets. This type of network was first proposed in a 1993 paper of Subhash Kak. They have also been used in instant classification of documents and for deep learning and data mining. As in other neural networks, their normal use is as software, but they have also been implemented in hardware using FPGAs and by optical implementation.
CC4 желісі
Үш сатылы желісі бар CC4 желісінде кіріс түйіндерінің саны оқу векторының өлшемінен бір артық, ал қосымша түйін – әрқашан 1 мәнін қабылдайтын, қисайту түйіні қызметін атқарады. Бинарлық кіріс векторлары үшін, жаттықтырылған векторға сәйкес келетін кіріс түйіндерінен жасырылған нейронға (мысалы, j индексімен) дейінгі салмақтар келесі формуламен беріледі:
In the CC4 network, which is a three stage network, the number of input nodes is one more than the size of the training vector, with the extra node serving as the biasing node whose input is always 1. For binary input vectors, the weights from the input nodes to the hidden neuron (say of index j) corresponding to the trained vector is given by the following formula:
мұнда – жалпылау радиусы, ал – бинарлық тізбектің Хамминг салмағы (1-дің саны). Жасырын қабаттан шығыс қабатына дейінгі салмақтар вектордың белгілі бір шығыс класына жататынына байланысты 1 немесе -1 болады. Жасырын және шығыс қабаттарындағы нейрондар кіріспен салмақталған сома 0 немесе оң болса 1, ал теріс болса 0 шығарады:
where is the radius of generalization and is the Hamming weight (the number of 1s) of the binary sequence. From the hidden layer to the output layer the weights are 1 or 1 depending on whether the vector belongs to a given output class or not. The neurons in the hidden and output layers output 1 if the weighted sum to the input is 0 or positive and 0, if the weighted sum to the input is negative:
Басқа желілер
CC4 желісі CC1 іске асыруды тиімді қамтамасыз ету үшін әртүрлі жалпылау радиусымен бинарлық емес кіріс қабылдауға қалыптастырылды. Кері байланыс желілерінде Уилшоу желісі де, Хопфилд желісі де дереу үйрене алады.
The CC4 network has also been modified to include non binary input with varying radii of generalization so that it effectively provides a CC1 implementation. In feedback networks the Willshaw network as well as the Hopfield network are able to learn instantaneously.