Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Машиналық оқытудың өлшемділікті азайтуға пайдалы әдісі
Machine learning technique useful for dimensionality reduction
Өзін-өзі ұйымдастыру картасы (SOM) немесе өзін-өзі ұйымдастыру ерекшелік картасы (SOFM) – жоғары өлшемді деректер жиынтығының топологиялық құрылымын сақтай отырып, төмен өлшемді (әдетте екі өлшемді) ұсынысын жасауға қолданылатын бақылаусыз машиналық оқыту әдісі. Мысалы, бақылауларда өлшенген айнымалылары бар деректер жиынтығы айнымалылар үшін ұқсас мәндері бар бақылаулардың кластерлері түрінде ұсынылуы мүмкін. Бұл кластерлер екі өлшемді "карта" ретінде бейнеленеді, яғни жақын кластерлердегі бақылаулар алыс кластерлердегі бақылауларға қарағанда ұқсас мәндерге ие болады. Бұл жоғары өлшемді деректерді көруді және талдауды жеңілдетеді. SOM – жасанды нейрондық желілердің бір түрі, бірақ басқа жасанды нейрондық желілерде қолданылатын қателерді түзету оқытудың (мысалы, градиенттік төмендеумен кері таралу) орнына бәсекелестік оқытуды пайдаланады. SOM-ды фин профессоры Теуво Кохонен 1980-ші жылдары енгізген, сондықтан оны кейде Кохонен картасы немесе Кохонен желісі деп атайды. Кохонен картасы немесе желісі – 1970-ші жылдардағы нейрологиялық жүйелердің биологиялық модельдері мен 1950-ші жылдардағы Алан Тьюрингке жататын морфогенез модельдеріне негізделген есептеулік тұрғыдан ыңғайлы абстракция. SOM-дер адам денесінің бұрмаланған бейнесі – кортикальді гомункулус сияқты ішкі ұсыныстарды жасайды, ол адамның миының әртүрлі бөліктері үшін сезім функцияларын өңдеуге арналған аймақтары мен пропорцияларының неврологиялық "картасына" негізделген.
A self organizing map (SOM) or self organizing feature map (SOFM) is an unsupervised machine learning technique used to produce a low dimensional (typically two dimensional) representation of a higher dimensional data set while preserving the topological structure of the data. For example, a data set with variables measured in observations could be represented as clusters of observations with similar values for the variables. These clusters then could be visualized as a two dimensional "map" such that observations in proximal clusters have more similar values than observations in distal clusters. This can make high dimensional data easier to visualize and analyze. An SOM is a type of artificial neural network but is trained using competitive learning rather than the error correction learning (e. g., backpropagation with gradient descent) used by other artificial neural networks. The SOM was introduced by the Finnish professor Teuvo Kohonen in the 1980s and therefore is sometimes called a Kohonen map or Kohonen network. The Kohonen map or network is a computationally convenient abstraction building on biological models of neural systems from the 1970s and morphogenesis models dating back to Alan Turing in the 1950s. SOMs create internal representations reminiscent of the cortical homunculus, a distorted representation of the human body, based on a neurological "map" of the areas and proportions of the human brain dedicated to processing sensory functions, for different parts of the body.
Шолу
Өзін-өзі ұйымдастыру карталары, көптеген жасанды нейрондық желілер сияқты, екі режимде жұмыс істейді: оқыту және карталау. Біріншіден, оқыту кіріс деректерінің жиынтығын ("кіріс кеңістігі") пайдалана отырып, кіріс деректерінің төмен өлшемді бейнелеуін ("карта кеңістігі") құрайды. Екіншіден, карталау жасалған картаны қолдана отырып, қосымша кіріс деректерін жіктейді. Көп жағдайда оқытудың мақсаты – p өлшемді кіріс кеңістігін екі өлшемді карта кеңістігі ретінде бейнелеу. Атап айтқанда, p айнымалысы бар кіріс кеңістігі p өлшемді деп есептеледі. Карта кеңістігі "түйіндер" немесе "нейрондар" деп аталатын компоненттерден тұрады, олар екі өлшемді алтыбұрышты немесе тіктөртбұрышты тор түрінде орналасқан. Түйіндердің саны мен олардың орналасуы деректерді талдау және зерттеудің жалпы мақсаттарына сәйкес алдын ала анықталады. Карта кеңістігіндегі әрбір түйін "салмақ" векторымен байланысты, ол кіріс кеңістігіндегі түйіннің орнын көрсетеді. Карта кеңістігіндегі түйіндер өз орнында қала береді, ал оқыту карта кеңістігінен туындаған топологияны бұзбай, салмақ векторларын кіріс деректеріне жақындатудан (мысалы, Евклидтік қашықтық сияқты қашықтық метрикасын азайту) тұрады. Оқытудан кейін карта кіріс кеңістігі үшін қосымша байқауларды жіктеу үшін қолданылуы мүмкін, бұл үшін кіріс кеңістігі векторына ең жақын салмақ векторын (ең кіші қашықтық метрикасы) қамтитын түйін табылады.
Self organizing maps, like most artificial neural networks, operate in two modes: training and mapping. First, training uses an input data set (the "input space") to generate a lower dimensional representation of the input data (the "map space"). Second, mapping classifies additional input data using the generated map. In most cases, the goal of training is to represent an input space with p dimensions as a map space with two dimensions. Specifically, an input space with p variables is said to have p dimensions. A map space consists of components called "nodes" or "neurons", which are arranged as a hexagonal or rectangular grid with two dimensions. The number of nodes and their arrangement are specified beforehand based on the larger goals of the analysis and exploration of the data. Each node in the map space is associated with a "weight" vector, which is the position of the node in the input space. While nodes in the map space stay fixed, training consists in moving weight vectors toward the input data (reducing a distance metric such as Euclidean distance) without spoiling the topology induced from the map space. After training, the map can be used to classify additional observations for the input space by finding the node with the closest weight vector (smallest distance metric) to the input space vector.
Интерпретация
SOM-ді түсіндірудің екі жолы бар. Оқу кезеңінде көршілес нейрондардың салмағы бір бағытта жылғалыстай болғандықтан, ұқсас элементтер жақын орналасқан нейрондарды белсенділендіреді. Сондықтан, SOM ұқсас үлгілер бір-біріне жақын және ұқсамайтын үлгілер алыс орналасатын семантикалық картаны құрайды. Бұл SOM-ның U матрицасы (қоршаған жасушалардың салмақ векторлары арасындағы Евклидтік қашықтық) арқылы визуализациялануы мүмкін. Екінші жолы – нейрондық салмақты кіріс кеңістігіне нұсқаушы белгі ретінде қарастыру. Олар оқу үлгілерінің таралуының дискретті жуықтауын құрайды. Көп оқу үлгілері шоғырланған аймақтарда көбірек нейрондар, ал үлгілер сирек кездесетін жерлерде аз нейрондар болады. SOM негізгі компоненттер талдауының (PCA) сызықтық емес жалпыламасы ретінде қарастырылуы мүмкін. Жасанды және нақты геофизикалық деректерді қолдана отырып, SOM-ның эмпирикалық ортогональдық функциялар (EOF) немесе PCA сияқты дәстүрлі ерекшеліктерді бөліп алу әдістеріне қарағанда көптеген артықшылықтары бар екені көрсетілді. Алғашқыда SOM оптимизациялық есепті шешу үшін жасалмаған. Дегенмен, SOM анықтамасын өзгертуге және ұқсас нәтижелер беретін оптимизациялық есепті құруға бірнеше әрекеттер жасалды. Мысалы, эластикалық карталар негізгі манифольдтарды жуықтау үшін серпімді механиканың метафорасын қолданады: аналогия – серпімді мембрана және пластина.
There are two ways to interpret a SOM. Because in the training phase weights of the whole neighborhood are moved in the same direction, similar items tend to excite adjacent neurons. Therefore, SOM forms a semantic map where similar samples are mapped close together and dissimilar ones apart. This may be visualized by a U Matrix (Euclidean distance between weight vectors of neighboring cells) of the SOM. The other way is to think of neuronal weights as pointers to the input space. They form a discrete approximation of the distribution of training samples. More neurons point to regions with high training sample concentration and fewer where the samples are scarce. SOM may be considered a nonlinear generalization of Principal components analysis (PCA). It has been shown, using both artificial and real geophysical data, that SOM has many advantages over the conventional feature extraction methods such as Empirical Orthogonal Functions (EOF) or PCA. Originally, SOM was not formulated as a solution to an optimisation problem. Nevertheless, there have been several attempts to modify the definition of SOM and to formulate an optimisation problem which gives similar results. For example, Elastic maps use the mechanical metaphor of elasticity to approximate principal manifolds: the analogy is an elastic membrane and plate.
Баламалы тәсілдер
Генеративті топографиялық карта (GTM) SOM-ға мүмкін балама болып табылады. GTM кіріс кеңістігінен карта кеңістігіне тегіс және үздіксіз бейнелеуді қатаң талап ететіндіктен, топологияны сақтау қасиетіне ие. Дегенмен, практикалық тұрғыдан алғанда, топологиялық сақталудың бұл өлшемі жеткіліксіз. Өсуші өзін-өзі ұйымдастыру картасы (GSOM) – өзін-өзі ұйымдастыру картасының дамитын түрі. GSOM SOM-дағы картаның оптималды өлшемдерін анықтау мәселесін шешу үшін әзірленген. Ол ең аз түйіндер санынан басталады (әдетте төрт) және эвристикалық принцип бойынша шекарада жаңа түйіндерді өсіреді. «Спред-фактор» деп аталатын шаманы пайдалану арқылы деректерді талдаушы GSOM-ның өсуін басқара алады. Конформдық карталау әдісі конформдық бейнелеуді жаттығу үлгілерінің әрқайсысын үздіксіз беттегі тор түйіндері арасында интерполяциялау үшін қолданады. Бұл тәсілде бір-бірге сәйкес келетін тегіс бейнелеуге қол жеткізуге болады. Уақытқа бейімделетін өзін-өзі ұйымдастыру картасы (TASOM) желісі – негізгі SOM-ның кеңейтілген нұсқасы. TASOM бейімделетін оқу жылдамдықтары мен көршілік функцияларын қолданады. Бұдан өзге, желіні кіріс кеңістігінің масштабтау, жылжу және бұруына қатысты инвариантты ету үшін масштабтау параметрін қамтиды. TASOM және оның түрлері бейімделетін кластерлеу, көп деңгейлі шегініс, кіріс кеңістігін жуықтау және белсенді контурларды модельдеу сияқты бірнеше қолданыстарда қолданылған. Сонымен қатар, TASOM желілерінен құралған түйіндері бар бинарлық табиғи ағашқа ұқсас TASOM немесе BTASOM ұсынылған, онда оның деңгейлері мен түйіндерінің саны ортасына бейімделеді. Эластикалық карталау әдісі сплайн интерполяциясынан эластикалық энергияны азайту идеясын қабылдайды. Оқу процесінде ол ең кіші квадраттардың қателіктерімен квадраттық иілу және созу энергиясының қосындысын азайтады. Бағытталған және масштабталатын карта (OS картасы) көршілік функцияны және жеңімпазды таңдауды жалпылайды. Гомогенді Гаусс көршілік функциясы матрицалық экспонентамен алмастырылады. Осылайша, бағдарды карта кеңістігінде немесе деректер кеңістігінде белгілеуге болады. SOM тұрақты масштабқа ие (=1), сондықтан карталар «байқау доменін оңтайлы сипаттайды». Бірақ егер карта доменді екі рет немесе n рет жабатын болса не істеу керек? Бұл масштабтау тұжырымын қамтиды. OS картасы масштабты картадағы ең жақсы сәйкес келетін түйіндердің санының статистикалық сипаттамасы ретінде қарастырады.
The generative topographic map (GTM) is a potential alternative to SOMs. In the sense that a GTM explicitly requires a smooth and continuous mapping from the input space to the map space, it is topology preserving. However, in a practical sense, this measure of topological preservation is lacking. The growing self organizing map (GSOM) is a growing variant of the self organizing map. The GSOM was developed to address the issue of identifying a suitable map size in the SOM. It starts with a minimal number of nodes (usually four) and grows new nodes on the boundary based on a heuristic. By using a value called the spread factor, the data analyst has the ability to control the growth of the GSOM. The conformal map approach uses conformal mapping to interpolate each training sample between grid nodes in a continuous surface. A one to one smooth mapping is possible in this approach. The time adaptive self organizing map (TASOM) network is an extension of the basic SOM. The TASOM employs adaptive learning rates and neighborhood functions. It also includes a scaling parameter to make the network invariant to scaling, translation and rotation of the input space. The TASOM and its variants have been used in several applications including adaptive clustering, multilevel thresholding, input space approximation, and active contour modeling. Moreover, a Binary Tree TASOM or BTASOM, resembling a binary natural tree having nodes composed of TASOM networks has been proposed where the number of its levels and the number of its nodes are adaptive with its environment. The elastic map approach borrows from the spline interpolation the idea of minimization of the elastic energy. In learning, it minimizes the sum of quadratic bending and stretching energy with the least squares approximation error. The oriented and scalable map (OS Map) generalises the neighborhood function and the winner selection. The homogeneous Gaussian neighborhood function is replaced with the matrix exponential. Thus one can specify the orientation either in the map space or in the data space. SOM has a fixed scale (=1), so that the maps "optimally describe the domain of observation". But what about a map covering the domain twice or in n folds? This entails the conception of scaling. The OS Map regards the scale as a statistical description of how many best matching nodes an input has in the map.