Сызықты емес өлшемділік азайту алгоритмдерінің шолуы

Бұл мақалада жоғары өлшемді деректерді төмендету алгоритмдері, маанилық оқу және деректерді визуализациялау туралы ақпарат берілген.

14 мин оқу

100%

Дереккөз: Nonlinear dimensionality reduction — Wikipedia

Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.

Мазмұны

Кіріспе

Сызықтық емес өлшемді азайту алгоритмдерінің шолуы

Сызықтық емес өлшемді азайту, сонымен қатар манифольдты оқыту деп те аталады, бұл жоғары өлшемді деректерді төмен өлшемді жасырын манифольдтарға проекциялауға бағытталған әртүрлі байланысты техникалардың жиынтығы. Мақсаты – деректерді төмен өлшемді кеңістікте визуализациялау немесе жоғары өлшемді кеңістіктен төмен өлшемді ендіруге (немесе керісінше) қатынасты карталауды үйрену болып табылады. Төменде сипатталған техникалар өлшемді азайту үшін қолданылатын сызықтық ыдырау әдістерінің, мысалы, жеке мән ыдырауы және бас компоненттер талдауының жалпылама түрі ретінде қарастырылуы мүмкін.

NLDR-ді қолдану

Рассмотрите набор данных, представленный в виде матрицы (или таблицы базы данных), где каждая строка представляет собой набор атрибутов (или признаков или измерений), описывающих конкретный экземпляр чего-либо. Если количество атрибутов велико, то пространство уникальных возможных строк экспоненциально велико. Следовательно, чем выше размерность, тем сложнее становится выборка из пространства. Это вызывает множество проблем. Алгоритмы, работающие с данными высокой размерности, как правило, имеют очень высокую временную сложность. Многие алгоритмов машинного обучения, например, испытывают трудности с данными высокой размерности. Уменьшение данных до меньшего числа измерений часто делает алгоритмы анализа более эффективными и может помочь алгоритмам машинного обучения делать более точные прогнозы. Людям часто трудно понимать данные в высокой размерности. Таким образом, уменьшение данных до небольшого числа измерений полезно для целей визуализации. Уменьшенные размерные представления данных часто называют «внутренними переменными». Это описание подразумевает, что это значения, из которых были получены данные. Например, рассмотрим набор данных, содержащий изображения буквы «А», которые были масштабированы и повернуты в различной степени. Каждое изображение имеет 32×32 пикселя. Каждое изображение можно представить в виде вектора из 1024 значений пикселей. Каждая строка является выборкой на двумерном многообразии в 1024-мерном пространстве (пространстве Хэмминга). Внутренняя размерность равна двум, поскольку для получения данных изменялись две переменные (поворот и масштаб). Информация о форме или внешнем виде буквы «А» не является частью внутренних переменных, поскольку она одинакова в каждом экземпляре. Нелинейное уменьшение размерности отбрасывает коррелированную информацию («А») и восстанавливает только изменяющуюся информацию (поворот и масштаб). Изображение справа показывает примеры изображений из этого набора данных (для экономии места не показаны все входные изображения) и график двухмерных точек, полученных в результате использования алгоритма NLDR (в данном случае использовался Manifold Sculpting) для уменьшения данных до двух измерений. Для сравнения, если используется анализ главных компонент, который является алгоритмом линейного уменьшения размерности, для уменьшения того же набора данных до двух измерений, полученные значения организованы не так хорошо. Это демонстрирует, что высокоразмерные векторы (каждый из которых представляет букву «А»), которые выбирают это многообразие, изменяются нелинейным образом. Поэтому должно быть очевидно, что NLDR имеет несколько применений в области компьютерного зрения. Например, рассмотрим робота, который использует камеру для навигации в замкнутой статической среде. Изображения, полученные этой камерой, можно рассматривать как выборки на многообразии в высокоразмерном пространстве, а внутренние переменные этого многообразия будут представлять положение и ориентацию робота. Инвариантные многообразия представляют общий интерес для уменьшения порядка модели в динамических системах. В частности, если в фазовом пространстве существует притягивающее инвариантное многообразие, близлежащие траектории будут сходиться к нему и оставаться на нем бесконечно долго, что делает его кандидатом на уменьшение размерности динамической системы. Хотя существование таких многообразий не гарантируется в общем случае, теория спектральных подмногообразий (SSM) дает условия для существования уникальных притягивающих инвариантных объектов в широком классе динамических систем. Активные исследования в области NLDR направлены на раскрытие многообразий наблюдений, связанных с динамическими системами, для разработки методов моделирования. Ниже перечислены некоторые из наиболее известных методов нелинейного уменьшения размерности.

Consider a dataset represented as a matrix (or a database table), such that each row represents a set of attributes (or features or dimensions) that describe a particular instance of something. If the number of attributes is large, then the space of unique possible rows is exponentially large. Thus, the larger the dimensionality, the more difficult it becomes to sample the space. This causes many problems. Algorithms that operate on high dimensional data tend to have a very high time complexity. Many machine learning algorithms, for example, struggle with high dimensional data. Reducing data into fewer dimensions often makes analysis algorithms more efficient, and can help machine learning algorithms make more accurate predictions. Humans often have difficulty comprehending data in high dimensions. Thus, reducing data to a small number of dimensions is useful for visualization purposes. The reduced dimensional representations of data are often referred to as "intrinsic variables". This description implies that these are the values from which the data was produced. For example, consider a dataset that contains images of a letter 'A', which has been scaled and rotated by varying amounts. Each image has 32×32 pixels. Each image can be represented as a vector of 1024 pixel values. Each row is a sample on a two dimensional manifold in 1024 dimensional space (a Hamming space). The intrinsic dimensionality is two, because two variables (rotation and scale) were varied in order to produce the data. Information about the shape or look of a letter 'A' is not part of the intrinsic variables because it is the same in every instance. Nonlinear dimensionality reduction will discard the correlated information (the letter 'A') and recover only the varying information (rotation and scale). The image to the right shows sample images from this dataset (to save space, not all input images are shown), and a plot of the two dimensional points that results from using a NLDR algorithm (in this case, Manifold Sculpting was used) to reduce the data into just two dimensions. By comparison, if principal component analysis, which is a linear dimensionality reduction algorithm, is used to reduce this same dataset into two dimensions, the resulting values are not so well organized. This demonstrates that the high dimensional vectors (each representing a letter 'A') that sample this manifold vary in a non linear manner. It should be apparent, therefore, that NLDR has several applications in the field of computer vision. For example, consider a robot that uses a camera to navigate in a closed static environment. The images obtained by that camera can be considered to be samples on a manifold in high dimensional space, and the intrinsic variables of that manifold will represent the robot's position and orientation. Invariant manifolds are of general interest for model order reduction in dynamical systems. In particular, if there is an attracting invariant manifold in the phase space, nearby trajectories will converge onto it and stay on it indefinitely, rendering it a candidate for dimensionality reduction of the dynamical system. While such manifolds are not guaranteed to exist in general, the theory of spectral submanifolds (SSM) gives conditions for the existence of unique attracting invariant objects in a broad class of dynamical systems. Active research in NLDR seeks to unfold the observation manifolds associated with dynamical systems to develop modeling techniques. Some of the more prominent nonlinear dimensionality reduction techniques are listed below.

Самонның картасы

Саммон карталастыруы – алғашқы және ең танымал NLDR техникаларының бірі.

Өзін-өзі ұйымдастыру картасы

Өзін-өзі ұйымдастыру картасы (SOM, сондай-ақ Кохонен картасы деп аталады) және оның ықтималдық түрі генеративті топографиялық карталау (GTM) кіріктірілген кеңістіктегі нүктелік өрнекті пайдаланып, кіріктірілген кеңістіктен жоғары өлшемді кеңістікке сызықтық емес түрлендіруге негізделген жасырын айнымалы модельді құруға қолданылады. Бұл техникалар тығыздық желілеріндегі жұмыстармен байланысты, олар да осыған ұқсас ықтималдық модельге негізделген.

Негізгі компонент талдау

Мүмкін, өлшемді азайту үшін ең көп қолданылатын алгоритм – ядролық PCA. PCA матрицаның ковариациялық матрицасын есептеуден басталады, содан кейін деректерді сол матрицаның алғашқы k меншікті векторларына проекциялайды. Қарсылығында, KPCA деректерді жоғары өлшемді кеңістікке түрлендіргеннен кейін олардың ковариациялық матрицасын есептеуден басталады, содан кейін түрлендірілген деректерді сол матрицаның алғашқы k меншікті векторларына, дәл PCA сияқты проекциялайды. Ол ядролық тәсілді пайдаланып, көптеген есептеулерді қысқартады, сондықтан бүкіл процесс нақты есептеулерді жүргізбей орындалуы мүмкін. Әрине, белгілі сәйкес ядросы бар болуы керек. Өкінішке орай, нақты бір мәселе үшін жақсы ядроны табу оңай емес, сондықтан KPCA стандартты ядроларды қолданғанда кейбір мәселелерде жақсы нәтижелер бермейді. Мысалы, Швейцариялық ролл коллекторында осы ядролар нашар жұмыс істейтіні белгілі. Дегенмен, мұндай жағдайларда жақсы жұмыс істейтін басқа әдістерді (мысалы, Лапласиан Eigenmaps, LLE) деректерге тәуелді ядролық матрицаны құрастыру арқылы ядролық PCA-ның ерекше жағдайлары ретінде қарастыруға болады. KPCA-ның ішкі моделі бар, сондықтан оны оқыту кезінде қолжетімді болмаған нүктелерді оның кіріктіруіне бейімдеу үшін пайдалануға болады.

Негізгі қисықтар мен коллекторлар

Негізгі қисықтар мен көптүрліліктер сызықтық емес өлшемді азайту үшін табиғи геометриялық базаны ұсынады және енгізілген көптүрлілікті нақты құрастыру және стандартты геометриялық проекцияны көптүрлілікке кодтау арқылы PCA-ның геометриялық түсіндіруін кеңейтеді. Бұл тәсілді алғаш рет Тревор Хасти 1984 жылы диссертациясында ұсынған, ал 1989 жылы ресми түрде енгізген. Бұл идеяны көптеген авторлар одан әрі зерттеді. Көптүрліліктің "қарапайымдылығын" қалай анықтау мәселеге байланысты, бірақ көбінесе оны көптүрліліктің ішкі өлшемділігі және/немесе тегістігі арқылы өлшейді. Әдетте, негізгі көптүрлілік – бұл оптимизация мәселесінің шешімі. Мақсаттық функция деректерді жуықтау сапасын және көптүрліліктің иілуіне байланысты айыппұл шарттарын қамтиды. Сызықтық PCA және Кохоненнің SOM-ы бастапқы шамалаулардың танымал мысалдары болып табылады.

Лапластың өзіндік карталары

Лапластың өзіндік карталары өлшемді азайту үшін спектрлік әдістерді қолданады. Бұл әдіс деректердің жоғары өлшемді кеңістікте төмен өлшемді көпқабатта жатыр деген негізгі болжамға негізделген. Бұл алгоритм үлгі нүктелерінен тысқары шыға алмайды, бірақ бұл мүмкіндікті қосу үшін ядроны қайта жасау гильберттік кеңістікті реттеуге негізделген әдістер бар. Мұндай әдістерді басқа да сызықтық емес өлшемді азайту алгоритмдеріне қолдануға болады. Негізгі компоненттік талдау сияқты дәстүрлі әдістер деректердің ішкі геометриясын ескермейді. Лапласиандық өзіндік карталар деректер жиынтығының көршілес ақпаратынан графикті жасайды. Әрбір деректер нүктесі графиктегі түйін ретінде қызмет етеді және түйіндер арасындағы байланыс көрші нүктелердің жақындығымен анықталады (мысалы, k ең жақын көрші алгоритмін пайдалана отырып). Осылайша жасалған графикті жоғары өлшемді кеңістіктегі төмен өлшемді көпқабаттың дискретті жуықтауы ретінде қарастыруға болады. Графикке негізделген шығындар функциясын азайту төмен өлшемді кеңістікте көпқабаттағы бір-біріне жақын нүктелердің жергілікті қашықтықты сақтай отырып, бір-біріне жақын орналасуын қамтамасыз етеді. Көпқабаттағы Лаплас-Белтрами операторының өзіндік функциялары кіріктіру өлшемдері ретінде қызмет етеді, өйткені белгілі жағдайларда бұл операторда саналатын спектр болады, ол көпқабаттағы квадраттық интегралданатын функциялардың негізі болып табылады (бірлік шеңбер көпқабатындағы Фурье қатарларын салыстырыңыз). Лапластың өзіндік карталарын берік теориялық негізде орналастыруға жасалған тырысқандар кейбір жетістіктерге жетті, өйткені белгілі бір шектеусіз болжамдар бойынша графтың Лаплас матрицасы нүктелер саны шексізге жақындағанда Лаплас-Белтрами операторына жақындайтыны көрсетілді. Флойд-Уоршалл алгоритмі классикалық көпөлшемді масштабтаумен (MDS) үйлеседі. Классикалық MDS барлық нүктелер арасындағы жұптық қашықтықтар матрицасын алады және әр нүкте үшін орналасуын есептейді. Isomap жұптық қашықтықтарды тек көршілес нүктелер арасында ғана біледі деп есептейді және Флойд-Уоршалл алгоритмін барлық басқа нүктелер арасындағы жұптық қашықтықтарды есептеу үшін қолданады. Бұл барлық нүктелер арасындағы жұптық геодезиялық қашықтықтардың толық матрицасын тиімді түрде бағалайды. Isomap содан кейін классикалық MDS-ті барлық нүктелердің азайтылған өлшемдік орналасуын есептеу үшін қолданады. Landmark Isomap – бұл алгоритмнің нұсқасы, ол жылдамдықты арттыру үшін белгілі бір дәлдіктің есебінен белгілерді пайдаланады. Көптүрліліктерді оқытуда кіріс деректері жоғары өлшемді векторлық кеңістіктің ішіне енген төмен өлшемді көптүрліліктен алынған үлгілер деп есептеледі. MVU-ның негізгі түсінігі – көптүрліліктердің жергілікті сызықтық сипаттамасын пайдалану және негізгі көптүрліліктің әрбір нүктесінде жергілікті көршілікті сақтайтын карта жасау.

Laplacian eigenmaps uses spectral techniques to perform dimensionality reduction. This technique relies on the basic assumption that the data lies in a low dimensional manifold in a high dimensional space. This algorithm cannot embed out of sample points, but techniques based on Reproducing kernel Hilbert space regularization exist for adding this capability. Such techniques can be applied to other nonlinear dimensionality reduction algorithms as well. Traditional techniques like principal component analysis do not consider the intrinsic geometry of the data. Laplacian eigenmaps builds a graph from neighborhood information of the data set. Each data point serves as a node on the graph and connectivity between nodes is governed by the proximity of neighboring points (using e. g. the k nearest neighbor algorithm). The graph thus generated can be considered as a discrete approximation of the low dimensional manifold in the high dimensional space. Minimization of a cost function based on the graph ensures that points close to each other on the manifold are mapped close to each other in the low dimensional space, preserving local distances. The eigenfunctions of the Laplace–Beltrami operator on the manifold serve as the embedding dimensions, since under mild conditions this operator has a countable spectrum that is a basis for square integrable functions on the manifold (compare to Fourier series on the unit circle manifold). Attempts to place Laplacian eigenmaps on solid theoretical ground have met with some success, as under certain nonrestrictive assumptions, the graph Laplacian matrix has been shown to converge to the Laplace–Beltrami operator as the number of points goes to infinity. is a combination of the Floyd–Warshall algorithm with classic Multidimensional Scaling (MDS). Classic MDS takes a matrix of pair wise distances between all points and computes a position for each point. Isomap assumes that the pair wise distances are only known between neighboring points, and uses the Floyd–Warshall algorithm to compute the pair wise distances between all other points. This effectively estimates the full matrix of pair wise geodesic distances between all of the points. Isomap then uses classic MDS to compute the reduced dimensional positions of all the points. Landmark Isomap is a variant of this algorithm that uses landmarks to increase speed, at the cost of some accuracy. In manifold learning, the input data is assumed to be sampled from a low dimensional manifold that is embedded inside of a higher dimensional vector space. The main intuition behind MVU is to exploit the local linearity of manifolds and create a mapping that preserves local neighbourhoods at every point of the underlying manifold.

Гессендік жергілікті-линейлік кіріктіру (Гессендік LLE)

LLE сияқты, Hessian LLE де сирек матрицалық техникаларға негізделген. Ол LLE-ге қарағанда әлдеқайда жоғары сапалы нәтижелер береді. Алайда, оның есептеу күрделілігі өте жоғары болғандықтан, тығыз үлгіленген манифольдтар үшін тиімді емес. Оның ішкі моделі жоқ.

Өзгертілген жергілікті-линейлік кіріктіру (MLLE)

Өзгертілген LLE (MLLE) – LLE карталарында бұрмалануға себеп болатын жергілікті салмақ матрицасының жағдайын жақсарту үшін әрбір маңда бірнеше салмақ қолданатын тағы бір LLE түрі. Анық айтқанда, осы бірнеше салмақтар – LLE арқылы алынған бастапқы салмақтардың жергілікті ортогональды проекциясы болып табылады. Бұл реттелген нұсқаның авторлары сонымен қатар Жергілікті Тангенттік Кеңістікті Реттеу (LTSA) әдісін жасағандар, ол MLLE формуласындағы әрбір салмақ векторының ортогональды проекциясын жаһандық тұрғыдан оңтайландыру арқылы, әрбір дерек нүктесінің жергілікті тангенттік кеңістіктерін туралауға негізделген. Осы алгоритмді дұрыс қолданудың теориялық және эмпирикалық салдары зор.

Жергілікті тангенстік кеңістіктің сәйкестігі

LTSA көпқырлы бет дұрыс жазылғанда, оған қатысты барлық жанама гипержазықтықтардың бірізді болады деген ойға негізделген. Ол әрбір нүктенің k ең жақын көршілерін есептеуден басталады. Әрбір жергілікті аймақтағы d бірінші бас компоненттерді есептеу арқылы әрбір нүктенің жанама кеңістігі есептеледі. Содан кейін жанама кеңістіктерді бірізділікке келтіретін енгізілімді табу үшін оңтайландыру жүргізіледі.

Алынудың ең жоғарғы шегі

Максималды дисперсияны ашу, Изомапа және Жергілікті сызықтық енгізу, егер көпөлшемді кеңістік дұрыс жазылса, нүктелер арасындағы дисперсия максималды болады деген ойға негізделген ортақ түсінікке ие. Оның бастапқы қадамы, Isomap және Жергілікті сызықтық енгізу сияқты, әрбір нүктенің k ең жақын көршілерін табу болып табылады. Содан кейін ол көршілес емес барлық нүктелер арасындағы қашықтықты максималдау мәселесін шешуге тырысады, бұл көршілес нүктелер арасындағы қашықтықтар сақталатындай шектеулермен. Бұл алгоритмнің басты ерекшелігі – осы мәселені жартылай белгілі бағдарламалау мәселесі ретінде қою әдісі. Алайда, жартылай белгілі бағдарламалауды шешуге арналған алгоритмдердің есептеулік қиындығы жоғары. Жергілікті сызықтық енгізу сияқты, оның ішкі моделі жоқ.

Автокодерлер

Автокодер – сәйкестік функциясын шамамен бейнелеуге жаттықтырылған нейрондық желі. Яғни, ол мәндер векторын сол векторға түрлендіруге үйретіледі. Өлшемді азайту мақсатында қолданылғанда, желідегі жасырын қабаттардың бірі шектеулі мөлшердегі нейрондық элементтерді ғана қамтиды. Осылайша, желі векторды аз ғана өлшемге кодтауды және оны бастапқы кеңістікке кері кодтауды үйренуі керек. Демек, желінің бірінші жартысы – жоғары өлшемді кеңістіктен төмен өлшемді кеңістікке түрлендіретін модель, ал екінші жартысы – төмен өлшемді кеңістіктен жоғары өлшемді кеңістікке түрлендіретін модель. Автокодерлердің идеясы көне болғанымен, терең автокодерлерді жаттықтыру тек қана шектелген Болцман машиналары мен үйілген шуды жоятын автокодерлерді пайдалану арқылы соңғы кезде мүмкін болды. Автокодерлермен байланысты NeuroScale алгоритмі бар, ол көпөлшемді масштабтау және Саммон түрлендірулерінен (жоғарыда қараңыз) шабыттанған кернеу функцияларын пайдаланып, жоғары өлшемнен кіріктірілген кеңістікке бейсызық түрлендіруді үйренеді. NeuroScale түрлендірулері радиалды негізді функциялық желілерге негізделген.

Гаусс процесінің жасырын өзгермелі модельдері

Гаусс процесінің жасырын айнымалы модельдері (GPLVM) — жоғары өлшемді деректердің төмен өлшемді, сызықтық емес кіріктірілуін табу үшін Гаусс процестерін (GPs) қолданатын ықтималдық өлшемді азайту әдістері. Олар ПКА-ның ықтималдық тұжырымының кеңейтімі болып табылады. Модель ықтималдық бойынша анықталады, содан кейін жасырын айнымалылар шеттетіледі және параметрлер ықтималдықты максималдау арқылы есептеледі. Ядролық ПКА сияқты, олар ядролық функцияны пайдаланып сызықтық емес бейнелеуді (Гаусс процесі түрінде) құрайды. Дегенмен, GPLVM-де бейнелеу кіріктірілген (жасырын) кеңістіктен дерек кеңістігіне (тығыздық желілері мен GTM сияқты) жүзеге асырылады, ал ядролық ПКА-да кері бағытта. Бұл модель бастапқыда жоғары өлшемді деректерді визуализациялау үшін ұсынылған, бірақ екі байқау кеңістігі арасында ортақ коллекторлық модель құру үшін де қолданылады. GPLVM және оның көптеген түрлері адам қозғалысын модельдеу үшін арнайы ұсынылған, мысалы, кері шектелген GPLVM, GP динамикалық моделі (GPDM), теңгерілген GPDM (B GPDM) және топологиялық шектелген GPDM. Қадамдарды талдау кезінде поза мен жүріс коллекторларының өзара әсерін анықтау үшін көп қабатты біріктірілген поза коллекторы ұсынылды.

t-таратылған стохастикалық көршілерді ендіру

t үлестірілген стохастикалық көршілік кіріктіру (t SNE) кеңінен қолданылады. Ол стохастикалық көршілік кіріктіру әдістерінің бір отбасының мүшесі болып табылады. Алгоритм жоғары өлшемді кеңістіктегі дерек нүктелерінің жұптарының байланысты болу ықтималдығын есептейді, содан кейін осыған ұқсас үлестірімді қамтамасыз ететін төмен өлшемді кіріктірулерді таңдайды.

Қарым-қатынастық перспектива картасы

Реляциялық перспективалық карта – көпөлшемді масштабтау алгоритмі. Алгоритм жабық манифольдта көп бөлшекті динамикалық жүйені модельдеу арқылы дерек нүктелерінің конфигурациясын анықтайды, онда дерек нүктелері бөлшектерге бейнеленеді, ал дерек нүктелері арасындағы қашықтықтар (немесе ұқсастықсыздық) итергіш күшті көрсетеді. Манифольдтың мөлшері біртіндеп ұлғайғанда, көп бөлшектік жүйе біртіндеп салқындап, дерек нүктелерінің қашықтық ақпаратын көрсететін конфигурацияға жақындайды. Реляциялық перспективалық карта физикалық модельден шабыттанды, онда оң зарядталған бөлшектер шардың бетінде еркін қозғалады. Бөлшектер арасындағы Кулон күшінің әсерімен бөлшектердің ең төмен энергиялық конфигурациясы бөлшектер арасындағы итергіш күштердің күшін көрсетеді. Реляциялық перспективалық карта енгізілді. Алгоритм бастапқыда жазық торды бейнелеу манифолды ретінде пайдаланды, содан кейін ол кеңейтілді (VisuMap бағдарламалық қамтамасында сфера, проекциялық кеңістік және Клейн бөтелкесі сияқты басқа да жабық манифольдтарды бейнелеу үшін пайдалануға мүмкіндік берді).

Ауру жұқтыру карталары

Жұқпалы аурулар карталары желідегі бірнеше жұқпалы ауруды пайдаланып, түйіндерді нүктелік бұлт ретінде карталайды. Global cascades моделінің жағдайында таралу жылдамдығы шекті параметрмен реттеледі. Бұл жағдайда жұқпалы аурулар картасы Isomap алгоритмімен тең.

Иілгіш компонентті талдау

Иілген компоненттік талдау (ИКТ) шығыс кеңістігіндегі нүктелердің конфигурациясын іздейді, ол бастапқы қашықтықтарды мүмкіндігінше сақтайды, сонымен бірге шығыс кеңістігіндегі кіші қашықтықтарға назар аударады (бұл Саммонның картасына керісінше, ол бастапқы кеңістіктегі кіші қашықтықтарға назар аударады). ИКТ итеративті оқыту алгоритмі болғандықтан, шындығында үлкен қашықтықтарға назар аударудан бастайды (Саммон алгоритмі сияқты), содан кейін біртіндеп кіші қашықтықтарға назар аударуға көшеді. Егер екі қашықтық арасында таңдау жасалса, кіші қашықтық туралы ақпарат үлкен қашықтық туралы ақпаратты жояды. ИКТ-ның стресс функциясы оң жақты Брегман дивергенцияларының қосындысымен байланысты.

Көгерістік қашықтықтарды талдау

CDA деректерді төмен өлшемді сызықтық кеңістікке көшіретін тегіс диффеоморфты бейнелеуді үйренеді. Бұл әдіс дерек нүктелерінен басталатын және төмен өлшемді сызықтық кеңістікте аяқталатын тегіс уақыт бойынша индекстелген векторлық өріс іздейді, соның арқасында алға және кері бейнелеулер кезінде жұптық айырмашылықтарды сақтауға тырысады.

Манифолдты реттеу

Көптүрлі сәйкестендіру, ұқсас тудыру процестері арқылы жасалған әртүрлі деректер жиынтықтарының ортақ негізгі көптүрлі ұсынысын бөлісетіні туралы болжамды пайдаланады. Әр бастапқы кеңістіктен ортақ көптүрліге проекцияларды үйрену арқылы сәйкестіктер анықталады және білімді бір саладан екіншісіне таратуға болады. Көптеген көптүрлі сәйкестендіру әдістері тек екі дерек жиынтығын қарастырады, бірақ бұл принцип кез келген санындағы бастапқы дерек жиынтықтарына қолданылады.

Сызықтық емес ПКА

Сызықтық емес ПКА (NLPCA) көп қабатты перцептронды (MLP) манифольдқа сәйкестендіру үшін кері таралуды пайдаланады. Типтік MLP оқытудан айырмашылығы, ол тек салмақтарды жаңартады, NLPCA салмақтарды да, кірістерді де жаңартады. Яғни, салмақтар мен кірістер екеуі де жасырын шамалар ретінде қарастырылады. Оқытудан кейін, жасырын кірістер – байқалатын векторлардың төмен өлшемді ұсынысы болып табылады, ал MLP осы төмен өлшемді ұсыныстан жоғары өлшемді байқау кеңістігіне бейнелейді.

Деректерге негізделген жоғары өлшемді масштабтау

Деректерге негізделген жоғары өлшемді масштабтау (DD HDS) Саммонның картаға түсіруімен және қисық сызықты компоненттік талдаумен тығыз байланысты, бірақ (1) ол бастапқы және нәтижелік кеңістіктегі шағын қашықтықтарға назар аудара отырып, жалған көршіліктерді және кеңістіктің бұзылуын бірдей жазалайды, және (2) қашықтық таралуына салмақ функциясын бейімдеу арқылы өлшемдердің шоғырлану құбылысын ескереді.

Көп қабатты мүсін жасау

Manifold Sculpting кіріктіруді табу үшін бітірілген оңтайландыруды қолданады. Басқа алгоритмдер сияқты, ол k жақын көршілерді есептеп шығады және жергілікті аймақтардағы қатынастарды сақтайтын кіріктіруді іздеуге тырысады. Ол жоғары өлшемдердегі дисперсияны баяу түрде азайтады, сонымен бірге төмен өлшемдердегі нүктелерді осы қатынастарды сақтау үшін реттейді. Масштабтау жылдамдығы төмен болса, өте дәл кіріктірулерді таба алады. Ол басқа алгоритмдерге қарағанда тәжірибелік дәлдігі жоғары, бірақ бірнеше мәселелері бар. Ол басқа көпқырлы оқыту алгоритмдерінің нәтижелерін жақсарту үшін де қолданылуы мүмкін. Дегенмен, өте баяу масштабтау жылдамдығы қолданылмаса, кейбір манифольдтарды ашуда қиындық туындауы мүмкін. Онда модель жоқ.

RankVisu-ның атауы

RankVisu көршіліктің орнын сақтауға, қашықтықты емес, бағытталған. RankVisu әсіресе қиын міндеттерде тиімді (қашықтықты қанағаттанарлық деңгейде сақтау мүмкін болмағанда). Расында, көршіліктің орны қашықтықтан кем ақпаратты (орналар қашықтықтан есептелуі мүмкін, бірақ қашықтықтар орналардан есептелмейді), сондықтан оны сақтау оңайырақ.

Топологиялық шектеулі изометриялық кіріктіру

Топологиялық шектелген изометриялық кіріктіру (TCIE) – Эвклидтік метрикаға қайшы келетін геодезиялықтарды сүзгіден өткізіп, одан кейін геодезиялық қашықтықтарды жуықтауға негізделген алгоритм. Isomap қолданғанда туындайтын бұрмалауларды түзетуге бағытталған TCIE, дәлірек картаға түсіру үшін салмақты ең кіші квадраттардың MDS әдісін пайдаланады. TCIE алгоритмі ең бастысы деректердегі мүмкін шекаралық нүктелерді анықтайды, содан кейін геодезиялық ұзындығын есептеу кезінде қайшы келетін геодезиялықтарды белгілеп, келесі салмақты стресс мажоризациясында оларға кіші салмақ қояды.

Бірыңғай көпқабатты шамалау және проекциялау

Бірыңғай көпқырлы жақындау және проекциялау (UMAP) — сызықтық емес өлшемділік азайту әдісі. Көрнеу жағынан ол t-SNE-ге ұқсас, бірақ деректер жергілікті байланысты Риман көпқырлысында біркелкі таралып, Риман метрикасы жергілікті тұрақты немесе шамамен жергілікті тұрақты деп есептеледі.

Жақындық матрицаларына негізделген әдістер

Жақындық матрицаларына негізделген әдіс – деректер алгоритмге ұқсастық матрицасы немесе қашықтық матрицасы түрінде берілетін әдіс. Мұндай әдістердің бәрі метрикалық көпөлшемді масштабтаудың (metric multidimensional scaling) кең класына жатады. Әртүрліліктер жақындық деректерін есептеу тәсілдеріндегі айырмашылықтармен байланысты; мысалы, изомап (isomap), жергілікті сызықтық енгізу (locally linear embeddings), максималды дисперсияны ашу (maximum variance unfolding) және Саммон проекциясы (нақты проекция емес) – метрикалық көпөлшемді масштабтау әдістерінің мысалдары.