Кіріспе
Матрицаның ыдырауы
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix into a rotation, followed by a rescaling followed by another rotation. It generalizes the eigendecomposition of a square normal matrix with an orthonormal eigenbasis to any m \times n matrix. It is related to the polar decomposition. Specifically, the singular value decomposition of an complex matrix \mathbf M is a factorization of the form where \mathbf U is an m \times m complex unitary matrix, is an rectangular diagonal matrix with non negative real numbers on the diagonal, \mathbf V is an complex unitary matrix, and is the conjugate transpose of \mathbf V. Such decomposition always exists for any complex matrix. If \mathbf M is real, then \mathbf U and \mathbf V can be guaranteed to be real orthogonal matrices; in such contexts, the SVD is often denoted
The diagonal entries of are uniquely determined by \mathbf M and are known as the singular values of \mathbf M. The number of non zero singular values is equal to the rank of \mathbf M. The columns of \mathbf U and the columns of \mathbf V are called left singular vectors and right singular vectors of \mathbf M, respectively. They form two sets of orthonormal bases \mathbf u 1, \ldots, \mathbf u m and \mathbf v 1, \ldots, \mathbf v n, and if they are sorted so that the singular values with value zero are all in the highest numbered columns (or rows), the singular value decomposition can be written as
where is the rank of \mathbf M.
The SVD is not unique, however it is always possible to choose the decomposition such that the singular values are in descending order. In this case, (but not \mathbf U and \mathbf V) is uniquely determined by \mathbf M.
The term sometimes refers to the compact SVD, a similar decomposition in which \mathbf \Sigma is square diagonal of size r \times r, where r \leq \min\{m,n\} is the rank of \mathbf M, and has only the non zero singular values. In this variant, \mathbf U is an m \times r semi unitary matrix and is an >n \times r semi unitary matrix, such that
Mathematical applications of the SVD include computing the pseudoinverse, matrix approximation, and determining the rank, range, and null space of a matrix. The SVD is also extremely useful in all areas of science, engineering, and statistics, such as signal processing, least squares fitting of data, and process control.
Сызықтық алгебрада, жеке мәнді ыдырау (СВД) — нақты немесе кешен матрицаның айналуға, содан кейін масштабтауға, содан кейін тағы бір айналуға жіктелуі. Ол ортонормалдық өзіндік негізі бар квадраттық нормальды матрицаның өзіндік ыдырауын кез келген m × n матрицаға жалпылайды. Бұл полюстік ыдыраумен байланысты. Нақтырақ айтқанда, кешен матрица **M**-нің жеке мәнді ыдырауы келесі түрдегі жіктелу болып табылады: **M** = **UΣV**<sup>H</sup>, мұнда **U** — m × m кешен бірлік матрицасы, **Σ** — диагоналінде теріс емес нақты сандары бар тіктөртбұрышты диагональдық матрица, **V** — n × n кешен бірлік матрицасы, ал **V**<sup>H</sup> — **V**-нің конъюгатты транспозі. Мұндай ыдырау кез келген кешен матрица үшін әрқашан болады. Егер **M** нақты болса, онда **U** және **V** нақты ортогональды матрицалар екеніне кепілдік беруге болады; мұндай жағдайларда СВД көбінесе былай белгіленеді. **Σ** матрицасының диагональдық элементтері **M** арқылы бірегей түрде анықталады және **M**-нің жеке мәндері деп белгілі. Нөлдік емес жеке мәндердің саны **M**-нің рангіне тең. **U** бағаналары және **V** бағаналары сәйкесінше **M**-нің сол жақ жеке векторлары және оң жақ жеке векторлары деп аталады. Олар \mathbf{u}<sub>1</sub>, …, \mathbf{u}<sub>m</sub> және \mathbf{v}<sub>1</sub>, …, \mathbf{v}<sub>n</sub> ортонормальды негіздерінің екі жиынтығын құрайды, және егер олар нөлдік мәні бар жеке мәндерімен жоғары нөмірленген бағандарда (немесе қатарларда) орналасса, жеке мәнді ыдырауды былай жазуға болады:
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix into a rotation, followed by a rescaling followed by another rotation. It generalizes the eigendecomposition of a square normal matrix with an orthonormal eigenbasis to any m \times n matrix. It is related to the polar decomposition. Specifically, the singular value decomposition of an complex matrix \mathbf M is a factorization of the form where \mathbf U is an m \times m complex unitary matrix, is an rectangular diagonal matrix with non negative real numbers on the diagonal, \mathbf V is an complex unitary matrix, and is the conjugate transpose of \mathbf V. Such decomposition always exists for any complex matrix. If \mathbf M is real, then \mathbf U and \mathbf V can be guaranteed to be real orthogonal matrices; in such contexts, the SVD is often denoted
The diagonal entries of are uniquely determined by \mathbf M and are known as the singular values of \mathbf M. The number of non zero singular values is equal to the rank of \mathbf M. The columns of \mathbf U and the columns of \mathbf V are called left singular vectors and right singular vectors of \mathbf M, respectively. They form two sets of orthonormal bases \mathbf u 1, \ldots, \mathbf u m and \mathbf v 1, \ldots, \mathbf v n, and if they are sorted so that the singular values with value zero are all in the highest numbered columns (or rows), the singular value decomposition can be written as
where is the rank of \mathbf M.
The SVD is not unique, however it is always possible to choose the decomposition such that the singular values are in descending order. In this case, (but not \mathbf U and \mathbf V) is uniquely determined by \mathbf M.
The term sometimes refers to the compact SVD, a similar decomposition in which \mathbf \Sigma is square diagonal of size r \times r, where r \leq \min\{m,n\} is the rank of \mathbf M, and has only the non zero singular values. In this variant, \mathbf U is an m \times r semi unitary matrix and is an >n \times r semi unitary matrix, such that
Mathematical applications of the SVD include computing the pseudoinverse, matrix approximation, and determining the rank, range, and null space of a matrix. The SVD is also extremely useful in all areas of science, engineering, and statistics, such as signal processing, least squares fitting of data, and process control.
мұнда r — **M**-нің рангі.
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix into a rotation, followed by a rescaling followed by another rotation. It generalizes the eigendecomposition of a square normal matrix with an orthonormal eigenbasis to any m \times n matrix. It is related to the polar decomposition. Specifically, the singular value decomposition of an complex matrix \mathbf M is a factorization of the form where \mathbf U is an m \times m complex unitary matrix, is an rectangular diagonal matrix with non negative real numbers on the diagonal, \mathbf V is an complex unitary matrix, and is the conjugate transpose of \mathbf V. Such decomposition always exists for any complex matrix. If \mathbf M is real, then \mathbf U and \mathbf V can be guaranteed to be real orthogonal matrices; in such contexts, the SVD is often denoted
The diagonal entries of are uniquely determined by \mathbf M and are known as the singular values of \mathbf M. The number of non zero singular values is equal to the rank of \mathbf M. The columns of \mathbf U and the columns of \mathbf V are called left singular vectors and right singular vectors of \mathbf M, respectively. They form two sets of orthonormal bases \mathbf u 1, \ldots, \mathbf u m and \mathbf v 1, \ldots, \mathbf v n, and if they are sorted so that the singular values with value zero are all in the highest numbered columns (or rows), the singular value decomposition can be written as
where is the rank of \mathbf M.
The SVD is not unique, however it is always possible to choose the decomposition such that the singular values are in descending order. In this case, (but not \mathbf U and \mathbf V) is uniquely determined by \mathbf M.
The term sometimes refers to the compact SVD, a similar decomposition in which \mathbf \Sigma is square diagonal of size r \times r, where r \leq \min\{m,n\} is the rank of \mathbf M, and has only the non zero singular values. In this variant, \mathbf U is an m \times r semi unitary matrix and is an >n \times r semi unitary matrix, such that
Mathematical applications of the SVD include computing the pseudoinverse, matrix approximation, and determining the rank, range, and null space of a matrix. The SVD is also extremely useful in all areas of science, engineering, and statistics, such as signal processing, least squares fitting of data, and process control.
СВД бірегей емес, бірақ ыдырауды әрқашан жеке мәндері төмендеу ретімен болатындай етіп таңдауға болады. Бұл жағдайда **Σ** (бірақ **U** және **V** емес) **M** арқылы бірегей түрде анықталады.
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix into a rotation, followed by a rescaling followed by another rotation. It generalizes the eigendecomposition of a square normal matrix with an orthonormal eigenbasis to any m \times n matrix. It is related to the polar decomposition. Specifically, the singular value decomposition of an complex matrix \mathbf M is a factorization of the form where \mathbf U is an m \times m complex unitary matrix, is an rectangular diagonal matrix with non negative real numbers on the diagonal, \mathbf V is an complex unitary matrix, and is the conjugate transpose of \mathbf V. Such decomposition always exists for any complex matrix. If \mathbf M is real, then \mathbf U and \mathbf V can be guaranteed to be real orthogonal matrices; in such contexts, the SVD is often denoted
The diagonal entries of are uniquely determined by \mathbf M and are known as the singular values of \mathbf M. The number of non zero singular values is equal to the rank of \mathbf M. The columns of \mathbf U and the columns of \mathbf V are called left singular vectors and right singular vectors of \mathbf M, respectively. They form two sets of orthonormal bases \mathbf u 1, \ldots, \mathbf u m and \mathbf v 1, \ldots, \mathbf v n, and if they are sorted so that the singular values with value zero are all in the highest numbered columns (or rows), the singular value decomposition can be written as
where is the rank of \mathbf M.
The SVD is not unique, however it is always possible to choose the decomposition such that the singular values are in descending order. In this case, (but not \mathbf U and \mathbf V) is uniquely determined by \mathbf M.
The term sometimes refers to the compact SVD, a similar decomposition in which \mathbf \Sigma is square diagonal of size r \times r, where r \leq \min\{m,n\} is the rank of \mathbf M, and has only the non zero singular values. In this variant, \mathbf U is an m \times r semi unitary matrix and is an >n \times r semi unitary matrix, such that
Mathematical applications of the SVD include computing the pseudoinverse, matrix approximation, and determining the rank, range, and null space of a matrix. The SVD is also extremely useful in all areas of science, engineering, and statistics, such as signal processing, least squares fitting of data, and process control.
Кейде бұл термин ықшам СВД-ге сілтеме жасайды, бұл ұқсас ыдырау, онда **Σ** — r × r өлшемді квадратты диагональдық матрица, мұнда r ≤ min{m, n} — **M**-нің рангі және тек нөлдік емес жеке мәндері бар. Бұл нұсқада **U** — m × r жартылай бірлік матрицасы және **V** — n × r жартылай бірлік матрицасы, сондықтан
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix into a rotation, followed by a rescaling followed by another rotation. It generalizes the eigendecomposition of a square normal matrix with an orthonormal eigenbasis to any m \times n matrix. It is related to the polar decomposition. Specifically, the singular value decomposition of an complex matrix \mathbf M is a factorization of the form where \mathbf U is an m \times m complex unitary matrix, is an rectangular diagonal matrix with non negative real numbers on the diagonal, \mathbf V is an complex unitary matrix, and is the conjugate transpose of \mathbf V. Such decomposition always exists for any complex matrix. If \mathbf M is real, then \mathbf U and \mathbf V can be guaranteed to be real orthogonal matrices; in such contexts, the SVD is often denoted
The diagonal entries of are uniquely determined by \mathbf M and are known as the singular values of \mathbf M. The number of non zero singular values is equal to the rank of \mathbf M. The columns of \mathbf U and the columns of \mathbf V are called left singular vectors and right singular vectors of \mathbf M, respectively. They form two sets of orthonormal bases \mathbf u 1, \ldots, \mathbf u m and \mathbf v 1, \ldots, \mathbf v n, and if they are sorted so that the singular values with value zero are all in the highest numbered columns (or rows), the singular value decomposition can be written as
where is the rank of \mathbf M.
The SVD is not unique, however it is always possible to choose the decomposition such that the singular values are in descending order. In this case, (but not \mathbf U and \mathbf V) is uniquely determined by \mathbf M.
The term sometimes refers to the compact SVD, a similar decomposition in which \mathbf \Sigma is square diagonal of size r \times r, where r \leq \min\{m,n\} is the rank of \mathbf M, and has only the non zero singular values. In this variant, \mathbf U is an m \times r semi unitary matrix and is an >n \times r semi unitary matrix, such that
Mathematical applications of the SVD include computing the pseudoinverse, matrix approximation, and determining the rank, range, and null space of a matrix. The SVD is also extremely useful in all areas of science, engineering, and statistics, such as signal processing, least squares fitting of data, and process control.
СВД-нің математикалық қолданыстарына псевдоинверсияны есептеу, матрицалық жуықтау және матрицаның рангін, ауқымын және нөлдік кеңістігін анықтау кіреді. СВД сонымен қатар ғылымның, инженерияның және статистиканың барлық салаларында өте пайдалы, мысалы, сигналдарды өңдеу, деректерді ең кіші квадраттарға сәйкес келтіру және процестерді басқару.
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix into a rotation, followed by a rescaling followed by another rotation. It generalizes the eigendecomposition of a square normal matrix with an orthonormal eigenbasis to any m \times n matrix. It is related to the polar decomposition. Specifically, the singular value decomposition of an complex matrix \mathbf M is a factorization of the form where \mathbf U is an m \times m complex unitary matrix, is an rectangular diagonal matrix with non negative real numbers on the diagonal, \mathbf V is an complex unitary matrix, and is the conjugate transpose of \mathbf V. Such decomposition always exists for any complex matrix. If \mathbf M is real, then \mathbf U and \mathbf V can be guaranteed to be real orthogonal matrices; in such contexts, the SVD is often denoted
The diagonal entries of are uniquely determined by \mathbf M and are known as the singular values of \mathbf M. The number of non zero singular values is equal to the rank of \mathbf M. The columns of \mathbf U and the columns of \mathbf V are called left singular vectors and right singular vectors of \mathbf M, respectively. They form two sets of orthonormal bases \mathbf u 1, \ldots, \mathbf u m and \mathbf v 1, \ldots, \mathbf v n, and if they are sorted so that the singular values with value zero are all in the highest numbered columns (or rows), the singular value decomposition can be written as
where is the rank of \mathbf M.
The SVD is not unique, however it is always possible to choose the decomposition such that the singular values are in descending order. In this case, (but not \mathbf U and \mathbf V) is uniquely determined by \mathbf M.
The term sometimes refers to the compact SVD, a similar decomposition in which \mathbf \Sigma is square diagonal of size r \times r, where r \leq \min\{m,n\} is the rank of \mathbf M, and has only the non zero singular values. In this variant, \mathbf U is an m \times r semi unitary matrix and is an >n \times r semi unitary matrix, such that
Mathematical applications of the SVD include computing the pseudoinverse, matrix approximation, and determining the rank, range, and null space of a matrix. The SVD is also extremely useful in all areas of science, engineering, and statistics, such as signal processing, least squares fitting of data, and process control.
Ойналу, координаттар масштабталуы және шағылысу
\mathbf M – m × m нақты квадраттық матрица болған жағдайда, \mathbf U және \mathbf V^* матрицаларын да m × m нақты матрицалар ретінде таңдауға болады. Бұл жағдайда "бірлікті" термині "ортогоналды" терминімен мағынасы бірдей болады. Содан кейін, екі бірліктік матрицаны да, сондай-ақ диагональдық матрицаны да, мұнда \mathbf A ретінде жинақталған, \mathbf R m кеңістігінің \mathbf x \mapsto \mathbf {Ax} сызықтық түрленуі ретінде қарастырғанда, \mathbf U және \mathbf V^* матрицалары кеңістіктің айналуын немесе көлденең керілуін, ал \mathbf \Sigma – әрбір координаттың \mathbf x i масштабын \sigma i факторымен өзгертуді көрсетеді. Осылайша, SVD ыдырауы \mathbf R^m сызықтық түрленуін үш геометриялық түрленудің жиынтығына бөледі: айналу немесе көлденең керілу, содан кейін координаттардың масштабын өзгерту, содан кейін тағы да айналу немесе көлденең керілу. Атап айтқанда, егер \mathbf M оң детерминантқа ие болса, онда \mathbf U және \mathbf V^* матрицаларын айналулармен және көлденең керілулермен немесе айналулармен және көлденең керілусіз таңдауға болады. Егер детерминант теріс болса, олардың біреуі міндетті түрде көлденең керілуге ие болады. Егер детерминант нөлге тең болса, әрқайсысын екі түрдің бірі ретінде тәуелсіз таңдауға болады. Егер \mathbf M матрицасы нақты, бірақ квадраттық болмаса, яғни m ≠ n болса, оны \mathbf R^n кеңістігінен \mathbf R^m кеңістігіне сызықтық түрлендіру ретінде қарастыруға болады. Содан кейін \mathbf U және \mathbf V^* матрицаларын тиісінше \mathbf R^m және \mathbf R^n кеңістіктерінің айналуы/көлденең керілуі ретінде таңдауға болады; ал \mathbf \Sigma, бірінші \min\{m,n\} координаттарын масштабынан өзге, векторды нөлдермен толықтырады, яғни \mathbf R^n кеңістігін \mathbf R^m кеңістігіне айналдыру үшін соңғы координаттарды жояды.
In particular, if \mathbf M has a positive determinant, then \mathbf U and \mathbf V^* can be chosen to be both rotations with reflections, or both rotations without reflections. If the determinant is negative, exactly one of them will have a reflection. If the determinant is zero, each can be independently chosen to be of either type. If the matrix \mathbf M is real but not square, namely m\times n with m \neq n, it can be interpreted as a linear transformation from \mathbf R^n to \mathbf R^ m. Then \mathbf U and \mathbf V^* can be chosen to be rotations/reflections of \mathbf R^m and \mathbf R^n, respectively; and \mathbf \Sigma, besides scaling the first \min\{m,n\} coordinates, also extends the vector with zeros, i. e. removes trailing coordinates, so as to turn \mathbf R^n into \mathbf R^m.
Эллипстің немесе эллипсоидтың жарты осьтері ретінде сингулярлық мәндер
Суретте көрсетілгендей, жеке мәндерді 2D эллипстің жарты осьтерінің ұзындығы ретінде қарастыруға болады. Бұл түсінік n өлшемді Евклид кеңістігіне кеңейтіледі, кез келген n × n шаршы матрицаның жеке мәндері n өлшемді эллипсоидтың жарты осьтерінің ұзындығын көрсетеді. Сол сияқты, кез келген m × n матрицаның жеке мәндері m өлшемді кеңістіктегі n өлшемді эллипсоидтың жарты осьтерінің ұзындығы ретінде қарастырылуы мүмкін, мысалы, 3D кеңістіктегі (еңкейтілген) 2D жазықтықтағы эллипс сияқты. Жеке мәндер жарты осьтің ұзындығын, ал жеке векторлар бағытты көрсетеді. Толықрақ мәліметтер төменде келтірілген.
және бағандары ортонрмальды негіздер
U және V* бірліктік болғандықтан, олардың әрқайсысының бағаналары ортонормальдық векторлар жиынын құрайды, оларды негіздік векторлар деп қарастыруға болады. \mathbf M матрицасы \mathbf V i негіздік векторын \sigma i \mathbf U i созылған бірлік векторына бейнелейді. Біртұтас матрицаның анықтамасы бойынша, осыған ұқсас қасиет олардың түйіндес транспоздары \mathbf U^* және \mathbf V үшін де орындалады, бірақ даралық мәндердің созу ретіндегі геометриялық интерпретациясы жоғалады. Қысқасы, \mathbf U, \mathbf U^*, \mathbf V және \mathbf V^* бағаналары ортонормальдық негіздер болып табылады. Егер \mathbf M оң жартылай белгілі Гермиттік матрица болса, онда \mathbf U және \mathbf V екеуі де \mathbf M матрицасын диагональдық түрге келтіру үшін қолданылатын бірлік матрицаға тең. Дегенмен, егер \mathbf M оң жартылай белгілі емес және Гермиттік емес, бірақ оны диагональдық түрге келтіруге болады, онда оның өзіндік ыдырауы (eigendecomposition) және даралық мән ыдырауы (singular value decomposition) ерекше болады.
Төрт негізгі кіші кеңістікке қатынасы
U-ның алғашқы r бағаналары M матрицасының бағана кеңістігінің негізін құрайды. U-ның соңғы m-r бағаналары M*-ның нөлдік кеңістігінің негізін құрайды. V-ның алғашқы r бағаналары M* матрицасының (нақты жағдайда M матрицасының жол кеңістігі) бағана кеңістігінің негізін құрайды. V-ның соңғы n-r бағаналары M матрицасының нөлдік кеңістігінің негізін құрайды.
The last m r columns of \mathbf U are a basis of the null space of \mathbf M^*. The first r columns of \mathbf V are a basis of the column space of \mathbf M^* (the row space of \mathbf M in the real case). The last n r columns of \mathbf V are a basis of the null space of \mathbf M.
Псевдоинверсия
Сингулярлық мәннің ыдырауын матрицаның псевдоинверсін есептеу үшін пайдалануға болады. Матрица \mathbf{M}-нің сингулярлық мәннің ыдырауы арқылы алынған псевдоинверсісі:
мұндағы – матрицасының псевдоинверсісі, ол нөлдік емес диагональдық элементтерін кері шамаларымен алмастыру және нәтижедегі матрицаны транспонирлеу арқылы құрастырылады. Псевдоинверсия – сызықтық ең кіші квадраттар мәселелерін шешудің бір жолы.
Біртекті сызықтық теңдеулерді шешу
Біртекті сызықтық теңдеулер жиынтығын матрица \mathbf A және вектор \mathbf x арқылы жазуға болады. Көбінесе \mathbf A белгілі болып келеді және теңдеуді қанағаттандыратын нөлдік емес \mathbf x анықталады. Мұндай \mathbf x, \mathbf A-ның нөлдік кеңістігіне жатады және кейде \mathbf A-ның (оң) нөлдік векторы деп аталады. \mathbf x векторы \mathbf A-ның нөлдік жеке мәніне сәйкес келетін оң жақ жеке вектор ретінде сипатталуы мүмкін. Бұл байқау \mathbf A квадраттық матрица болса және оның нөлдік емес жеке мәндері болмаса, теңдеудің нөлдік емес \mathbf x шешімі болмайды дегенді білдіреді. Сондай-ақ, егер бірнеше нөлдік жеке мәндер болса, сәйкес келетін оң жақты жеке векторлардың кез келген сызықтық комбинациясы жарамды шешім болып табылады. (Оң) нөлдік вектордың анықтамасына ұқсас, \mathbf x^* – \mathbf x-тың конъюгат транспозын білдіретін болса, нөлдік емес \mathbf x, \mathbf A-ның сол нөлдік векторы деп аталады.
Ең кіші квадраттардың жалпы минимизациясы
Жалпы ең кіші квадраттар мәселесі \mathbf{A}\mathbf{x} векторының 2-ші нормасын азайтатын \mathbf{x} векторын табуға бағытталған, мұндағы шектеу – белгілі бір шарттар. Шешім \mathbf{A} матрицасының ең кіші жеке мәніне сәйкес келетін оң жақ жеке векторы болып табылады.
Қатар, бос орын және қатар
SVD-нің тағы бір қолданылуы – бұл матрица \mathbf{M}-ның диапазоны мен нөлдік кеңістігінің нақты бейнеленуін қамтамасыз етуі. \mathbf{M}-ның нөлге жуық жеке мәндеріне сәйкес келетін оң жақ сингулярлық векторлар \mathbf{M}-ның нөлдік кеңістігін құрайды, ал \mathbf{M}-ның нөлдік емес жеке мәндеріне сәйкес келетін сол жақ сингулярлық векторлар \mathbf{M}-ның диапазонын құрайды. Мысалы, жоғарыда келтірілген мысалда нөлдік кеңістік \mathbf{V}^* матрицасының соңғы жолымен, ал диапазон \mathbf{U} матрицасының алғашқы үш бағанымен құралады. Осының салдарынан, \mathbf{M}-ның ранкі нөлдік емес жеке мәндердің санына тең, бұл сандық сызықтық алгебрада нөлдік емес диагональдық элементтердің санымен бірдей. Сандық сызықтық алгебрада жеке мәндер матрицаның тиімді ранкін анықтау үшін қолданылуы мүмкін, себебі дөңгелектеу қатесі толық ранктік емес матрицада кішкентай, бірақ нөлдік емес жеке мәндерге алып келуі мүмкін. Маңызды үзілістен кейінгі жеке мәндер сандық жағынан нөлге тең деп есептеледі.
Төменгі қатарлы матрицаның шамалауы
Кейбір практикалық қолданбалар матрица \mathbf{M} -ді белгілі бір рангі r болатын, қысқартылған деп аталатын басқа матрицамен жуықтату мәселесін шешуді қажет етеді. Егер жуықтау \mathbf{M} мен \tilde{\mathbf{M}} арасындағы айырмашылықтың Frobenius нормасын минимумдауға негізделген болса, онда шешім \mathbf{M} матрицасының сингулярлық жіктелуі (SVD) арқылы беріледі, атап айтқанда,
мұндағы матрица \mathbf{U}\Sigma\mathbf{V}^T, \mathbf{M} матрицасымен бірдей, бірақ тек r ең үлкен сингулярлық мәндерді ғана қамтиды (қалған сингулярлық мәндер нөлмен ауыстырылады). Бұл Эккарт-Янг теоремасы деп аталады, оны осы екі автор 1936 жылы дәлелдеген (бірақ кейіннен бұл теорема одан бұрынғы авторларға белгілі болғандығы анықталды; қараңыз).
Бөлінетін үлгілер
SVD матрицаны салмақталған, реттелген бөлінгіш матрицалардың қосындысына жіктеу ретінде қарастыруға болады. Бөлінгіштікпен матрица \mathbf A екі вектордың сыртқы көбейтіндісі түрінде жазылатынын немесе координаталар бойынша, атап айтқанда, матрица \mathbf M мына түрде жіктеледі: \mathbf U i және \mathbf V i – сәйкес SVD матрицаларының i-інші бағаналары, \sigma i – реттелген жеке мәндер, және әр \mathbf A i – бөлінгіш. SVD бейне өңдеу сүзгісін бөлінгіш көлденең және тік сүзгілерге жіктеу үшін қолданылуы мүмкін. \sigma i-нің нөлден өзгеше саны матрицаның рангіне тең екенін ескеріңіз. Бөлінгіш модельдер көбінесе биологиялық жүйелерде кездеседі, ал SVD факторлауы мұндай жүйелерді талдау үшін пайдалы. Мысалы, кейбір V1 қарапайым жасушаларының қабылдау өрістерін кеңістіктегі Габор сүзгісімен, уақыт доменіндегі модуляциялық функцияға көбейтілген күйде жақсы сипаттауға болады. Осылайша, кері корреляция арқылы бағаланған сызықтық сүзгі берілген болса, мысалы, екі кеңістіктік өлшемді бір өлшемге қайта орналастыруға болады, соның нәтижесінде екі өлшемді сүзгі (кеңістік, уақыт) пайда болады, оны SVD арқылы жіктеуге болады. SVD факторлаудағы \mathbf U-дың бірінші бағаны Габор сүзгісін, ал \mathbf V-ның бірінші бағаны уақыт модуляциясын (немесе керісінше) көрсетеді. Содан кейін, жіктемедегі бірінші бөлінгіш матрицамен есептелген, M матрицасындағы қуаттың үлесін көрсететін бөліну индексін анықтауға болады.
Here \mathbf U i and \mathbf V i are the i th columns of the corresponding SVD matrices, \sigma i are the ordered singular values, and each \mathbf A i is separable. The SVD can be used to find the decomposition of an image processing filter into separable horizontal and vertical filters. Note that the number of non zero \sigma i is exactly the rank of the matrix. Separable models often arise in biological systems, and the SVD factorization is useful to analyze such systems. For example, some visual area V1 simple cells' receptive fields can be well described by a Gabor filter in the space domain multiplied by a modulation function in the time domain. Thus, given a linear filter evaluated through, for example, reverse correlation, one can rearrange the two spatial dimensions into one dimension, thus yielding a two dimensional filter (space, time) which can be decomposed through SVD. The first column of \mathbf U in the SVD factorization is then a Gabor while the first column of \mathbf V represents the time modulation (or vice versa). One may then define an index of separability
which is the fraction of the power in the matrix M which is accounted for by the first separable matrix in the decomposition.
Ең жақын ортогональды матрица
Квадраттық матрицаның SVD-ін \mathbf{A} матрицасына ең жақын ортогональды матрицаны \mathbf{0} анықтау үшін қолдануға болады. Дұрыс келудің жақындығы \mathbf{0} \mathbf{A} көбейтіндісінің Фробен нормасымен өлшенеді. Шешім \mathbf{U} \mathbf{V}^* көбейтіндісі болып табылады. Бұл интуитивті түрде түсінікті, себебі ортогональды матрицаның ыдырауы \mathbf{U} \mathbf{I} \mathbf{V}^* түрінде болады, мұнда \mathbf{I} – бірлік матрицасы, сондықтан егер болса, онда көбейтінді сингулярлық мәндерді бірліктерге алмастыруға тең. Сонымен қатар, шешім жоғарыда сипатталғандай, созу және айналу реті бойынша Полярлық ыдыраудың унитарлық матрицасы болып табылады. Пішін талдауында қызықты қолданыстары бар ұқсас мәселе – ортогональды Прокруст проблемасы, ол \mathbf{A} матрицасын \mathbf{B} матрицасына ең жақын бейнелейтін ортогональды \mathbf{O} матрицасын табудан тұрады. Атап айтқанда,
мұндағы – Фробен нормасын білдіреді. Бұл мәселе берілген матрицаға ең жақын ортогональды матрицаны табуға тең.
Кэбш алгоритмі
Кэбш алгоритмі (басқа салаларда Вахбаның мәселесі деп аталады) SVD-ді ең кіші квадраттар принципі бойынша нүктелер жиынтығын сәйкес нүктелер жиынтығымен туралауға қажетті оптималдық бұрылысты есептеу үшін қолданады. Ол, басқа қолданыстардың ішінде, молекулалардың құрылымдарын салыстыру үшін де пайдаланылады.
Сигналдарды өңдеу
SVD және псевдоинверсия сигналдарды өңдеу, кескіндерді өңдеу және үлкен деректер саласында (мысалы, геномдық сигналдарды өңдеуде) табысты қолданылған.
Басқа мысалдар
SVD сызықтық кері проблемаларды зерттеуде де кеңінен қолданылады және Тихонов әдісі сияқты реттеу әдістерін талдауда пайдалы. Ол статистикада кеңінен қолданылады, онда ол негізгі компоненттік талдаумен және сәйкестік талдаумен, сондай-ақ сигналдарды өңдеу мен үлгілерді танумен байланысты. Ол сондай-ақ шығысқа қатысты модальды талдауда қолданылады, онда масштабталмаған режимдік пішіндер жеке векторлар арқылы анықталуы мүмкін. Тағы бір қолданылуы – табиғи тіл мәтінін өңдеудегі жасырын семантикалық индекстеу. Сызықтық немесе сызықтықтандырылған жүйелерді қамтитын жалпы сандық есептеулерде проблеманың тұрақтылығын немесе бірегейлігін сипаттайтын әмбебап тұрақты бар, ол жүйенің «шарт нөмірі» болып табылады. Ол көбінесе осындай жүйелерде берілген есептеу схемасының қателік деңгейін немесе конвергенция деңгейін басқарады. SVD кванттық ақпарат саласында да маңызды рөл атқарады, бұл Шмидт ыдырауы деп аталады. Ол арқылы екі кванттық жүйенің күйлері табиғи түрде ыдырайды, олардың байланысқа түсуіне қажетті және жеткілікті жағдайды қамтамасыз етеді: егер матрицаның ранкі біреуден үлкен болса. SVD-ді үлкен матрицаларға қолданудың бір түрі – сандық ауа райы болжау, онда Ланчос әдістері берілген бастапқы алдын ала уақыт аралығында орталық сандық ауа райы болжамына ең сызықтық жылдам өсіп келе жатқан аздаған бұзылыстарды бағалау үшін қолданылады; яғни, сол уақыт аралығындағы жаһандық ауа райы үшін сызықтық таратылатын ең үлкен жеке мәндерге сәйкес келетін жеке векторлар. Бұл жағдайда шығыс жеке векторлар – ауа райының толық жүйелері. Бұл бұзылыстар толық сызықтық емес модель арқылы іске қосылып, ансамбльдік болжамды жасайды, бұл қазіргі орталық болжамды айналасында ескеруге болатын белгісіздіктерді қамтиды. SVD сонымен қатар төмендетілген реттілік модельдеуге қолданылды. Төмендетілген реттілік модельдеудің мақсаты – модельделетін күрделі жүйедегі еркіндік дәрежелерінің санын азайту. SVD радиалды негіз функцияларымен біріктірілді, үш өлшемді тұрақсыз ағынды проблемалардың шешімдерін интерполяциялау үшін. Қызығы, SVD жердегі aLIGO гравитациялық толқын интерферометрі арқылы гравитациялық толқын үлгілерін жетілдіруде пайдаланылды. SVD гравитациялық толқындарды іздеуді қолдау және екі түрлі толқын үлгісін жаңарту үшін толқын пішінін жасаудың дәлдігі мен жылдамдығын арттыруға көмектеседі. Жеке мәннің ыдырауы ұсыным жүйелерінде адамдардың тауарларға берген бағаларын болжау үшін пайдаланылады. Тауар машиналарының кластерлерінде SVD есептеу үшін бөлінген алгоритмдер әзірленді. Төменгі ранктік SVD аурудың ошағын анықтау үшін кеңістіктік-уақыттық деректерден ыстық нүктелерді анықтау үшін қолданылды. SVD және жоғары ранктік SVD комбинациясы ауруды қадағалауда күрделі деректер ағынынан (кеңістіктегі және уақыттағы өлшемдері бар көп өлшемді деректер) оқиғаларды нақты уақыт режимінде анықтау үшін қолданылды. Астродинамикада SVD және оның нұсқалары орбиталық станцияларды ұстау және траекторияны жобалау үшін қолайлы маневр бағыттарын анықтау үшін қолданылады.
2 × 2 SVD-нің талдау нәтижесі
2x2 матрицаның жеке мәндерін аналитикалық түрде табуға болады. Матрицаны былай жазуға болады:
мұндағы – матрицаны параметрлейтін комплекс сандар, \mathbf{I} – бірлік матрицасы, ал – Паули матрицаларын білдіреді. Оның екі жеке мәні мына формуламен беріледі:
СДС-ның төмендеуі
Қолданбаларда матрицаның нөлдік кеңістігінің толық унитарлық декомпозициясын қоса, толық SVD-нің қажет болуы сирек кездеседі. Керісінше, SVD-нің қысқартылған нұсқасын есептеу көбінесе жеткілікті (сонымен қатар жылдамырақ және сақтауға тиімді). Рангы r болатын m \times n \mathbf{M} матрицасы үшін келесілерді ерекшелеуге болады:
Қиылған SVD
Көптеген қолданбаларда нөлдік емес жеке мәндердің r саны үлкен болғандықтан, тіпті ықшамдалған сингулярлық жіктеуді (Compact SVD) есептеудің өзі қиынға түседі. Мұндай жағдайларда, ең кіші жеке мәндерді қысқарту қажет болуы мүмкін, осылайша тек t \ll r нөлдік емес жеке мәнді есептеуге болады. Қысқартылған сингулярлық жіктеу енді бастапқы матрицаның \mathbf{M} нақты жіктелуі емес, керісінше, t белгілі бір рангі бар кез келген матрица арқылы төменгі рангты матрицаның ең жақсы жуықтамасын \tilde{\mathbf{M}} қамтамасыз етеді.
Мұнда матрица \mathbf{U}_t м \times t, \mathbf{\Sigma}_t t \times t диагональды және \mathbf{V}_t^* t \times n болады. Тек \mathbf{U} матрицасының t бағандық векторлары және \mathbf{V}^* матрицасының t қатарлық векторлары, \mathbf{\Sigma}_t матрицасының ең үлкен t жеке мәндеріне сәйкес келеді, есептеледі. Бұл, t \ll r болған жағдайда, ықшамдалған сингулярлық жіктеуге қарағанда әлдеқайда жылдам және тиімді болуы мүмкін, бірақ мүлдем басқа сандық шешушілер жиынтығын қажет етеді. Матрица \mathbf{M} матрицасының Мур-Пенроуз керісін табуды талап ететін қолданбаларда, \mathbf{M} матрицасының ең кіші жеке мәндері қызығушылық тудырады, оларды ең үлкендерімен салыстырғанда есептеу қиын. Қысқартылған сингулярлық жіктеу жасырын семантикалық индекстеуде қолданылады.
Ky Fan нормалары
\mathbf M-нің k ең үлкен жеке мәндерінің қосындысы матрица нормасы, \mathbf M-нің Ky Fan k нормасы болып табылады.
Ky Fan нормаларының біріншісі, Ky Fan 1 нормасы, K^m және K^n Евклид нормаларына қатысты сызықтық оператор ретінде \mathbf M оператор нормасымен бірдей. Басқаша айтқанда, Ky Fan 1 нормасы стандартты Евклидтік ішкі көбейтіндіге индукцияланған оператор нормасы болып табылады. Осы себепті ол 2-оператор нормасы деп те аталады. Ky Fan 1 нормасы мен жеке мәндер арасындағы байланысты оңай тексеруге болады. Бұл жалпы алғанда, шектелген оператор \mathbf M үшін (мүмкін шексіз өлшемді) Хилберт кеңістіктерінде дұрыс.
Бірақ матрица жағдайында (\mathbf M^* \mathbf M) ^{1/2} қалыпты матрица, сондықтан (\mathbf M^* \mathbf M) ^{1/2} -ның ең үлкен өзіндік мәні, яғни \mathbf M-нің ең үлкен жеке мәні болады.
Ky Fan нормаларының соңғысы, барлық жеке мәндерінің қосындысы – із нормасы (сонымен қатар 'ядролық норма' деп аталады), ол (\mathbf M^* \mathbf M-нің өзіндік мәндері жеке мәндердің квадраттары) арқылы анықталады.
Масштабта өзгермейтін SVD
\mathbf A матрицасының жеке мәндері бірегей түрде анықталады және \mathbf A-ның сол және/немесе оң бірлік түрлендірулеріне қатысты өзгермейді. Басқаша айтқанда, \mathbf U \mathbf A \mathbf V-нің, \mathbf U және \mathbf V бірлік матрицалары болғандағы, жеке мәндері \mathbf A-ның жеке мәндерімен бірдей болады. Бұл, Евклидтік қашықтықтарды сақтау және айналымдарға қатысты өзгермейтін болу қажеттігі туындайтын қолданулар үшін маңызды қасиет. Масштабқа тәуелсіз SVD немесе SI SVD, дәстүрлі SVD-ге ұқсас, бірақ оның бірегей анықталған жеке мәндері \mathbf A матрицасының диагональдық түрлендірулеріне қатысты өзгермейді. Басқаша айтқанда, \mathbf D \mathbf A \mathbf E-нің жеке мәндері, \mathbf D және \mathbf E инверттік диагональ матрицалары болғанда, \mathbf A-ның жеке мәндерімен бірдей болады. Бұл, айнымалылардың өлшем бірліктерін таңдауға қатысты өзгермейтін болу қажеттігі туындайтын (мысалы, метрикалық және империялық бірліктер) қолданулар үшін маңызды қасиет.
Бірегей мәндер мен компакт операторлар
Бірыңғай мәндер және сол/оң біртұтас векторлар түсінігі гильберт кеңістігіндегі компактты операторға дейін кеңейтілуі мүмкін, себебі олардың дискретті спектрі бар. Егер T компактты болса, оның спектріндегі кез келген нөлдік емес λ өзіндік мән болып табылады. Сонымен қатар, компактты өзін-өзі қосатын операторды оның өзіндік векторлары арқылы диагональдауға болады. Егер **M** компактты болса, **M*** **M** да компактты болады. Диагональдау нәтижесін қолдану арқылы, оның оң квадрат түбірінің унитарлық бейнесінде {eᵢ} ортонормалдық өзіндік векторлар жиынтығы болады, бұл қатаң оң өзіндік мәндерге {σᵢ} сәйкес келеді. H-дегі кез келген ψ үшін,
қтары H-дегі норма топологиясында жинақталады. Бұл шекті өлшемді жағдайдағы өрнекке қаншалықты ұқсас екенін байқаңыз. σᵢ мәндері **M** операторының бірыңғай мәндері деп аталады. {**U**eᵢ} (сәйкесінше, {**U**eᵢ}) **M** операторының сол жақ (сәйкесінше, оң жақ) біртұтас векторлары болып қарастырылуы мүмкін.
Гильберт кеңістігіндегі компактты операторлар – біркелкі оператор топологиясындағы шекті рангілі операторлардың жабылуы. Жоғарыдағы қатарлы өрнек мұндай нақты бейнелеуді береді. Мұның тікелей салдары:
Теорема. **M** компактты егер және тек қана **M*** **M** компактты болса.
Тарих
Бірлік мәннің ыдырауын бастапқыда дифференциалдық геометрияшылар әзірлеген, олар нақты екі сызықтық пішінді, олар әрекет ететін екі кеңістіктің тәуелсіз ортогональды түрлендірулері арқылы бір-біріне тең болатынын анықтағысы келген. Евгенио Белтрами мен Камиль Джордан 1873 және 1874 жылдары, тиісінше, екі сызықтық нысандардың жеке мәндері матрица түрінде көрсетілген екі сызықтық нысандар үшін ортогональды ауыстырулар кезінде инварианттардың толық жиынтығын құрайтынын анықтады. Джеймс Джозеф Сильвестр де 1889 жылы Белтрами мен Джорданнан тәуелсіз түрде нақты шаршы матрицалар үшін жеке мәннің ыдырауына келді. Сильвестр жеке мәндерді матрицаның канондық көбейткіштері деп атады. Жеке мәннің ыдырауын өздігінен ашқан төртінші математик – 1915 жылы поляризациялық ыдырау арқылы оған келген Аутонн. Тіктөртбұрышты және кешенді матрицалар үшін жеке мәннің ыдырауын бірінші рет дәлелдеген Карл Эккарт пен Гейл Дж. Янг 1936 жылы оны Гермиттік матрицалар үшін бас осінің түрлендірілімінің жалпылауы ретінде қарастырды. 1907 жылы Эрхард Шмидт интегралды операторлар үшін жеке мәндердің аналогын анықтады (кейбір әлсіз техникалық шарттар бойынша олар ықшам); ол шекті матрицалардың жеке мәндері бойынша параллель жұмысты білмейтін секілді. Бұл теорияны 1910 жылы Эмиль Пикард одан әрі дамытты, ол сандарды жеке мәндер деп атаған алғашқы адам (немесе француз тілінде – valeurs singulières). SVD есептеудің практикалық әдістері 1954–1955 жылдары Когбетлианц пен 1958 жылы Хестенске жатады, олар Жакобидің меншік мәндер алгоритміне ұқсас, жазықтық айналымдарын немесе Гивенс айналымдарын қолданады. Алайда, олар 1965 жылы жарияланған Джин Голуб пен Уильям Каханның әдісімен ауыстырылды, ол Хаусхолдер түрлендірулерін немесе көріністерін қолданады. 1970 жылы Голуб пен Кристиан Рейнш Голуб/Кахан алгоритмінің нұсқасын жариялады, ол әлі күнге дейін ең көп қолданылады.