Введение
Теория стохастических процессов
In the theory of stochastic processes, the Karhunen–Loève theorem (named after Kari Karhunen and Michel Loève), also known as the Kosambi–Karhunen–Loève theorem states that a stochastic process can be represented as an infinite linear combination of orthogonal functions, analogous to a Fourier series representation of a function on a bounded interval. The transformation is also known as Hotelling transform and eigenvector transform, and is closely related to principal component analysis (PCA) technique widely used in image processing and in data analysis in many fields. There exist many such expansions of a stochastic process: if the process is indexed over [a, b], any orthonormal basis of L^(2)([a, b]) yields an expansion thereof in that form. The importance of the Karhunen–Loève theorem is that it yields the best such basis in the sense that it minimizes the total mean squared error. In contrast to a Fourier series where the coefficients are fixed numbers and the expansion basis consists of sinusoidal functions (that is, sine and cosine functions), the coefficients in the Karhunen–Loève theorem are random variables and the expansion basis depends on the process. In fact, the orthogonal basis functions used in this representation are determined by the covariance function of the process. One can think that the Karhunen–Loève transform adapts to the process in order to produce the best possible basis for its expansion. In the case of a centered stochastic process {Xt}t ∈ [a, b] (centered means for all t ∈ [a, b]) satisfying a technical continuity condition, X admits a decomposition
where Zk are pairwise uncorrelated random variables and the functions ek are continuous real valued functions on [a, b] that are pairwise orthogonal in L^(2)([a, b]). It is therefore sometimes said that the expansion is bi orthogonal since the random coefficients Zk are orthogonal in the probability space while the deterministic functions ek are orthogonal in the time domain. The general case of a process Xt that is not centered can be brought back to the case of a centered process by considering Xt − 'E'[Xt] which is a centered process. Moreover, if the process is Gaussian, then the random variables Zk are Gaussian and stochastically independent. This result generalizes the Karhunen–Loève transform. An important example of a centered real stochastic process on [0, 1] is the Wiener process; the Karhunen–Loève theorem can be used to provide a canonical orthogonal representation for it. In this case the expansion consists of sinusoidal functions. The above expansion into uncorrelated random variables is also known as the Karhunen–Loève expansion or Karhunen–Loève decomposition. The empirical version (i. e., with the coefficients computed from a sample) is known as the Karhunen–Loève transform (KLT), principal component analysis, proper orthogonal decomposition (POD), empirical orthogonal functions (a term used in meteorology and geophysics), or the Hotelling transform.
В теории стохастических процессов теорема Кархунена — Лоева (названа в честь Кари Кархунена и Мишеля Лоева), также известная как теорема Косамби — Кархунена — Лоева, утверждает, что стохастический процесс может быть представлен как бесконечная линейная комбинация ортогональных функций, аналогично представлению Фурье на ограниченном интервале. Трансформация также известна как преобразование Хотеллинга и преобразование собственных векторов и тесно связана с методом анализа главных компонент (PCA), широко используемым в обработке изображений и анализе данных во многих областях. Существует множество таких разложений стохастического процесса: если процесс индексирован на [a, b], любая ортонормальная база в L²([a, b]) дает разложение в этой форме. Важность теоремы Кархунена — Лоева заключается в том, что она предоставляет наилучшую такую базу в том смысле, что она минимизирует общую среднеквадратичную ошибку. В отличие от ряда Фурье, где коэффициенты являются фиксированными числами, а база разложения состоит из синусоидальных функций (то есть синусов и косинусов), коэффициенты в теореме Кархунена — Лоева являются случайными величинами, а база разложения зависит от процесса. Фактически, ортогональные базисные функции, используемые в этом представлении, определяются функцией ковариации процесса. Можно сказать, что преобразование Кархунена — Лоева адаптируется к процессу, чтобы создать наилучшую возможную базу для его разложения. В случае центрированного стохастического процесса {Xt}t ∈ [a, b] (центрированный означает, что для всех t ∈ [a, b]) удовлетворяющего техническому условию непрерывности, X допускает разложение:
In the theory of stochastic processes, the Karhunen–Loève theorem (named after Kari Karhunen and Michel Loève), also known as the Kosambi–Karhunen–Loève theorem states that a stochastic process can be represented as an infinite linear combination of orthogonal functions, analogous to a Fourier series representation of a function on a bounded interval. The transformation is also known as Hotelling transform and eigenvector transform, and is closely related to principal component analysis (PCA) technique widely used in image processing and in data analysis in many fields. There exist many such expansions of a stochastic process: if the process is indexed over [a, b], any orthonormal basis of L^(2)([a, b]) yields an expansion thereof in that form. The importance of the Karhunen–Loève theorem is that it yields the best such basis in the sense that it minimizes the total mean squared error. In contrast to a Fourier series where the coefficients are fixed numbers and the expansion basis consists of sinusoidal functions (that is, sine and cosine functions), the coefficients in the Karhunen–Loève theorem are random variables and the expansion basis depends on the process. In fact, the orthogonal basis functions used in this representation are determined by the covariance function of the process. One can think that the Karhunen–Loève transform adapts to the process in order to produce the best possible basis for its expansion. In the case of a centered stochastic process {Xt}t ∈ [a, b] (centered means for all t ∈ [a, b]) satisfying a technical continuity condition, X admits a decomposition
where Zk are pairwise uncorrelated random variables and the functions ek are continuous real valued functions on [a, b] that are pairwise orthogonal in L^(2)([a, b]). It is therefore sometimes said that the expansion is bi orthogonal since the random coefficients Zk are orthogonal in the probability space while the deterministic functions ek are orthogonal in the time domain. The general case of a process Xt that is not centered can be brought back to the case of a centered process by considering Xt − 'E'[Xt] which is a centered process. Moreover, if the process is Gaussian, then the random variables Zk are Gaussian and stochastically independent. This result generalizes the Karhunen–Loève transform. An important example of a centered real stochastic process on [0, 1] is the Wiener process; the Karhunen–Loève theorem can be used to provide a canonical orthogonal representation for it. In this case the expansion consists of sinusoidal functions. The above expansion into uncorrelated random variables is also known as the Karhunen–Loève expansion or Karhunen–Loève decomposition. The empirical version (i. e., with the coefficients computed from a sample) is known as the Karhunen–Loève transform (KLT), principal component analysis, proper orthogonal decomposition (POD), empirical orthogonal functions (a term used in meteorology and geophysics), or the Hotelling transform.
где Zk — попарно некоррелированные случайные величины, а функции ek — непрерывные вещественнозначные функции на [a, b], которые попарно ортогональны в L²([a, b]). Поэтому иногда говорят, что разложение является биортогональным, поскольку случайные коэффициенты Zk ортогональны в пространстве вероятностей, а детерминированные функции ek ортогональны в области времени. Общий случай процесса Xt, который не центрирован, можно свести к случаю центрированного процесса, рассмотрев Xt − E[Xt], который является центрированным процессом. Более того, если процесс является гауссовским, то случайные величины Zk являются гауссовскими и стохастически независимыми. Этот результат обобщает преобразование Кархунена — Лоева. Важным примером центрированного вещественного стохастического процесса на [0, 1] является процесс Винера; теорема Кархунена — Лоева может быть использована для предоставления канонического ортогонального представления для него. В этом случае разложение состоит из синусоидальных функций. Вышеуказанное разложение на некоррелированные случайные величины также известно как разложение Кархунена — Лоева или разложение Кархунена — Лоева. Эмпирическая версия (то есть с коэффициентами, вычисленными из выборки) известна как преобразование Кархунена — Лоева (KLT), анализ главных компонент, собственное ортогональное разложение (POD), эмпирические ортогональные функции (термин, используемый в метеорологии и геофизике) или преобразование Хотеллинга.
In the theory of stochastic processes, the Karhunen–Loève theorem (named after Kari Karhunen and Michel Loève), also known as the Kosambi–Karhunen–Loève theorem states that a stochastic process can be represented as an infinite linear combination of orthogonal functions, analogous to a Fourier series representation of a function on a bounded interval. The transformation is also known as Hotelling transform and eigenvector transform, and is closely related to principal component analysis (PCA) technique widely used in image processing and in data analysis in many fields. There exist many such expansions of a stochastic process: if the process is indexed over [a, b], any orthonormal basis of L^(2)([a, b]) yields an expansion thereof in that form. The importance of the Karhunen–Loève theorem is that it yields the best such basis in the sense that it minimizes the total mean squared error. In contrast to a Fourier series where the coefficients are fixed numbers and the expansion basis consists of sinusoidal functions (that is, sine and cosine functions), the coefficients in the Karhunen–Loève theorem are random variables and the expansion basis depends on the process. In fact, the orthogonal basis functions used in this representation are determined by the covariance function of the process. One can think that the Karhunen–Loève transform adapts to the process in order to produce the best possible basis for its expansion. In the case of a centered stochastic process {Xt}t ∈ [a, b] (centered means for all t ∈ [a, b]) satisfying a technical continuity condition, X admits a decomposition
where Zk are pairwise uncorrelated random variables and the functions ek are continuous real valued functions on [a, b] that are pairwise orthogonal in L^(2)([a, b]). It is therefore sometimes said that the expansion is bi orthogonal since the random coefficients Zk are orthogonal in the probability space while the deterministic functions ek are orthogonal in the time domain. The general case of a process Xt that is not centered can be brought back to the case of a centered process by considering Xt − 'E'[Xt] which is a centered process. Moreover, if the process is Gaussian, then the random variables Zk are Gaussian and stochastically independent. This result generalizes the Karhunen–Loève transform. An important example of a centered real stochastic process on [0, 1] is the Wiener process; the Karhunen–Loève theorem can be used to provide a canonical orthogonal representation for it. In this case the expansion consists of sinusoidal functions. The above expansion into uncorrelated random variables is also known as the Karhunen–Loève expansion or Karhunen–Loève decomposition. The empirical version (i. e., with the coefficients computed from a sample) is known as the Karhunen–Loève transform (KLT), principal component analysis, proper orthogonal decomposition (POD), empirical orthogonal functions (a term used in meteorology and geophysics), or the Hotelling transform.
Трансформация Кархунен-Лоева декоррелирует процесс
Это следствие независимости Zk.
Анализ основных компонентов
Мы установили теорему Кархунена — Лоэва и вывели несколько её свойств. Мы также отметили, что одним из препятствий при её применении является вычислительная сложность определения собственных значений и собственных функций оператора ковариации посредством интегрального уравнения Фредгольма второго рода.
Однако, применительно к дискретному и конечному процессу, задача значительно упрощается, и для выполнения вычислений можно использовать стандартную алгебру. Следует отметить, что непрерывный процесс также можно дискретизировать, выбрав N точек во времени, чтобы свести задачу к конечному виду. Далее мы рассматриваем случайный N-мерный вектор. Как упоминалось выше, X может содержать N отсчетов сигнала, но может представлять собой и другие данные, в зависимости от области применения. Например, это могут быть ответы на опрос или экономические данные в эконометрическом анализе. Как и в случае непрерывного процесса, мы предполагаем, что X центрирован, иначе мы можем рассмотреть X - μ (где μ — вектор математических ожиданий X), который уже центрирован. Адаптируем процедуру к дискретному случаю.
Приложения
Системы адаптивной оптики иногда используют функции Карунена — Лоэва для восстановления информации о фазе волнового фронта (Dai 1996, JOSA A). Расширение Карунена — Лоэва тесно связано с сингулярным разложением. Последнее имеет множество применений в обработке изображений, радиолокации, сейсмологии и других областях. Если имеются независимые векторные наблюдения от векторного случайного процесса, то левые сингулярные векторы являются оценками максимального правдоподобия для ансамблевого расширения Карунена — Лоэва.
Обнаружение известного непрерывного сигнала S ((t)
В процессе коммуникации нам обычно необходимо определить, содержит ли сигнал, полученный по зашумленному каналу, полезную информацию. Для обнаружения непрерывного сигнала s(t) на выходе канала X(t) используется следующее гипотетическое тестирование. N(t) – это шум канала, который обычно моделируется как гауссовский процесс с нулевым средним и корреляционной функцией.