Кіріспе
Стохастикалық процестер теориясы
Стохастикалық процестер теориясында Кархунен-Лоев теоремасы (Кари Кархунен және Мишель Лоевтің есімдерімен аталады), сондай-ақ Косамби-Кархунен-Лоев теоремасы деп те аталады. Бұл теорема стохастикалық процесс ортогональды функциялардың шексіз сызықтық комбинациясы түрінде көрсетіле алатынын айтады, бұл шектелген аралықтағы функцияның Фурье қатарына ұқсас. Бұл трансформация Hotelling трансформациясы және меншікті векторлық трансформациясы деп те аталады, сонымен қатар көптеген салаларда қолданылатын бейне өңдеу және деректерді талдау әдісі – негізгі компоненттік талдаумен (PCA) тығыз байланысты. Стохастикалық процесс үшін осындай көптеген кеңейтулер бар: егер процесс [a, b] аралығында индекстелген болса, онда L^(2)([a, b]) кез келген ортонормальды базисі оның сол түріндегі кеңейтуін береді. Кархунен-Лоев теоремасының маңыздылығы – ол орташа квадраттық қателіктерді ең азайту мағынасында ең жақсы базисті ұсынады. Фурье қатарынан айырмашылығы, онда коэффициенттер тұрақты сандар болып табылады және кеңейту базисі синусоидты функциялардан (яғни синус және косинус функцияларынан) тұрады, Кархунен-Лоев теоремасындағы коэффициенттер кездейсоқ шамалар болып табылады және кеңейту базисі процесске байланысты. Шындығында, осы көрсетуде қолданылатын ортогональды базистік функциялар процесс ковариациялық функциясымен анықталады. Кархунен-Лоев трансформациясы оның кеңейтуі үшін ең жақсы базисті жасау мақсатында процесске бейімделеді деп санауға болады. Техникалық үздіксіздік шартын қанағаттандыратын және орталықтандырылған стохастикалық процесс {Xt}t ∈ [a, b] (барлық t ∈ [a, b] үшін орташасы нөлге тең) жағдайында, X келесі түрде ыдырайды:
In the theory of stochastic processes, the Karhunen–Loève theorem (named after Kari Karhunen and Michel Loève), also known as the Kosambi–Karhunen–Loève theorem states that a stochastic process can be represented as an infinite linear combination of orthogonal functions, analogous to a Fourier series representation of a function on a bounded interval. The transformation is also known as Hotelling transform and eigenvector transform, and is closely related to principal component analysis (PCA) technique widely used in image processing and in data analysis in many fields. There exist many such expansions of a stochastic process: if the process is indexed over [a, b], any orthonormal basis of L^(2)([a, b]) yields an expansion thereof in that form. The importance of the Karhunen–Loève theorem is that it yields the best such basis in the sense that it minimizes the total mean squared error. In contrast to a Fourier series where the coefficients are fixed numbers and the expansion basis consists of sinusoidal functions (that is, sine and cosine functions), the coefficients in the Karhunen–Loève theorem are random variables and the expansion basis depends on the process. In fact, the orthogonal basis functions used in this representation are determined by the covariance function of the process. One can think that the Karhunen–Loève transform adapts to the process in order to produce the best possible basis for its expansion. In the case of a centered stochastic process {Xt}t ∈ [a, b] (centered means for all t ∈ [a, b]) satisfying a technical continuity condition, X admits a decomposition
мұнда Zk жұптық корреляциясы жоқ кездейсоқ шамалар, ал ek функциялары [a, b] аралығындағы үздіксіз нақты мәнді функциялар болып табылады және L^(2)([a, b]) кеңістігінде жұптық ортогональды. Сондықтан кейде кеңейту биортогональды деп айтылады, себебі кездейсоқ коэффициенттер Zk ықтималдық кеңістігінде ортогональды, ал детерминистік функциялар ek уақыт доменінде ортогональды. Орталықтандырылмаған Xt процесінің жалпы жағдайы Xt − 'E'[Xt] орталықтандырылған процесс деп қарастыру арқылы орталықтандырылған процесске келтіріледі. Сонымен қатар, егер процесс Гаусс процесі болса, онда Zk кездейсоқ шамалары Гаусс және стохастикалық түрде тәуелсіз болады. Бұл нәтиже Кархунен-Лоев трансформациясын жалпылайды. [0, 1] аралығындағы орталықтандырылған нақты стохастикалық процестің маңызды мысалы – Винер процесі; Кархунен-Лоев теоремасын оның канондық ортогональды көрсетуін алу үшін қолдануға болады. Бұл жағдайда кеңейту синусоидты функциялардан тұрады. Жоғарыдағы корреляциясыз кездейсоқ шамаларға жасалған кеңейту Кархунен-Лоев кеңейтуі немесе Кархунен-Лоев ыдырауы деп те аталады. Эмпирикалық нұсқа (яғни, үлгіден есептелген коэффициенттермен) Кархунен-Лоев трансформациясы (KLT), негізгі компоненттік талдау, дұрыс ортогональды ыдырау (POD), эмпирикалық ортогональды функциялар (метеорология және геофизикада қолданылатын термин) немесе Hotelling трансформациясы деп аталады.
Кархунен-Лоев трансформациясы процесті ажыратып көрсетеді
Бұл Zk тәуелсіздігінің нәтижесі.
Негізгі компонентті талдау
Біз Кархунен-Лоев теоремасын белгілеп, оның бірнеше қасиеттерін шығардық. Сондай-ақ, оның қолданылуындағы бір қиындық – ковариациялық оператордың өзіндік мәндері мен өзіндік функцияларын екінші түріндегі Фредгольм интегралдық теңдеуі арқылы анықтаудың есептеу шығындары жоғары екенін атап өттік.
Дегенмен, дискретті және шекті процесске қолданғанда, мәселе әлдеқайда жеңілдейді және есептеулерді жүргізу үшін стандартты алгебра қолданылуы мүмкін. Ұздік процесті де N уақыт мезетінде дискреттеуге болады, бұл мәселені шекті түрге келтіруге мүмкіндік береді. Енді кездейсоқ N өлшемді векторды қарастырайық. Жоғарыда айтылғандай, X сигналының N үлгісін қамтуы мүмкін, бірақ қолдану саласына қарай басқа да түрлі мәліметтерді ұстауы мүмкін. Мысалы, бұл сауалнамаға берілген жауаптар немесе эконометриялық талдаудағы экономикалық деректер болуы мүмкін. Ұздік нұсқадағыдай, X центрітелген деп есептейміз, әйтпесе X-тің орташа векторын центрітелген күйге келтіруге болады. Енді осы процедураны дискретті жағдайға бейімдестірейік.
Қолданбалар
Адаптациялық оптикалық жүйелер кейде толқын фронтының фазалық ақпаратын қалпына келтіру үшін K–L функцияларын пайдаланады (Dai 1996, JOSA A). Кархунен–Лоэв кеңейтуі жекеше мәнге жіктеумен тығыз байланысты. Соңғысы бейне өңдеу, радар, сейсмология және басқа да көптеген салаларда қолданылады. Егер векторлық мәнді стохастикалық процестен тәуелсіз векторлық өлшемдер болса, сол жақ сингулярлық векторлар ансамбльдік K–L кеңейтуінің максималды ықтималдық бағалаулары болып табылады.
Белгілі бір үздіксіз сигналдың анықталуы S ((t)
Байланыс кезінде біз әдетте дауысты каналдан келген сигналдың құнды ақпаратты қамтитынын анықтауға тиіспіз. Арна шығысынан үздіксіз сигнал s(t) табу үшін келесі гипотезалық тестілеу қолданылады X(t), мұнда N(t) – арна шуы, ол әдетте нөлдік орташа мәні бар Гаусс процесі деп есептеледі, оның корреляциялық функциясы бар.