Кіріспе

Статистикалық модель Ықтималдықтар теориясы мен статистикада Гаусс процесі – уақыт немесе кеңістік бойынша индекстелген кездейсоқ айнымалылар жиынтығы болып табылатын стохастикалық процесс, ондағы кездейсоқ айнымалылардың кез келген шекті жиынтығы көп айнымалы қалыпты үлестірімге ие. Гаусс процесінің үлестірілімі – бұл барлық (шексіз көп) кездейсоқ айнымалылардың бірлескен үлестірілімі, сондықтан ол үздіксіз домендегі функциялар бойынша, мысалы, уақыт немесе кеңістік бойынша үлестірімді білдіреді. Гаусс процестері ұғымы Карл Фридрих Гаусс есімімен аталады, себебі ол Гаусс үлестіріміне (қалыпты үлестіріміне) негізделген. Гаусс процестерін көп өлшемді қалыпты үлестірімнің шексіз өлшемді жалпылауы ретінде қарастыруға болады. Гаусс процестері статистикалық модельдеуде пайдалы, себебі олар қалыпты үлестірімнен мұрагерлік қасиеттерін алады. Мысалы, егер кездейсоқ процесс Гаусс процесі ретінде модельделсе, түрлі туынды шамалардың үлестірілімін анық түрде алуға болады. Мұндай шамаларға процестің белгілі бір уақыт аралығындағы орташа мәні және іріктемелік мәндерді қолдану арқылы орташа мәнді бағалаудағы қателік кіреді. Нақты модельдер деректер көлемі артқан сайын нашар масштабталады, бірақ есептеу уақытын күрт қысқартумен қатар, жақсы дәлдікті сақтайтын бірнеше жуықтау әдістер әзірленді.

Тұрақтылық

Жалпы стохастикалық процестер үшін қатаң мағынадағы стационарлық кең мағынадағы стационарлықты білдіреді, бірақ әр кең мағынадағы стационарлық стохастикалық процесс қатаң мағынадағы стационарлық емес. Дегенмен, Гаусс стохастикалық процесі үшін екі түсінік эквивалентті. Осы ұсынылымның қарапайым мысалы:

мұндағы және – стандартты қалыпты үлестірілімге ие тәуелсіз кездейсоқ айнымалылар.

Коварианстық функциялар

Гаус процестерінің маңызды ерекшелігі – оларды екінші реттік статистикасы арқылы толық сипаттауға болады. Демек, Гаус процесінің орташа мәні нөл деп есептелсе, ковариациялық функцияны анықтау процестің мінез-құлқын толық анықтайды. Бұл функцияның оң жартылай анықтығы (non-negative definiteness) Кархунен-Лоев кеңейтуі арқылы оның спектрлік жіктелуін қамтамасыз етеді. Ковариациялық функция арқылы анықталатын негізгі қасиеттер – процесс стационарлығы, изотропиясы, тегісдігі және периодтылығы. Стационарлық – кез келген екі нүктенің арақашықтығына байланысты процесс мінез-құлқының өзгеруін көрсетеді. Егер процесс стационарлы болса, ковариациялық функция тек арақашықтыққа ғана тәуелді болады. Мысалы, Орнштейн-Уленбек процесі стационарлы болып табылады. Егер процесс тек және арасындағы Евклидтік қашықтыққа (бағытқа емес) тәуелді болса, онда процесс изотропты деп есептеледі. Стационарлық және изотроптық қасиеттерге ие процесс біртекті болып саналады; практикалық тұрғыда бұл қасиеттер бақылаушының орналасқан жеріне байланысты процесс мінез-құлқындағы айырмашылықтарды (немесе олардың болмауын) көрсетеді. Қорыта айтқанда, Гаус процестері функцияларға алдын ала қойылған шарттар (priors) ретінде қарастырылады, ал осы шарттардың тегісдігі ковариациялық функция арқылы анықталады.

Қолданбалар

Гаусс процесі Байестік қорытындылауда функциялар үшін алдын ала ықтималдық таралым ретінде қолданылуы мүмкін. Функциялардың қажетті доменіндегі N нүктенің кез келген жиынтығын қарастыра отырып, N нүктенің грам матрицасы ковариациялық матрицасының параметрі болатын көпөлшемді Гаусс таралымын алыңыз және осы Гаусс таралымынан үлгі алыңыз. Көп шығыс болжау мәселесін шешу үшін векторлық функцияларға арналған Гаусс процесінің регрессиясы әзірленді. Бұл әдісте қажетті домендегі N нүктеде алынған барлық кіріс және шығыс айнымалылары арасындағы корреляцияны сипаттайтын "үлкен" ковариация құрылады. Бұл тәсіл матрицалық бағаланған Гаусс процестері үшін егжей-тегжейлі әзірленді және Student t процестері сияқты "ауыр құйрықтары" бар процестерге жалпыландырылды. Гаусс процесінің алдындағы үздіксіз мәндерді есептеу Гаусс процесінің регрессиясы немесе кригингі деп аталады; Гаусс процесінің регрессиясын бірнеше мақсатты айнымалыларға кеңейту кокригингі деп аталады. Гаусс процестері қуатты сызықтық емес көпөлшемді интерполяция құралы ретінде пайдалы. Гаусс процестері сандық интеграция, дифференциалдық теңдеулерді шешу немесе ықтималдық сандық талдау саласындағы оптимизация сияқты сандық талдау мәселелерін шешу үшін де жиі қолданылады. Мысалы, Гаусс процестерін сарапшылар модельдерінің қоспасы контекстінде де қолдануға болады. Мұндай оқыту аясының негізгі ұстанымы берілген бейнелеуді бір Гаусс процесінің моделімен жақсы түсіруге болмайды деген болжамға негізделген. Оның орнына, бақылау кеңістігі әрқайсысы әртүрлі бейнелеу функциясымен сипатталатын ішкі жиынтарға бөлінеді; олардың әрқайсысы ұсынылған қоспадағы әртүрлі Гаусс процесінің компоненті арқылы оқытылады. Табиғат ғылымдарында Гаусс процестері астрономиялық уақыт қатарларының ықтималдық модельдері және молекулалық қасиеттерді болжаушылар ретінде қолданылды.

Гаусс процесінің болжамы немесе Криггин

Жалпы Гаусс процесінің регрессиялық мәселесін (Кригинг) қарастырғанда, координаталарда байқалған Гаусс процесінде f(x) мәндерінің векторы байқалған n координаталар санына тең өлшемді көпөлшемді Гаусс үлестірілімінің бір ғана үлгісі деп есептеледі. Сондықтан, орташасы нөлдік үлестірім деп есептесек, f(x') ~ N(0, K(θ,x,x')), мұнда K(θ,x,x') – берілген гиперпараметрлер жиыны θ үшін барлық мүмкін жұптар (x,x') арасындағы ковариациялық матрица. Кригинг әдісін сызықтық емес аралас эффектілер моделінің жасырын деңгейінде кеңістіктік функционалдық болжамдар жасау үшін қолдануға болады: бұл техника жасырын кригинг деп аталады. Көбінесе ковариациялық функция мынадай формада болады , мұндағы – масштабтау параметрі. Мысал ретінде Матерн класының ковариациялық функцияларын келтіруге болады. Егер бұл масштабтау параметрі белгілі немесе белгісіз болса (яғни, интегралдау қажет болса), онда артқы ықтималдық, яғни гиперпараметрлерге берілген деректер жұптарының жиынтығы бойынша бақылаулар және ықтималдығы аналитикалық түрде өрнектеледі.

Бейес нейрондық желілері Гаусс процестері ретінде

Бейес нейро желілері – терең оқыту және жасанды нейро желілері модельдерін ықтималдық тұрғысынан қарастырып, олардың параметрлеріне алдын ала таралымды (приор) тағайындау нәтижесінде пайда болатын Бейес желісінің ерекше түрі. Жасанды нейрондық желілердегі есептеулер әдетте жасанды нейрондардың тізбектелген қабаттары түрінде ұйымдастырылады. Қабаттағы нейрондардың саны қабаттың ені деп аталады. Қабаттың ені артқан сайын, көптеген Бейес нейро желілері жабық формадағы композициялық ядросы бар Гаусс процесіне дейін келеді. Бұл Гаусс процесі Нейро Желісі Гаусс процесі (ННГП) деп аталады. Ол Бейес нейро желілерінен жасалған болжамдарды тиімдірек бағалауға мүмкіндік береді және терең оқыту модельдерін түсінуге арналған аналитикалық құралды ұсынады.

Есептеу мәселелері

Практикалық қолданбаларда Гаусс процестерінің модельдері көбінесе торда бағаланады, нәтижесінде көпөлшемді қалыпты үлестірімдер пайда болады. Осы модельдерді болжау немесе максималды ықтималдылықты қолданып параметрлерді бағалау үшін көпөлшемді Гаусс тығыздығын есептеу қажет, ол ковариациялық матрицаның детерминантын және кері матрицасын табуды қамтиды. Бұл екі операцияның да кубикалық есептеу күрделілігі бар, яғни қарапайым өлшемдегі торлар үшін де есептеу шығындары тым жоғары болуы мүмкін. Осы кемшілік көптеген жуықтау әдістерін жасауға себеп болды.