Статистикалық параметрлерді бағалау әдісі: Моменттер әдісі

Кіріспе

Статистикадағы параметрлерді бағалау техникасы – таралудың конвергенциясын дәлелдеуге қолданылатын техника. Статистикада моменттер әдісі – популяция параметрлерін бағалау әдісі. Осы принцип жоғары моменттерді, мысалы, қисықтық пен куртозды шығару үшін де қолданылады. Ол популяциялық моменттерді (яғни, қарастырылып отырған кездейсоқ айнымалының дәрежелерінің күтілетін мәндерін) қызығушылық тудыратын параметрлердің функциялары түрінде көрсетуден басталады. Содан кейін бұл өрнектер үлгілік моменттерге теңестіріледі. Мұндай теңдеулердің саны бағалауға тиіс параметрлердің санымен сәйкес келеді. Бұл теңдеулер қызығушылық тудыратын параметрлер үшін шешіледі. Шешімдер осы параметрлердің бағалаулары болып табылады. Моменттер әдісін 1887 жылы Пафнутий Чебышев орталық шек теоремасын дәлелдеуде енгізген. Бір таралудың эмпирикалық моменттерін популяциялық моменттермен сәйкестендіру идеясы кем дегенде Пирсонға дейін жетеді.

Әдіс

Параметр = кездейсоқ шаманың үлестірілімін сипаттайды деп есептейік. Шын үлестірілімнің алғашқы сәттерін ("халық сәттері") s функциялары арқылы өрнектеуге болады:

Егер өлшемі n үлгі алынса, нәтижесінде мәндер пайда болады. i-ге тең j-інші үлгі сәтін деп белгілейік, ол -тің бағасы болып табылады. -ке белгіленген сәттер әдісінің бағалаушысы – бұл теңдеулердің шешімі (егер шешімі болса):

Бұл жерде сипатталған әдіс жеке кездейсоқ шамалар үшін бірнеше кездейсоқ шамаларға түсінікті түрде жалпыланады, соның салдарынан қолданылатын сәттерді таңдаудың әртүрлі мүмкіндіктері туындайды. Әртүрлі таңдаулар әдетте әртүрлі шешімдерге әкеледі [5], [6].

Артықшылықтары мен кемшіліктері

Моменттер әдісі салыстырмалы түрде қарапайым және тұрақты бағалаушыларды береді (өте әлсіз болжамдар негізінде), бірақ бұл бағалаушылар көбінесе қиыс болуы мүмкін. Бұл максималды ықтималдылық әдісіне альтернатива болып табылады. Дегенмен, кейбір жағдайларда ықтималдық теңдеулерін компьютерлерсіз шешу қиынға түсуі мүмкін, ал моменттер әдісімен бағалауды әлдеқайда жылдам және оңай есептеуге болады. Есептеудің қарапайымдығының арқасында, моменттер әдісімен алынған бағалаулар ықтималдық теңдеулерінің шешімдеріне алғашқы жуықтама ретінде қолданылуы мүмкін, ал кейін Ньютон-Рафсон әдісі арқылы одан әрі жақсартылған жуықтамалар табылуы мүмкін. Осылайша, моменттер әдісі максималды ықтималдылық бағалауларын табуға көмектеседі. Кейбір жағдайларда, үлкен үлгілерде сирек болса да, кіші үлгілерде жиі кездесетін, моменттер әдісімен алынған бағалаулар параметрлер кеңістігінен шығып кетуі мүмкін (төмендегі мысалда көрсетілгендей); мұндай жағдайда оларға сенудің қажеті жоқ. Бұл мәселе максималды ықтималдылық әдісінде туындамайды. Сонымен қатар, моменттер әдісімен алынған бағалаулар міндетті түрде жеткілікті статистика болып табылмайды, яғни олар кейде үлгідегі барлық маңызды ақпаратты ескермейді. Басқа құрылымдық параметрлерді бағалау кезінде (мысалы, белгілі ықтималдық таралымының параметрлері орнына пайдалы функцияның параметрлері), тиісті ықтималдық таралымы белгісіз болуы мүмкін, сондықтан моменттерге негізделген бағалаулар максималды ықтималдылық бағалауларына қарағанда артық тартуы мүмкін.

Моменттердің баламалы әдісі

Моменттер әдісімен (MoM) шешілетін теңдеулер көбінесе сызықтық емес болады және олардың шешімінің бар екендігіне кепілдік беру қиын. Алайда, дерек моделінің параметрлерін бағалау үшін үлгілік моменттерді пайдаланудың басқа тәсілі бар, ол модельдік моменттердің осы параметрлерге қатысты белгілі тәуелділігіне негізделген. Бұл тәсіл тек сызықтық теңдеулерді немесе, жалпы алғанда, тензорлық теңдеулерді шешуді қажет етеді. Бұл балама Байес сияқты Моменттер әдісі (BL MoM) деп аталады және классикалық MoM-нан оңтайлы салмақталған үлгілік моменттерді қолдану арқылы ерекшеленеді. MoM әдетте дерек моделі туралы жеткілікті білімнің болмауынан туындайды, бұл ықтималдық функцияларын және белгісіз немесе кездейсоқ параметрлердің а posteriori ықтималдықтарын анықтауды қиындатады. Сондықтан, Байес сияқты MoM-ның болуы таңғажайып. Бірақ «Байес сияқты» терминінің ерекше мағынасы мәселені осылай формулировать мүмкін етеді: а posteriori ықтималдықтар туралы қажетті білім, модельдік моменттердің белгісіз модель параметрлеріне тәуелділігі туралы қажетті біліммен алмастырылады – дәл осы білім дәстүрлі MoM үшін де қажет [1],[2],[5]–[9]. BL MoM бағаланатын параметрлердің априорлық ықтималдықтарын да пайдаланады, егер олар қолжетімді болса, әйтпесе біртекті априорларды қолданады. BL MoM қолданбалы статистика әдебиетінде ғана сипатталған, ол параметрлерді бағалау және ақпарат және коммуникация теориясы саласындағы мәселелерді шешу үшін, әсіресе, ықтималдық функциялары немесе а posteriori ықтималдықтары туралы білім болмаған жағдайда, стохастикалық процестерді бақылау арқылы гипотезаларды тексеру үшін қолданылады [10] және ондағы сілтемелер. Сонымен қатар, осы қабылдағыш құрылымын стохастикалық процесс модельдері үшін классикалық MoM-ға балама ретінде университет веб-сайтында оқу құралы түрінде қолжетімді [11, 11.4-бет]. [10] және сілтемелердегі қосымшалар осы баламаның классикалық MoM-нан кейбір маңызды ерекшеліктерін көрсетеді, ал салыстырмалы артықшылықтар мен кемшіліктердің толық тізімі [11, 11.4-бет] берілген. Алайда, әдебиетте классикалық MoM мен BL MoM-ның нақты қолданылуындағы тікелей салыстырулар жоқ.

The equations to be solved in the method of moments (MoM) are in general nonlinear and there are no generally applicable guarantees that tractable solutions exist. But there is an alternative approach to using sample moments to estimate data model parameters in terms of known dependence of model moments on these parameters, and this alternative requires the solution of only linear equations or, more generally, tensor equations. This alternative is referred to as the Bayesian Like MoM (BL MoM), and it differs from the classical MoM in that it uses optimally weighted sample moments. Considering that the MoM is typically motivated by a lack of sufficient knowledge about the data model to determine likelihood functions and associated a posteriori probabilities of unknown or random parameters, it is odd that there exists a type of MoM that is Bayesian Like. But the particular meaning of Bayesian Like leads to a problem formulation in which required knowledge of a posteriori probabilities is replaced with required knowledge of only the dependence of model moments on unknown model parameters, which is exactly the knowledge required by the traditional MoM [1],[2],[5]–[9]. The BL MoM also uses knowledge of a priori probabilities of the parameters to be estimated, when available, but otherwise uses uniform priors. The BL MoM has been reported on in only the applied statistics literature in connection with parameter estimation and hypothesis testing using observations of stochastic processes for problems in Information and Communications Theory and, in particular, communications receiver design in the absence of knowledge of likelihood functions or associated a posteriori probabilities [10] and references therein. In addition, the restatement of this receiver design approach for stochastic process models as an alternative to the classical MoM for any type of multivariate data is available in tutorial form at the university website [11, page 11.4]. The applications in [10] and references demonstrate some important characteristics of this alternative to the classical MoM, and a detailed list of relative advantages and disadvantages is given in [11, page 11.4], but the literature is missing direct comparisons in specific applications of the classical MoM and the BL MoM.

Мысалдар

Моменттер әдісін қолданудың мысалы – полиномдық ықтималдық тығыздық үлестірілімдерін бағалау болып табылады. Бұл жағдайда, белгілі бір дәрежелі жуық полином [немесе: шамамен келетін полином] интервалда анықталады. Моменттер әдісі осыдан кейін теңдеулер жүйесін тудырады, оның шешімі Хэнкель матрицасын кері (инверсиялау) жасауды қажет етеді.

Орталық шектеуіш теоремасын дәлелдеу

Тәуелсіз кездейсоқ айнымалылар болсын, орташа мәні 0 және дисперсиясы 1, содан кейін біз моменттерін есептей аламыз. Анық кеңейту көрсеткендей, мұндағы алымы – әрқайсысында 1-ден бастап шарлар саналған сауыттардан әрқайсынан бір шарды таңдау арқылы ерекше жұптарды таңдаудың қанша жолы бар екенін көрсетеді. Шексіздікке жақындағанда, барлық моменттер стандартты қалыпты үлестірімнің моменттеріне жақындайды. Тағы да талдау көрсеткендей, моменттердің мұндай жақындасуы үлестірімнің жақындасуын білдіреді. Бұл аргументті 1887 жылы Чебышев жариялаған.