Кіріспе
Статистикалық бағалаушылар класы
Статистикада М бағалаушылар – мақсаттық функциясы үлгінің орташа мәні болып табылатын экстремум бағалаушылардың кең класы. Сызықтық емес ең кіші квадраттар және максималды ықтималдық бағалауы – М бағалаушылардың ерекше жағдайлары. М бағалаушыларды анықтауға беріктік статистикасы түрткі болды, ол М бағалаушылардың жаңа түрлерін ұсынды. Дегенмен, М бағалаушылар өзінен-өзі берік емес, себебі оларға әдетте берік болмайтын максималды ықтималдық бағалаушылары да кіреді. Деректер жиынтығында М бағалаушыны бағалаудың статистикалық процедурасы М бағалау деп аталады. Көбінесе М бағалаушыны бағалау функциясының нөлі деп анықтауға болады. Бұл бағалау функциясы көбінесе басқа статистикалық функцияның туындысы болып табылады. Мысалы, максималды ықтималдық бағасы – параметрге қатысты ықтималдық функциясының туындысы нөлге тең болатын нүкте; демек, максималды ықтималдық бағалаушысы – балл функциясының сындық нүктесі. Көптеген қолданыстарда мұндай М бағалаушыларды популяцияның қасиеттерін бағалау ретінде қарастыруға болады.
In statistics, M estimators are a broad class of extremum estimators for which the objective function is a sample average. Both non linear least squares and maximum likelihood estimation are special cases of M estimators. The definition of M estimators was motivated by robust statistics, which contributed new types of M estimators. However, M estimators are not inherently robust, as is clear from the fact that they include maximum likelihood estimators, which are in general not robust. The statistical procedure of evaluating an M estimator on a data set is called M estimation. More generally, an M estimator may be defined to be a zero of an estimating function. This estimating function is often the derivative of another statistical function. For example, a maximum likelihood estimate is the point where the derivative of the likelihood function with respect to the parameter is zero; thus, a maximum likelihood estimator is a critical point of the score function. In many applications, such M estimators can be thought of as estimating characteristics of the population.
Анықтама
1964 жылы Питер Дж. Губер барынша ықтималдықты бағалауды, ρ белгілі бір қасиеттері бар функция болған жағдайда, азайту арқылы жалпылауды ұсынды (қараңыз төменде). Осы шешімдер M бағалаушылар деп аталады ("M" – "максималды ықтималдыққа ұқсас" үшін (Хубер, 1981, 43-бет)); басқа мықты бағалаушылардың түрлеріне L бағалаушылар, R бағалаушылар және S бағалаушылар жатады. Максималды ықтималдықты бағалаушылар (MLE) – М бағалаушылардың ерекше жағдайы болып табылады. Тиісті масштабтаумен, М бағалаушылар экстремум бағалаушылардың ерекше жағдайлары болып табылады (онда байқаулардың әртүрлі функцияларын қолдануға болады). ρ функциясы немесе оның туындысы ψ, деректер нақтыдағы болжамды үлестірімнен алынған кезде бағалаушыға қажетті қасиеттерді (бұрмалану және тиімділік тұрғысынан) беру үшін таңдалуы мүмкін, ал деректер болжамды үлестірімге жақын модельден туындаған жағдайда, "жаман емес" нәтижелерді қамтамасыз етеді.
where ρ is a function with certain properties (see below). The solutions
are called M estimators ("M" for "maximum likelihood type" (Huber, 1981, page 43)); other types of robust estimators include L estimators, R estimators and S estimators. Maximum likelihood estimators (MLE) are thus a special case of M estimators. With suitable rescaling, M estimators are special cases of extremum estimators (in which more general functions of the observations can be used). The function ρ, or its derivative, ψ, can be chosen in such a way to provide the estimator desirable properties (in terms of bias and efficiency) when the data are truly from the assumed distribution, and 'not bad' behaviour when the data are generated from a model that is, in some sense, close to the assumed distribution.
ψ-түрі
Егер функциясы -ға қатысты дифференциалданатын болса, оның есептелуі әдетте әлдеқайда оңай. T типті ψ M бағалаушысы өлшенетін функция арқылы анықталады. Ол F ықтималдық үлестірімін векторлық теңдеуді шешетін мәнге (егер ол бар болса) бейнелейді:
Мысалы, максималды ықтималдық бағалаушысы үшін, , мұнда u векторының транспозициясын білдіреді және . Мұндай бағалаушы міндетті түрде ρ типті M бағалаушысы емес, бірақ егер ρ функциясы -ға қатысты үздіріссіз бірінші туындыға ие болса, онда ψ типті M бағалаушысының ρ типті M бағалаушысы болуы үшін қажетті шарт болып табылады. Бұрынғы анықтамалар шекті үлгілерге оңай кеңейтілуі мүмкін. Егер ψ функциясы -ға жақындағанда нөлге төмендесе, онда бағалаушы қайта төмендейтін (redescending) деп аталады. Мұндай бағалаушылардың кейбір қосымша қалаулы қасиеттері бар, мысалы, ірі ауытқуларды толыққанды қабылдамау.
Such an estimator is not necessarily an M estimator of ρ type, but if ρ has a continuous first derivative with respect to , then a necessary condition for an M estimator of ψ type to be an M estimator of ρ type is The previous definitions can easily be extended to finite samples. If the function ψ decreases to zero as , the estimator is called redescending. Such estimators have some additional desirable properties, such as complete rejection of gross outliers.
Есептеу
ρ немесе ψ-тің көптеген мәндері үшін жабық түрдегі шешім болмайды және есептеу үшін итеративтік тәсіл қажет. Ньютон-Рафсон сияқты стандартты функцияларды оңтайландыру алгоритмдерін қолдануға болады. Дегенмен, көп жағдайда қайта салмақталған ең кіші квадраттар әдісі қолданылуы мүмкін; бұл әдетте артықшылыққа ие әдіс. ψ-тің кейбір мәндері үшін, әсіресе төмендейтін функциялар үшін, шешім бірегей болмауы мүмкін. Бұл мәселе, ең алдымен, көп өлшемді және регрессиялық есептерде маңызды. Сондықтан, жақсы бастапқы нүктелерді таңдауға көңіл бөлу қажет. Орналасуды бағалау үшін медиана және масштабты бағалау үшін медиана абсолютті ауытқу сияқты сенімді бастапқы нүктелер жиі қолданылады.
Тарату
M бағалаушылар асимптотикалық түрде қалыпты таралуға ие екенін көрсетуге болады. Сондықтан, сенімділік интервалдарын және гипотезалық тестілеулерді құру үшін Вальд тәрізді әдістерді қолдануға болады. Дегенмен, теория асимптотикалық болғандықтан, таралуды тексеру маңызды, мысалы, пермутациялық немесе бутстрап таралуын қарастыру арқылы.
ықпал ету функциясы
M типті бағалаушының әсер ету функциясы оны анықтайтын функцияға пропорционалды. T – ψ түріндегі M бағалаушы болсын, ал G – үшін анықталған ықтималдық үлестірімі болсын. Оның әсер ету функциясы IF, егер тығыздық функциясы бар болса, былай есептеледі. M бағалаушыларының осы қасиетінің дәлелін Huber (1981, 3.2-бөлім) еңбегінен табуға болады.
assuming the density function exists. A proof of this property of M estimators can be found in Huber (1981, Section 3.2).
Қолданбалар
M бағалаушыларды бір және көп өлшемді жағдайларда орналасу және масштаб параметрлері үшін құрастыруға болады, сонымен қатар олар берікті регрессияда қолданылады.