Кіріспе

Статистикалық бағалау техникасы

Статистикада жалпыланған ең кіші квадраттар (GLS) – сызықтық регрессия моделіндегі белгісіз параметрлерді бағалауға қолданылатын әдіс. Бұл регрессия моделіндегі қалдықтар арасында нөлден өзгеше корреляция болған жағдайда қолданылады. GLS әдеттегі ең кіші квадраттар және салмақталған ең кіші квадраттар әдістерімен салыстырғанда статистикалық тиімділікті арттыру және қателіс қорытындыларға келу қаупін азайту үшін пайдаланылады. Оны алғаш рет 1935 жылы Александр Айткен сипаттаған. Бұл қалдықтардың ковариациялық матрицасын білуді қажет етеді. Егер ол белгісіз болса, ковариациялық матрицаны бағалау нәтижесінде мүмкін жалпыланған ең кіші квадраттар (FGLS) әдісі алынады. Дегенмен, FGLS жақсартуға кепілдіктерді аз қамтамасыз етеді.

Қасиеттері

GLS бағалаушысы бөгде жақтан, тұрақты, тиімді және асимптотикалық түрде қалыпты, яғни: GLS деректердің сызықтық түрлендірілген түріне қарапайым ең кіші квадраттарды (OLS) қолданумен бірдей. Бұл, мысалы, Чолски ыдырауы сияқты әдіс арқылы жіктеу арқылы көрінеді. теңдеуінің екі жағын сол жағынан көбейту арқылы эквивалентті сызықтық модель алынады: Бұл модельде , мұнда – бірлік матрица. Содан кейін, түрлендірілген деректерге OLS қолдану арқылы тиімді түрде бағалануы мүмкін, бұл мақсатты функцияны азайтуды қажет етеді.
Бұл трансформация тиімді түрде масштабты стандарттайды және қателіктерді өзара байланыссыз етеді. OLS гомоскедастикалық қателері бар деректерде қолданылғанда, Гаусс-Марков теоремасы қолданылады, сондықтан GLS бағалауы β үшін ең жақсы сызықтық бөгде бағалаушы болып табылады.

Салмақты ең кіші квадраттар

ЖСН-нің салмақталған ең кіші квадраттар (WLS) деп аталатын ерекше жағдайы, Ω матрицасының диагональдан тыс элементтерінің барлығы 0-ге тең болғанда туындайды. Мұндай жағдай байқалған мәндердің дисперсиялары әртүрлі болғанда немесе гетероскедастичность болғанда пайда болады, бірақ байқалған дисперсиялардың арасында корреляция болмайды. i-інші бірлік үшін салмақ, i-інші бірлікке сәйкес жауаптың дисперсиясына кері пропорционалды болады.

Ең жоғарғы ықтималдық бағасымен шығару

Кәдімгі ең кіші квадраттарды қателердің тәуелсіз және нөлдік орташа мәнімен, ортақ дисперсиясы бар қалыпты таралыммен алдын ала болжаммен ең жоғары ықтималдық бағалау ретінде қарастыруға болады. GLS-де, алдын ала болжам қателер тәуелсіз болмауы және әртүрлі дисперсияларға ие болуы мүмкін жағдайға дейін жалпыланады. Берілген сәйкес келетін параметрлер үшін , қателердің шартты ықтималдық тығыздық функциясы былай деп есептеледі. Байес теоремасы бойынша, GLS-де , үшін біртекті (импропер) алдын ала болжам қабылданады, ал ол маргиналды таралым ретінде оған тәуелді емес. Сондықтан логарифмдік ықтималдық , мұнда жасырылған мүшелер - бұл -тан тәуелді емес мүшелер, ал - логарифмдік ықтималдық. Максималды апостериорлы (MAP) бағалау, содан кейін максималды ықтималдық бағалауымен (MLE) тең болады, бұл жоғарыдағы оптимизация мәселесіне эквивалентті, мұнда , және оптимизация мәселесі логарифмнің қатаң өсу функциясы екендігінің және оптимизация мәселесін шешетін аргументтің мақсатты функциядағы осы мүшелерді қамтымайтын мүшелерге тәуелді емес екендігінің қасиеттерін пайдаланып қайта жазылған.