Кіріспе

Статистикада Гаусс-Марков теоремасы (немесе кейбір авторлар үшін Гаусс теоремасы) қарапайым ең кіші квадраттар (OLS) бағалаушысының сызықтық және бөгде бағалаушылар класындағы ең төменгі сынама дисперсиясына ие екенін көрсетеді, егер сызықтық регрессия моделіндегі қателер корреляцияланбаса, бірдей дисперсияға ие және күтілетін мәні нөлге тең болса. Теореманы қолдану үшін қателердің қалыпты таралымға ие болуы міндетті емес, сондай-ақ олар тәуелсіз және бірдей таралымға ие болуы да қажет емес (тек нөлдік орташамен корреляцияланбаған және шекті дисперсиямен гомоскедастикалық болуы керек). Бөгделік талабын алып тастауға болмайды, себебі төменгі дисперсиясы және орташа квадраттық қатесі бар бөгде бағалаушылар бар. Мысалы, Джеймс-Стейн бағалаушысы (сызықтық емес) және гребеньдік регрессия көбінесе қарапайым ең кіші квадраттардан жақсы нәтижелер береді. Шындығында, қарапайым ең кіші квадраттар тіпті қабылданатын бағалаушы да емес, өйткені Стейннің құбылысы екіден астам белгісіз айнымалыны бағалау кезінде қарапайым ең кіші квадраттар Стейн бағалаушысынан нашар (орташа квадраттық қате бойынша) орындалады. Сонымен қатар, Гаусс-Марков теоремасы тағайындалған ықтималдылық немесе Куллбек-Лейблер дивергенциясы сияқты негізгі шығын функцияларын қарастырғанда қолданылмайды, тек қана қалыпты таралымдағы қателердің шектеулі жағдайында ғана қолданылады. Осы жаңалықтардың нәтижесінде, статистиктер әдетте қарапайым ең кіші квадраттарды максималды ықтималдылық принципімен немесе оны шамамен Байес қорытындысы ретінде қарастырып түсіндіреді. Теорема Карл Фридрих Гаусс және Андрей Марковтың құрметіне аталған. Гаусс бастапқы дәлелдемені ұсынды, ал кейіннен Марков оны кеңейтті.

Дәлел

Келіңіздер, - бұл -ның тағы бір сызықтық бағалаушысы болсын, мұнда - нөлдік емес матрица. Біз тек бейтарап бағалаушыларды қарастырып отырмыз, сондықтан орташа квадраттық қателіктің ең аз болуы орташа дисперсияның ең аз болуын білдіреді. Сондықтан мақсат - мұндай бағалаушының дисперсиясы OLS бағалаушысының дисперсиясынан кем емес екенін көрсету. Есептейміз:

Демек, байқауға келмейтіндіктен, бейтараптығы тек қана егер болса ғана мүмкін. Сонда:

- оң жартылай анықталған матрица болғандықтан, - оң жартылай анықталған матрицаға қосымша асып түседі.

Дәлел туралы ескертулер

Бұрын айтылғандай, матрицаның оң жартылай анықталғандығы, -тың ең жақсы сызықтық бейтарап бағалаушысының (ең төменгі дисперсиясы бар деген мағынада) болуымен эквивалентті. Мұны көрү үшін, -ты тағы бір сызықтық бейтарап бағалаушы деп ұйымдастырайық.
Сонымен қатар, теңдік тек және тек қана егер орын алады. Біз есептейміз.

Бұл теңдік тек және тек қана егер орын алатындығын дәлелдейді, бұл OLS бағалаушының BLUE ретінде бірегейлігін көрсетеді.

Жалпыланған ең кіші квадраттарды бағалаушы

Айткен жасаған жалпыланған ең кіші квадраттар (GLS) қателік векторы скаляр емес ковариациялық матрицаға ие болған жағдайда Гаусс-Марков теоремасын кеңейтеді. Айткен бағалаушысы да ең жақсы сызықтық бейтарап бағалаушы (BLUE) болып табылады.

Гаусс-Марков теоремасы эконометрияда айтылғандай

Көптеген ОLS талдауларында жобалау матрицасындағы регрессорлар (зерттелетін параметрлер) қайталама үлгілерде өзгермейтін деп қарастырылады. Бұл көзқарас эконометрия сияқты негізінен эксперименттік емес ғылым үшін қолайсыз деп есептеледі. Оның орнына, Гаусс-Марков теоремасының шарттары жағдайда қарастырылады.

Толық атағы

Үлгілік деректер матрицасы толық бағандық рангіге ие болуы керек. Әйтпесе, ол инвертирленбейді және OLS бағалаушысын есептеу мүмкін емес. Бұл талаптың бұзылуы – толық көптүстілік, яғни кейбір түсіндіргіш айнымалылар сызықтық тәуелді. Мұның туындауы мүмкін бір жағдай – "жалған айнымалы тұзағы", онда базалық жалған айнымалы алынып тасталмайды, нәтижесінде жалған айнымалылар мен тұрақты мүше арасында толық корреляция пайда болады. Көптүстілік (толық болмаса) болуы мүмкін, бұл бағалаудың тиімділігін төмендетіп, бірақ бұрыс емес бағалауға әкеледі. Бағалаулардың дәлдігі төмендейді және нақты деректер жиынтығына өте сезімтал болады. Көптүстілікті анықтау үшін жағдай саны немесе дисперсиялық инфляция факторы сияқты басқа да тесттер қолданылуы мүмкін.

Сфералық қателер

Қате векторының сыртқы көбейтіндісі шар тәрізді болуы керек. Бұл қателік мүшесінің біртекті дисперсияға (гомоскедастикалыққа) және сериялық корреляцияның болмауына нұсқайды. Егер бұл болжам бұзылса, OLS әлі де объективті, бірақ тиімсіз болады. "Шар тәрізді қателер" термині көпөлшемді қалыпты үлестірілімді сипаттайды: егер көпөлшемді қалыпты тығыздықта болса, онда теңдеу n өлшемді кеңістікте μ центрінде орналасқан және σ радиусы бар шардың формуласы болып табылады. Гетероскедастикалық, қателік мөлшері тәуелсіз айнымалымен байланысты болған кезде пайда болады. Мысалы, тамаққа жұмсалатын шығын мен табысқа жасалған регрессияда қателік табыспен байланысты болуы мүмкін. Аз табысы бар адамдар әдетте тамаққа шамамен бірдей сома жұмсайды, ал жоғары табысы бар адамдар өте көп немесе аз табысы бар адамдар жұмсайтын сомаға тең сома жұмсауы мүмкін. Гетероскедастикалық өлшеу тәжірибесіндегі өзгерістерден де туындауы мүмкін. Мысалы, статистикалық кеңселер деректерін жақсартқанда, өлшеу қателігі азаяды, сондықтан қателік мүшесі уақыт өте келе төмендейді. Автокорреляция болған кезде бұл болжам бұзылады. Автокорреляция деректер графигінде көршілес бақылаулар да регрессиялық сызықтан жоғары жатса, берілген бақылаудың регрессиялық сызықтан жоғары болу ықтималдығы артатындығы арқылы көрінеді. Автокорреляция уақыт қатарлы деректерде жиі кездеседі, онда деректер қатары "инерция" эффектісін сезінуі мүмкін. Егер тәуелді айнымалы шоқты толығымен сіңіруіне біраз уақыт кетсе. Географиялық аймақтарда ұқсас қателер болуы мүмкін болғандықтан, кеңістіктік автокорреляция да болуы мүмкін. Автокорреляция дұрыс емес спецификацияның, мысалы, қате функционалдық форманы таңдаудың салдары болуы мүмкін. Мұндай жағдайларда, спецификацияны түзету автокорреляциямен күресудің бір жолы болып табылады. Шар тәрізді қателер туралы болжам бұзылуы мүмкін болған жағдайда, жалпыланған ең кіші квадраттар бағалаушысы (BLUE) екені көрсетіледі.