Статистикада қателер мен қалдықтар туралы түсінік

Кіріспе

Статистика түсінігі

Статистика мен оңтайландыруда қателер мен қалдықтар – бұл статистикалық үлгінің бір элементінің байқалған мәні мен оның "нақты мәнінен" (міндетті түрде байқала бермейтін) ауытқуын өлшейтін екі тығыз байланысты және шатастырылуға оңай шаралар. Байқаудың қатесі – қызығушылық тудыратын шаманың (мысалы, популяцияның орташа мәні) нақты мәнінен байқалған мәннің ауытқуы. Ал қалдық – байқалған мән мен қызығушылық тудыратын шаманың бағаланған мәні арасындағы айырмашылық (мысалы, үлгінің орташа мәні). Бұл айырмашылық регрессиялық талдауда ең маңызды, онда бұл ұғымдар кейде регрессиялық қателер және регрессиялық қалдықтар деп аталады, сондай-ақ студенттендірілген қалдықтар (studentized residuals) түсінігіне алып келеді. Эконометрияда "қателер" бұзылыстар деп те аталады.

Кіріспе

Бір айнымалы үлестірілімнен байқаулар сериясы бар деп болжайық және біз осы үлестірілімнің орташасын бағалауды қалаймыз (орындық модель деп аталады). Бұл жағдайда қателер – байқаулардың популяциялық орташадан ауытқулары, ал қалдықтар – байқаулардың үлгідегі орташадан ауытқулары. Статистикалық қате (немесе бұзылу) – байқаудың күтілетін мәнінен айырмашылығы, соңғысы статистикалық бірлік кездейсоқ таңдалған бүкіл популяцияға негізделген. Мысалы, егер 21 жастағы еркектердің орташа биіктігі 1,75 метр болса, ал кездейсоқ таңдалған адамның биіктігі 1,80 метр болса, онда "қате" 0,05 метр; егер кездейсоқ таңдалған адамның биіктігі 1,70 метр болса, онда "қате" -0,05 метр. Күтілетін мән, бүкіл популяцияның орташа мәні, әдетте байқалмайды, сондықтан статистикалық қате де байқала алмайды. Қалдық (немесе сәйкес ауытқу), екінші жағынан, байқауға болмайтын статистикалық қателіктің байқалатын бағасы болып табылады. Ерлердің биіктігі туралы алдыңғы мысалды қарастырайық және бізде n адамның кездейсоқ үлгісі бар деп болжайық. Үлгі орташа көрсеткіші популяция орташа көрсеткішінің жақсы бағалаушысы бола алады. Сонымен, үлгідегі әрбір ер адамның биіктігі мен байқауға болмайтын популяциялық орташаның айырмашылығы статистикалық қате, ал үлгідегі әрбір ер адамның биіктігі мен байқалатын үлгі орташасының айырмашылығы қалдық. Үлгі орташасының анықтамасы бойынша кездейсоқ үлгідегі қалдықтардың қосындысы міндетті түрде нөлге тең, сондықтан қалдықтар міндетті түрде тәуелсіз емес. Статистикалық қателер, екінші жағынан, тәуелсіз, ал олардың жиынтығы кездейсоқ үлгіде дерлік нөлге тең емес. Статистикалық қателерді (әсіресе қалыпты үлестіруді) z баллға (немесе "стандарттық баллға") стандарттауға, ал қалдықтарды t статистикасына немесе жалпы студенттелген қалдықтарға стандарттауға болады.

Регрессиялар

Регрессиялық талдауда қателер мен қалдықтар арасындағы айырмашылық нәзік болғанымен маңызды, және студенттелген қалдықтар тұжырымдамасына алып келеді. Тәуелсіз айнымалыны тәуелді айнымалымен байланыстыратын байқауға келмейтін функция берілгенде – мысалы, түзу сызық – тәуелді айнымалының байқаулары осы функциядан ауытқулары байқауға келмейтін қателер болып табылады. Егер деректердің бір жиымы бойынша регрессия жүргізілсе, онда тәуелді айнымалының байқаулары мен сәйкес функция арасындағы ауытқулар қалдықтар болып табылады. Сызықтық модель қолданылса, тәуелсіз айнымалыға қатысты салынған қалдықтардың диаграммасы нөлге жуық кездейсоқ болуы керек, қалдықтарда ешқандай тенденция болмауы тиіс. Сызықтық регрессияның дисперсиясын талдау кезінде қателіктердің орташа квадратын есептеудің тағы бір әдісі ANOVA-да қолданылатын тәсілмен (олар бірдей, себебі ANOVA – регрессияның бір түрі), қалдықтардың квадраттарының қосындысы (яғни қателіктердің квадраттарының қосындысы) еркіндік дәрежесіне бөлінеді (еркіндік дәрежесі n – p – 1 тең, мұнда p – модельде бағаланған параметрлердің саны (регрессия теңдеуіндегі әрбір айнымалы үшін, қиылыс нүктесін қоспағанда)). Сонымен қатар, модельдің орташа квадратын модельдің квадраттарының қосындысын еркіндік дәрежесінен алып тастау арқылы есептеуге болады, яғни параметрлердің саны арқылы. Содан кейін F мәнін модельдің орташа квадратын қателіктердің орташа квадратына бөлу арқылы есептеуге болады, және біз маңыздылығын анықтай аламыз (сондықтан орташа квадраттарды бастау қажет). Дегенмен, регрессия процесінің ерекшеліктеріне байланысты, әртүрлі дерек нүктелеріндегі (кіріс айнымалысының) қалдықтардың үлестірілуі, қателердің өзі бірдей үлестірілген болса да, өзгеруі мүмкін. Конкретті айтқанда, қателер бірдей үлестірілген сызықтық регрессияда, доменнің ортасындағы кіріс деректерінің қалдықтарының өзгергіштігі доменнің шетіндегі қалдықтардың өзгергіштігінен жоғары болады: сызықтық регрессиялар ортадан гөрі шеткі нүктелерге жақсы сәйкес келеді. Бұл регрессия коэффициенттеріне әртүрлі дерек нүктелерінің ықпалына қатысты функцияларда да көрінеді: шеткі нүктелерге көбірек ықпал етеді. Осылайша, әртүрлі кіріс деректеріндегі қалдықтарды салыстыру үшін қалдықтарды қалдықтардың күтілетін өзгергіштігімен түзету қажет, бұл процеске студенттеу деп аталады. Бұл, әсіресе, аномалияларды анықтау кезінде маңызды, онда қарастырылып отырған жағдай деректер жиынтығындағы басқа жағдайлардан қандай да бір жолмен ерекшеленеді. Мысалы, үлкен қалдық доменнің ортасында күтілуі мүмкін, бірақ доменнің шетінде аномалия ретінде қарастырылуы мүмкін.

In regression analysis, the distinction between errors and residuals is subtle and important, and leads to the concept of studentized residuals. Given an unobservable function that relates the independent variable to the dependent variable – say, a line – the deviations of the dependent variable observations from this function are the unobservable errors. If one runs a regression on some data, then the deviations of the dependent variable observations from the fitted function are the residuals. If the linear model is applicable, a scatterplot of residuals plotted against the independent variable should be random about zero with no trend to the residuals. Another method to calculate the mean square of error when analyzing the variance of linear regression using a technique like that used in ANOVA (they are the same because ANOVA is a type of regression), the sum of squares of the residuals (aka sum of squares of the error) is divided by the degrees of freedom (where the degrees of freedom equal n − p − 1, where p is the number of parameters estimated in the model (one for each variable in the regression equation, not including the intercept)). One can then also calculate the mean square of the model by dividing the sum of squares of the model minus the degrees of freedom, which is just the number of parameters. Then the F value can be calculated by dividing the mean square of the model by the mean square of the error, and we can then determine significance (which is why you want the mean squares to begin with.). However, because of the behavior of the process of regression, the distributions of residuals at different data points (of the input variable) may vary even if the errors themselves are identically distributed. Concretely, in a linear regression where the errors are identically distributed, the variability of residuals of inputs in the middle of the domain will be higher than the variability of residuals at the ends of the domain: linear regressions fit endpoints better than the middle. This is also reflected in the influence functions of various data points on the regression coefficients: endpoints have more influence. Thus to compare residuals at different inputs, one needs to adjust the residuals by the expected variability of residuals, which is called studentizing. This is particularly important in the case of detecting outliers, where the case in question is somehow different from the others in a dataset. For example, a large residual may be expected in the middle of the domain, but considered an outlier at the end of the domain.

Статистикада "қате" сөзінің басқа қолданылуы

"Қате" термині жоғарыда талқыланғандай, мәннің гипотетикалық байқалмаған мәннен ауытқуы мағынасында қолданылады. Статистикада кем дегенде екі басқа қолданыс та бар, екеуі де байқалатын болжам қателеріне қатысты:

[[Орташа квадрат қатесі]] (MSE) – бұл бағалаушының болжаған мәндері бағаланып жатқан шамалардан қанша айырмашылықты көрсетеді (әдетте модель бағаланған үлгінің сыртында). Орташа квадрат түбірі (RMSE) – MSE-нің квадрат түбірі. Қателердің квадраттарының қосындысы (SSE) – бұл үлгі көлеміне көбейтілген MSE. Қалдықтардың квадраттарының қосындысы (SSR) – бағалау үшін қолданылған үлгідегі нақты мәндердің болжамды мәндерден ауытқуларының квадраттарының қосындысы. Бұл ең кіші квадраттар бағалауының негізі болып табылады, онда регрессия коэффициенттері SSR ең төмен болуы үшін (яғни туындысы нөлге тең болуы үшін) таңдалады. Сол сияқты, абсолюттік қателердің қосындысы (SAE) – бұл регрессияға ең аз абсолюттік ауытқу тәсілімен азайтылатын қалдықтардың абсолюттік мәндерінің қосындысы. Орташа қате (ME) – бұл қиыстық. Орташа қалдық (MR) ең кіші квадраттар бағалаушылары үшін әрқашан нөлге тең болады.