Кіріспе
Сызықтық корреляцияның өлшемі
Статистикада Пирсонның корреляциялық коэффициенті (PCC) – екі дерек жиынтығы арасындағы сызықтық корреляцияны өлшейтін корреляциялық коэффициент. Ол екі айнымалының ковариациясы мен олардың стандартты қатесінің көбейтіндісі арасындағы қатынас болып табылады; демек, бұл ковариацияның нормаланған өлшемі, нәтижесінде мәні әрқашан -1 мен 1 аралығында болады. Ковариация сияқты, бұл өлшем де айнымалылардың тек сызықтық байланысын ғана көрсете алады және басқа да көптеген қатынастарды немесе корреляцияларды ескермейді. Мысалы, жоғары мектептегі жасөспірімдер тобының жасы мен бойы 0-ден жоғары, бірақ 1-ден төмен Пирсонның корреляциялық коэффициентін көрсетуі керек (1 – бұл өте жоғары, шындыққа сәйкес келмейтін толық корреляцияны білдіреді).
Атау және тарихы
Оны Карл Пирсон 1880-ші жылдары Фрэнсис Гальтон ұсынған туысқан идея негізінде жасады, ал математикалық формуласы 1844 жылы Огюст Бравес тарапынан туындыланып, жарияланды. Коэффициенттің аталуы – бұл Стиглер заңының мысалы.
Анықтама
Пирсонның корреляциялық коэффициенті – екі айнымалының ковариациясы олардың стандартты қатесінің көбейтіндісіне бөлінеді. Анықтаманың түрі "көбейтінді сәтін" қамтиды, яғни орташа мәндерге келтірілген кездейсоқ айнымалылардың көбейтіндісінің орташасы (түпнұсқаға қатысты бірінші сәт); сондықтан атаудағы "көбейтінді сәті" модификаторы қолданылады.
Математикалық қасиеттері
Үлгі мен популяцияның Пирсон корреляциялық коэффициенттерінің мәндері -1 және 1 аралығында болады. +1 немесе −1-ге тең корреляциялар, үлгілік корреляция жағдайында дерек нүктелерінің дәл түзу бойында орналасуымен, ал популяциялық корреляция жағдайында екі айнымалының түзуде толыққанды таралуымен сәйкес келеді. Пирсон корреляциялық коэффициенті симметриялы: corr(X,Y) = corr(Y,X). Пирсон корреляциялық коэффициентінің маңызды математикалық қасиеті – ол екі айнымалының жеке орналасуы мен масштабының өзгеруіне қарамастан өзгермейді. Яғни, X-ті a + bX және Y-ті c + dY түрінде өзгертуге болады, мұнда a, b, c және d тұрақты шамалар, ал b, d > 0, корреляция коэффициентінің мәнін өзгертпейді. (Бұл қасиет популяциялық және үлгілік Пирсон корреляциялық коэффициенттеріне де қатысты.) Көбірек күрделі сызықтық түрлендірулер корреляцияны өзгертеді: осыған қатысты қолданылуы үшін қараңыз.
Сәйкестіктің көлемін түсіндіру
Бірнеше авторлар корреляциялық коэффициентін интерпретациялау бойынша ұсыныстар жасады. Корреляциялық коэффициентін интерпретациялау контекстке және мақсаттарға байланысты. Егер сіз жоғары сапалы құралдарды қолданып физикалық заңды тексеріп жатсаңыз, 0,8-ге тең корреляция өте төмен болуы мүмкін, бірақ әлеуметтік ғылымдарда, онда қиындық тудыратын факторлардың үлесі зор болғандықтан, бұл өте жоғары деп есептелуі мүмкін.
Пермутация сынағын қолдану
Пермутациялық сынақтар гипотезалық сынақтарды жүргізуге және сенімділік интервалдарын құруға тікелей тәсіл ұсынады. Пирсонның корреляциялық коэффициентіне пермутациялық сынақ жүргізу келесі екі қадамнан тұрады: бастапқы жұпталған деректерді (xi, yi) пайдаланып, жұптарды кездейсоқ түрде өзгертіп, жаңа деректер жиынтығын (xi, yi') құрастырыңыз, мұнда i' жиынтығы {1, ..., n} жиынының пермутациясы болып табылады. i′ пермутациясы кездейсоқ түрде таңдалады, барлық n! мүмкін пермутацияға тең ықтималдықтар беріледі. Бұл {1, ..., n} жиынынан i′-ті алмастырусыз кездейсоқ түрде тартумен бірдей. Бутстраптеуде, осыған ұқсас тәсілде, i және i′ тең болып, {1, ..., n} жиынынан алмастыру арқылы тартуға болады; рендомизацияланған деректерден r корреляциялық коэффициентін есептеңіз. Пермутациялық сынақты жүргізу үшін (1) және (2) қадамдарын көп рет қайталаңыз. Пермутациялық сынақтың p-мәні – бастапқы деректерден есептелген Пирсонның корреляциялық коэффициентінен үлкен r мәндерінің (2) қадамда алынған үлесі. Мұнда "үлкен" дегені – екі жақты немесе бір жақты сынақ қажеттігіне байланысты, мәнінің абсолюттік шамасы үлкен немесе таңбасы үлкен дегенді білдіреді.
Using the original paired data (xi, yi), randomly redefine the pairs to create a new data set (xi, yi′), where the i′ are a permutation of the set {1, ,n}. The permutation i′ is selected randomly, with equal probabilities placed on all n! possible permutations. This is equivalent to drawing the i′ randomly without replacement from the set {1, , n}. In bootstrapping, a closely related approach, the i and the i′ are equal and drawn with replacement from {1, , n};
Construct a correlation coefficient r from the randomized data. To perform the permutation test, repeat steps (1) and (2) a large number of times. The p value for the permutation test is the proportion of the r values generated in step (2) that are larger than the Pearson correlation coefficient that was calculated from the original data. Here "larger" can mean either that the value is larger in magnitude, or larger in signed value, depending on whether a two sided or one sided test is desired.
Бутстрапты пайдалану
Бутстрапты Пирсонның корреляциялық коэффициентіне сенімділік интервалын құру үшін қолдануға болады. "Параметрлік емес" бутстрапта n жұп (xi, yi) байқалған n жұптан "қайтару арқылы" іріктеледі, және корреляциялық коэффициент r қайта іріктелген деректер негізінде есептеледі. Бұл процесс көптеген рет қайталанады, ал қайта іріктелген r мәндерінің эмпирикалық таралуы статистиканың үлгілеу таралуын жуықтау үшін қолданылады. ρ үшін 95% сенімділік интервалы қайта іріктелген r мәндерінің 2,5-ші мен 97,5-ші перцентильдері арасындағы интервал ретінде анықталады.
Студенттің t-таралуын пайдалану арқылы сынау
Байланыссыз екіөлшемді қалыпты үлестірімнен алынған жұптар үшін, студенттік Пірсон корреляциялық коэффициентінің үлгілеу үлестірімі n-2 еркіндік дәрежесімен Студенттің t-үлестіріміне сәйкес келеді. Атап айтқанда, егер жатқылық айнымалылар екіөлшемді қалыпты үлестірімге ие болса, онда
айнымалысы нөлдік гипотезада (корреляцияның жоқтығы) Студенттің t-үлестіріміне ие болады. Егер үлгі көлемі жеткілікті үлкен болса, байқалатын мәндер қалыпты емес болған жағдайда да бұл жуықтап дұрыс. r үшін шектік мәндерді анықтау үшін кері функция қажет:
Балама ретінде, үлгі көлемі үлкен болғанда асимптотикалық тәсілдерді қолдануға болады. Тағы бір ерте мақала ρ-ның жалпы мәндері үшін графиктік және кестелік мәліметтер ұсынады, сондай-ақ кішкентай үлгілер үшін есептеу әдістерін талқылайды. Егер жатқылық айнымалылар қалыпты емес болса, Пирсон корреляциялық коэффициентінің үлгілеу үлестірімі Студенттің t-үлестіріміне сәйкес келеді, бірақ еркіндік дәрежесі төмендейді.
Дәл сенімділік үлестірімін пайдалану
Сенім аралықтары мен тесттер сенімділік үлестірімінен есептелуі мүмкін. ρ үшін нақты сенімділік тығыздығы:
мұнда Гаусс гипергеометриялық функциясы және .
Бағдарламалық жасақтамаларды іске асыру
R-дің статистикалық базалық пакеті корреляциялық коэффициентті cor(x, y) функциясы арқылы, ал P мәнімен бірге cor.test(x, y) функциясы арқылы іске асырады. SciPy Python кітапханасы pearsonr(x, y) функциясы арқылы. Pandas Python кітапханасы Pearson корреляциялық коэффициентін есептеуді pandas.DataFrame.corr әдісі үшін әдепкі опция ретінде ұсынады. Wolfram Mathematica Correlation функциясы арқылы, ал P мәнімен бірге CorrelationTest функциясы арқылы. Boost C++ кітапханасы корреляциялық коэффициент функциясы арқылы. Excel-де Пирсонның корреляциялық коэффициентін есептеу үшін in-built correl(array1, array2) функциясы бар.
Wolfram Mathematica via the Correlation function, or (with the P value) with CorrelationTest. The Boost C++ library via the correlation coefficient function. Excel has an in built correl(array1, array2) function for calculating the pearson's correlation coefficient.