Қвантиль-квантиль диаграммасы: екі таралымды салыстыру тәсілі

Кіріспе

p-мәндерінің эмпирикалық таралуының теориялық таралумен салыстырылу графигі. Статистикада Q–Q графигі (квантиль–квантиль графигі) – екі ықтималдық таралуын олардың квантильдерін бір-бірімен салыстырудың графикалық әдісі. Графиктегі (x, y) нүктесі екінші таралудың (y координатасы) квантиліне, ал бірінші таралудың (x координатасы) сәйкес квантиліне сәйкес келеді. Бұл параметрлік қисықты анықтайды, онда параметр квантильдік интервалдың индексі болып табылады. Егер салыстырылатын екі таралу ұқсас болса, Q–Q графигіндегі нүктелер шамамен сәйкестік түзуінде орналасады. Егер таралулар сызықтық байланыста болса, Q–Q графигіндегі нүктелер шамамен түзу бойында орналасады, бірақ міндетті түрде сәйкестік түзуінде емес. Q–Q графиктерін орналасу-көлдемді таралулар отбасындағы параметрлерді бағалаудың графикалық құралы ретінде де қолдануға болады. Q–Q графигі таралулардың пішіндерін салыстыру үшін қолданылады, бұл екі таралудағы орналасу, көлем және қисықтық сияқты қасиеттердің ұқсас немесе әртүрлі екендігі туралы графикалық көрініс береді. Q–Q графиктерін деректер жиынтықтарын немесе теориялық таралуларды салыстыру үшін қолдануға болады. Екі дерек үлгісін салыстыру үшін Q–Q графиктерін қолдану олардың жатқандағы таралуларын салыстырудың параметрлік емес тәсілі ретінде қарастырылуы мүмкін. Q–Q графигі әдетте үлгілердің гистограммаларын салыстырудан гөрі диагностикалық болып табылады, бірақ ол аз танымал. Q–Q графиктері көбінесе деректер жиынтығын теориялық модельмен салыстыру үшін қолданылады. Аномалиялар жоғарғы оң жақ бұрышта көрінеді. Q–Q графигі – екі таралудың квантильдерін бір-біріне қатысты көрсететін графиктер немесе квантильдердің бағалауларына негізделген графиктер. Графиктегі нүктелердің үлгісі екі таралуды салыстыру үшін қолданылады. Q–Q графигін құрудың негізгі қадамы – графикте көрсетілетін квантильдерді есептеу немесе бағалау. Егер Q–Q графигіндегі бір немесе екі ось теориялық таралуға негізделген болса, барлық квантильдер бірегей түрде анықталады және CDF-ті кері аудару арқылы алуға болады. Егер салыстырылатын екі таралудың бірі үздіксіз CDF-мен теориялық ықтималдық таралуы болса, кейбір квантильдер анықталмауы мүмкін, сондықтан интерполяцияланған квантильді көрсетуге болады. Егер Q–Q графигі деректерге негізделген болса, бірнеше квантильді бағалаушылар қолданылады. Квантильдерді бағалау немесе интерполяциялау қажет болған кезде Q–Q графиктерін құру ережелері «график позициялары» деп аталады. Ең қарапайым жағдайда екі дерек жиынтығы бірдей өлшемде болады. Бұл жағдайда Q–Q графигін жасау үшін әрбір жиынтықты өсу ретімен реттеп, содан кейін жұптастырып, сәйкес келетін мәндерді көрсетеді. Күрделірек құрылым – екі дерек жиынтығының әртүрлі өлшемде салыстырылу жағдайы. Бұл жағдайда Q–Q графигін құру үшін интерполяцияланған квантильді бағалауды қолдану қажет, осылайша бірдей жатқандағы ықтималдыққа сәйкес келетін квантильдер құрастырылады. Абстрактілірек айтқанда, екі жиынтық ықтималдық таралу функциялары F және G, олардың квантильдік функциялары F^(−1) және G^(−1) (CDF-нің кері функциясы квантильдік функция болып табылады) берілгенде, Q–Q графигі F-тің q-шы квантилін G-тің q-шы квантиліне қарсы q мәндерінің диапазоны үшін көрсетеді. Осылайша, Q–Q графигі – [0,1] аралығында индекстелген және нақты жазықтықтағы мәндерімен 'R'^(2) параметрлік қисық.

Plot of the empirical distribution of p values against the theoretical one

In statistics, a Q–Q plot (quantile–quantile plot) is a probability plot, a graphical method for comparing two probability distributions by plotting their quantiles against each other. A point (x, y) on the plot corresponds to one of the quantiles of the second distribution (y coordinate) plotted against the same quantile of the first distribution (x coordinate). This defines a parametric curve where the parameter is the index of the quantile interval. If the two distributions being compared are similar, the points in the Q–Q plot will approximately lie on the identity line If the distributions are linearly related, the points in the Q–Q plot will approximately lie on a line, but not necessarily on the line Q–Q plots can also be used as a graphical means of estimating parameters in a location scale family of distributions. A Q–Q plot is used to compare the shapes of distributions, providing a graphical view of how properties such as location, scale, and skewness are similar or different in the two distributions. Q–Q plots can be used to compare collections of data, or theoretical distributions. The use of Q–Q plots to compare two samples of data can be viewed as a non parametric approach to comparing their underlying distributions. A Q–Q plot is generally more diagnostic than comparing the samples' histograms, but is less widely known. Q–Q plots are commonly used to compare a data set to a theoretical model. Outliers are visible in the upper right corner.]] A Q–Q plot is a plot of the quantiles of two distributions against each other, or a plot based on estimates of the quantiles. The pattern of points in the plot is used to compare the two distributions. The main step in constructing a Q–Q plot is calculating or estimating the quantiles to be plotted. If one or both of the axes in a Q–Q plot is based on a theoretical distribution with a continuous cumulative distribution function (CDF), all quantiles are uniquely defined and can be obtained by inverting the CDF. If a theoretical probability distribution with a discontinuous CDF is one of the two distributions being compared, some of the quantiles may not be defined, so an interpolated quantile may be plotted. If the Q–Q plot is based on data, there are multiple quantile estimators in use. Rules for forming Q–Q plots when quantiles must be estimated or interpolated are called plotting positions. A simple case is where one has two data sets of the same size. In that case, to make the Q–Q plot, one orders each set in increasing order, then pairs off and plots the corresponding values. A more complicated construction is the case where two data sets of different sizes are being compared. To construct the Q–Q plot in this case, it is necessary to use an interpolated quantile estimate so that quantiles corresponding to the same underlying probability can be constructed. More abstractly, given two cumulative probability distribution functions F and G, with associated quantile functions F^(−1) and G^(−1) (the inverse function of the CDF is the quantile function), the Q–Q plot draws the q th quantile of F against the q th quantile of G for a range of values of q. Thus, the Q–Q plot is a parametric curve indexed over [0,1] with values in the real plane 'R'^(2).

Интерпретация

QQ графигінде белгіленген нүктелер солдан оңға қарай қарағанда әрқашан өспейтін болады. Егер салыстырылып жатқан екі үлестірім бірдей болса, QQ графигі 45° сызықты ұстанады. Егер екі үлестірімнің біреуінің мәндерін сызықты түрлендіргеннен кейін келісім болса, онда QQ графигі белгілі бір сызықты ұстанады, бірақ міндетті түрде сол сызық емес. QQ графигінің жалпы бағыты егер сызықтан тегіс болса, көлденең осьтегі үлестірім тік осьтегі үлестірімге қарағанда көбірек тараған болады. Керісінше, егер QQ графигінің жалпы бағыты сызықтан тік болса, тік осьтегі үлестірім көлденең осьтегі үлестірімге қарағанда көбірек тараған болады. QQ графиктері көбінесе иісті немесе S пішіндес болады, бұл бір үлестірімнің екіншісіне қарағанда қисық екенін немесе бір үлестірімнің екіншісіне қарағанда ауыр құйрықтары бар екенін көрсетеді. QQ графигі квантильдерге негізделгенімен, стандартты QQ графигінде берілген квантильді анықтайтын нүктені анықтау мүмкін емес. Мысалы, QQ графигін қарап, салыстырылып жатқан екі үлестірімнің медианасын анықтауға болмайды. Кейбір QQ графиктері осы сияқты анықтамалар жасау үшін децильдерді көрсетеді. Квантильдер арасындағы сызықты регрессияның қиылысуы мен бұрышы үлгілердің салыстырмалы орналасуын және салыстырмалы масштабын өлшеуге мүмкіндік береді. Егер көлденең осьтегі үлестірімнің медианасы 0 болса, регрессия сызығының қиылысуы орналасу өлшемі, ал бұрышы масштаб өлшемі болып табылады. Медианалар арасындағы қашықтық – QQ графигінде көрінетін салыстырмалы орналасудың тағы бір өлшемі. «Ықтималдық графигінің корреляциялық коэффициенті» (PPCC графигі) – жұпталған үлгілік квантильдер арасындағы корреляциялық коэффициент. Корреляциялық коэффициенті бірге жақын болса, үлестірімдер бір-біріне ауысқан, масштабталған нұсқаларға жақын болады. Бір пішін параметрі бар үлестірімдер үшін ықтималдық графигінің корреляциялық коэффициенті графигі пішін параметрін бағалау әдісін ұсынады – адам жай ғана пішін параметрінің әртүрлі мәндері үшін корреляциялық коэффициентін есептейді және әртүрлі типтегі үлестірімдерді салыстырғандай, ең жақсы сәйкес келетінін қолданады. QQ графиктерін қолданудың тағы бір кең таралған түрі – үлгінің таралуын қалыпты ықтималдық графигіндегідей стандартты қалыпты таралу N(0,1) сияқты теориялық таралумен салыстыру. Екі үлгідегі деректерді салыстырған кездегідей, деректерді реттеп (формальды түрде, реттік статистиканы есептейді), содан кейін оларды теориялық үлестірімнің белгілі бір квантильдеріне қарсы белгілейді.

The points plotted in a Q–Q plot are always non decreasing when viewed from left to right. If the two distributions being compared are identical, the Q–Q plot follows the 45° line If the two distributions agree after linearly transforming the values in one of the distributions, then the Q–Q plot follows some line, but not necessarily the line If the general trend of the Q–Q plot is flatter than the line , the distribution plotted on the horizontal axis is more dispersed than the distribution plotted on the vertical axis. Conversely, if the general trend of the Q–Q plot is steeper than the line , the distribution plotted on the vertical axis is more dispersed than the distribution plotted on the horizontal axis. Q–Q plots are often arced, or S shaped, indicating that one of the distributions is more skewed than the other, or that one of the distributions has heavier tails than the other. Although a Q–Q plot is based on quantiles, in a standard Q–Q plot it is not possible to determine which point in the Q–Q plot determines a given quantile. For example, it is not possible to determine the median of either of the two distributions being compared by inspecting the Q–Q plot. Some Q–Q plots indicate the deciles to make determinations such as this possible. The intercept and slope of a linear regression between the quantiles gives a measure of the relative location and relative scale of the samples. If the median of the distribution plotted on the horizontal axis is 0, the intercept of a regression line is a measure of location, and the slope is a measure of scale. The distance between medians is another measure of relative location reflected in a Q–Q plot. The "probability plot correlation coefficient" (PPCC plot) is the correlation coefficient between the paired sample quantiles. The closer the correlation coefficient is to one, the closer the distributions are to being shifted, scaled versions of each other. For distributions with a single shape parameter, the probability plot correlation coefficient plot provides a method for estimating the shape parameter – one simply computes the correlation coefficient for different values of the shape parameter, and uses the one with the best fit, just as if one were comparing distributions of different types. Another common use of Q–Q plots is to compare the distribution of a sample to a theoretical distribution, such as the standard normal distribution N(0,1), as in a normal probability plot. As in the case when comparing two samples of data, one orders the data (formally, computes the order statistics), then plots them against certain quantiles of the theoretical distribution.

Орындыларды сызу

Теориялық үлестіруден квантильдерді таңдау контекст пен мақсатқа байланысты болуы мүмкін. n өлшемді үлгі берілген жағдайда, бір таңдау – k / n, себебі осы квантильдер үлгілік үлестіруді іске асырады. Соңғысы, n / n, теориялық үлестірудің ең жоғары мәніне, кейде шексіз болатын 100-ші перцентиліне сәйкес келеді. Басқа таңдаулар (k − 0.5) / n қолдану, немесе керісінше, n нүктені олардың арасындағы және екі шеткі нүкте мен интервалдың шектері арасындағы қашықтық тең болатындай етіп орналастыру, яғни k / (n + 1) пайдалану. Теорияға немесе симуляцияға негізделген, контекстке қатысты формалды және эвристикалық түрдегі көптеген басқа таңдаулар да ұсынылған. Келесі тарауларда олардың кейбіреулері талданды. Тарырақ мәселе – популяциялық максимумды бағалау, «неміс танктерінің мәселесі» деп белгілі, оған ұқсас «үлгінің максимумдық мәні, плюс аралық» түріндегі шешімдер бар, ең қарапайымы m + m/n − 1. Осы аралықтардың біркелкілендірілуінің формалды қолданылуы параметрлердің максимумдық аралықты бағалауда қолданылады.

Біркелкі үлестіру үшін тапсырыс статистикасының күтілетін мәні

k / (n + 1) әдісі, (n + 1) кездейсоқ таңдалған мәндердің соңғысының, алғашқы n кездейсоқ таңдалған мәндердің k-шы ең кішісінен жоғарыламауының ықтималдығы бойынша нүктелерді салу әдісімен бірдей.

Стандартты қалыпты үлестірім үшін тапсырыс статистикасының күтілетін мәні

Қалыпты ықтималдық графигін қолданғанда, қолданылатын квантильдер – стандартты қалыпты таралудың реттік статистикасының күтілетін мәнінің квантилі болып табылады. Көбінесе, Шапиро-Уилк сынағы берілген таралудың реттік статистикасының күтілетін мәндерін пайдаланады; нәтижедегі график және сызық орналасу мен масштаб үшін жалпыланған ең кіші квадраттар бағасын береді (сәйкес сызықтың қиылысы мен еңісінен). Бұл қалыпты таралу үшін аса маңызды болмаса да (орналасуы мен масштабы тиісінше орташа және стандартты қабылдаумен бағаланады), көптеген басқа таралулар үшін пайдалы болуы мүмкін. Дегенмен, бұл реттік статистиканың күтілетін мәндерін есептеуді қажет етеді, ал таралу қалыпты болмаса, бұл қиынға соғуы мүмкін.

Тапсырыс статистикасының медианасы

Сонымен қатар, тәртіп статистикасының медианасының бағалаулары негізінде есептелетін, біркелкі үлестірімнің тәртіп статистикасының медианасының бағалауларын қолдануға болады; бұл (k − 0.3175) / (n + 0.365) формуласымен ұсынылды. (k − 0.326) / (n + 0.348). (k − ⅓) / (n + ⅓). Бұл – BMDP статистикалық пакетінде қолданылатын, позицияны сызудың қарапайым (және есте сақтау оңай) формуласы. (k − 0.375) / (n + 0.25). (k − 0.4) / (n + 0.2). (k − 0.44) / (n + 0.12). Ирвинг И. Грингортен бұл сызу позициясын Гамбел таралымының сынақтарындағы нүктелерді сызу үшін қолданды. (k − 0.5) / n. (k − 0.567) / (n − 0.134). (k − 1) / (n − 1). Үлкен үлгі көлемі үшін, n, осы әртүрлі формулалардың арасында айтарлықтай айырмашылық жоқ.

Филлибеннің бағасы

Статистикалық реттік медианалар – таралудың реттік статистикасының медианалары. Оларды квантиль функциясы және үздіксіз біртекті таралудың реттік статистикалық медианалары арқылы былай көрсетуге болады:

мұнда U(i) – біртекті реттік статистикалық медианалар, ал G – қажетті таралудың квантиль функциясы. Квантиль функциясы – жинақталған үлестіру функциясының кері функциясы (X-тің қандай да бір мәнге тең немесе одан кем болу ықтималдығы). Яғни, ықтималдық берілген болса, біз жинақталған үлестіру функциясының сәйкес квантилін табуды қалаймыз. Джеймс Дж. Филлибен біртекті реттік статистикалық медианалар үшін келесі шамаларды пайдаланады:

Бұл шаманың себебі – реттік статистикалық медианалардың қарапайым формуласы жоқ.

Бағдарламалық жасақтама

R бағдарламалау тілі QQ графиктерін жасауға арналған функциялармен бірге келеді, атап айтқанда qqnorm және qqplot функциялары. Бұл пакет үлкен деректер жиындарын жылдам сызу мүмкіндігін ұсынады.