Кіріспе
Статистика және ықтималдық теориясына қатысты функция. Ықтималдық функциясы (көбінесе жай ғана ықтималдық деп аталады) – статистикалық модельдің параметрлерінің функциясы ретінде қарастырылатын, байқалған деректердің бірлескен ықтималдық массасы (немесе ықтималдық тығыздығы). Түсінік бойынша, ықтималдық функциясы – бұл нақты параметр екенін ескере отырып, деректерді байқау ықтималдығы. Ең жоғары ықтималдық бағалауда, ықтималдық функциясының (параметр бойынша) arg max мәні, параметр үшін нүктелік бағалау болып табылады, ал Фишер ақпараты (көбінесе ықтималдықтың Гессиан матрицасымен жуықталады) – бағалаудың дәлдігін көрсетеді. Ал Байес статистикасында параметрлердің бағалаулары ықтималдықтың кері шамасынан, яғни Байес формуласы арқылы есептелетін кейіннен ықтималдықтан алынады.
The likelihood function (often simply called the likelihood) is the joint probability mass (or probability density) of observed data viewed as a function of the parameters of a statistical model. Intuitively, the likelihood function is the probability of observing data assuming is the actual parameter. In maximum likelihood estimation, the arg max (over the parameter ) of the likelihood function serves as a point estimate for , while the Fisher information (often approximated by the likelihood's Hessian matrix) indicates the estimate's precision. In contrast, in Bayesian statistics, parameter estimates are derived from the converse of the likelihood, the so called posterior probability, which is calculated via Bayes' rule.
Дискреттік ықтималдық үлестірімі
Кездейсоқ айнымалы болсын, оның ықтималдық масса функциясы параметрге тәуелді. Онда функциясы, ретінде қарастырылған функция, кездейсоқ айнымалының нәтижесі берілгендегі ықтималдық функциясы болып табылады. Кейде "параметр мәні үшін мәннің" ықтималдығы немесе деп жазылады. Ықтималдық – параметрдің нақты мәні болғанда белгілі бір нәтиже байқалу ықтималдығы, ол ықтималдық массасына тең; бұл параметр бойынша ықтималдық тығыздығы емес. Ықтималдық, , деректер берілгендегі кейінге қарай ықтималдық болып табылатын , оны шатастыруға болмайды. Ешқандай оқиға болмағанда (деректер жоқ болса), ықтималдық 1-ге тең; кез келген маңызды оқиғаның ықтималдығы төмендейді.
considered as a function of , is the likelihood function, given the outcome of the random variable Sometimes the probability of "the value of for the parameter value " is written as or The likelihood is the probability that a particular outcome is observed when the true value of the parameter is , equivalent to the probability mass on ; it is not a probability density over the parameter The likelihood, , should not be confused with , which is the posterior probability of given the data
Given no event (no data), the likelihood is 1; any non trivial event will have a lower likelihood.
Тұрақты ықтималдық үлестірімі
Кездейсоқ айнымалы абсолютті үздіксіз ықтималдық үлестірімінен, тығыздық функциясы ( функциясы, параметрге тәуелді) келе жатсын. Содан кейін,
функциясы, функциясының функциясы ретінде қарастырылғанда, (берілген нәтижесі бойынша) қатыстық функциясы болады. Еске сала кетейік, бұл функциясы берілген байқауға байланысты болғанына қарамастан, ықтималдық тығыздығы немесе массалық функциясы емес.
Жалпы алғанда
Өлшемдік теориялық ықтималдық теориясында тығыздық функциясы, жалпы басым өлшемге қатысты ықтималдық үлестірілімінің Радон–Никодим туындысы ретінде анықталады. Ықтималдық функциясы – бұл тығыздық, бірақ ол кездейсоқ айнымалы емес, параметрдің функциясы ретінде қарастырылады. Осылайша, дискретті, үздіксіз, аралас немесе кез келген басқа үлестірілім үшін ықтималдық функциясын құруға болады. (Ықтималдықтар, мысалы, параметрлерді бағалау үшін, бірдей басым өлшемге қатысты Радон–Никодим туындылары болған жағдайда ғана салыстырылады.) Жоғарыдағы дискретті кездейсоқ айнымалылардың ықтималдығы туралы талқылауда, санау шарасы қолданылады, онда кез келген нәтижедегі ықтималдық тығыздығы сол нәтиженің ықтималдығына тең болады.
Аралас үздіксіз*дискретті үлестірімдер ықтималдығы
Жоғарыда айтылғандарды дискретті және үздіксіз компоненттерді қамтитын үлестірулерді қарастыруға мүмкіндік беру үшін оңай кеңейтуге болады. Үлестіру дискретті ықтималдық массаларының санынан және тығыздықтан тұрады деп есептейік, мұнда барлық -тардың қосындысы тығыздықтың интегралына қосылғанда әрқашан бірге тең болады. Егер дискретті ықтималдық массаларының біріне сәйкес келетін байқауды тығыздық компонентіне сәйкес келетін байқаудан ажырату мүмкін болса, үздіксіз компоненттен алынған байқаудың ықтималдық функциясын жоғарыда көрсетілгендей қарастыруға болады. Дискретті компоненттен алынған байқау үшін, дискретті компоненттен алынған байқаудың ықтималдық функциясы мынадай болады:
мұнда - байқауға сәйкес келетін дискретті ықтималдық массасының индексі, себебі ықтималдық массасын (немесе ықтималдығын) максималдау нақты байқаудың ықтималдығын максималдаумен бірдей. Ықтималдық функциясын салыстырылмастан келетін үлестерді (тығыздық және ықтималдық массасы) қамтитын етіп анықтау мүмкіндігі, ықтималдық функциясының пропорционалдық тұрақтысына дейін анықталуынан туындайды, мұнда бұл "тұрақты" байқаумен өзгеруі мүмкін, бірақ параметрмен емес.
Салыстырмалы ықтималдық функциясы
Ықтималдық функциясының нақты мәні үлгіге байланысты болғандықтан, стандартталған өлшеммен жұмыс істеу көбінесе ыңғайлы. θ параметрі үшін ең жоғары ықтималдық бағасы деп есептейік. Басқа θ мәндерінің салыстырмалы ықтималдықтарын осы басқа мәндердің ықтималдықтарын ең жоғары ықтималдық бағасының ықтималдығымен салыстыру арқылы табуға болады. θ-ның салыстырмалы ықтималдығы деп мынасы анықталады:
Осылайша, салыстырмалы ықтималдық – ықтималдық қатынасы (жоғарыда талқыланған), бірақ белгілі бір бөлімімен. Бұл ықтималдықты 1-ге тең максималды мәнмен стандарттауға сәйкес келеді.
Ықтималдық аймағы
Ықтималдық аймағы – салыстырмалы ықтималдығы белгілі бір шектен үлкен немесе оған тең θ-ның барлық мәндерінің жиынтығы. Пайыздық көрсетіммен, θ үшін p% ықтималдық аймағы былай анықталады. Егер θ жалғыз нақты параметр болса, p% ықтималдық аймағы әдетте нақты мәндердің аралығын құрайды. Егер аймақ аралықты құраса, онда ол ықтималдық аралығы деп аталады. Ықтималдық аралықтары және, жалпы алғанда, ықтималдық аймақтары ықтималдық статистикасында интервалдық бағалау үшін қолданылады: олар жиіліктік статистикадағы сенімділік аралықтарына және Байес статистикасындағы сенімділік интервалдарына ұқсас. Ықтималдық аралықтары тікелей салыстырмалы ықтималдық тұрғысынан түсіндіріледі, бірақ қамту ықтималдығы (жиіліктік) немесе постерьерлік ықтималдық (Байестік) тұрғысынан емес. Модель берілгенде, ықтималдық аралықтарын сенімділік аралықтарымен салыстыруға болады. Егер θ жалғыз нақты параметр болса, онда белгілі бір жағдайларда θ үшін 14,65% ықтималдық аралығы (шамамен 1:7 ықтималдық) 95% сенімділік аралығымен (19/20 қамту ықтималдығы) бірдей болады. Бұл тәсілдер сондай-ақ, жоғары өлшемді ықтималдық бетін график салуға мүмкіндік беру үшін бір немесе екі қызығушылық параметріне дейін азайту қажет болған кезде де пайдалы.
If θ is a single real parameter, a p% likelihood region will usually comprise an interval of real values. If the region does comprise an interval, then it is called a likelihood interval. Likelihood intervals, and more generally likelihood regions, are used for interval estimation within likelihoodist statistics: they are similar to confidence intervals in frequentist statistics and credible intervals in Bayesian statistics. Likelihood intervals are interpreted directly in terms of relative likelihood, not in terms of coverage probability (frequentism) or posterior probability (Bayesianism). Given a model, likelihood intervals can be compared to confidence intervals. If θ is a single real parameter, then under certain conditions, a 14.65% likelihood interval (about 1:7 likelihood) for θ will be the same as a 95% confidence interval (19/20 coverage probability). These approaches are also useful when a high dimensional likelihood surface needs to be reduced to one or two parameters of interest in order to allow a graph.
Профильдің ықтималдығы
Параметрлердің шағын жиынтығына ықтималдық функциясын шоғырландыру арқылы өлшемдерді азайтуға болады, бұл үшін маңызсыз параметрлерді қызығушылық танытқан параметрлердің функциялары ретінде өрнектеу және оларды ықтималдық функциясында алмастыру қажет. Жалпы, параметр векторына тәуелді ықтималдық функциясы үшін , және сәйкестік анықталған жағдайда, шоғырландыру бастапқы максимизациялау мәселесінің есептеу жүктемесін азайтады. Мысалы, қалыпты үлестірілген қателіктері бар сызықтық регрессияда , коэффициент векторы (соның салдарынан жобалау матрицасы) бөліне алады. -қа қатысты максимизациялау оптималдық мәнді функцияны береді. Бұл нәтижені пайдаланып, -ның максималды ықтималдық бағалаушысы келесідей алынуы мүмкін:
мұнда -ның проекциялық матрицасы болып табылады. Бұл нәтиже Фриш-Уо-Ловелл теоремасы деп аталады. Шоғырландыру процедурасы графикалық тұрғыдан ықтималдық функциясын максимизациялайтын маңызсыз параметрдің мәндерінің қырлы бөлігі бойымен ықтималдық бетін кесуге тең, бұл берілген -ға ықтималдық функциясының изометриялық профилін құрады, сондықтан бұл процедураның нәтижесі профильдік ықтималдылық деп те аталады. Графиктік бейнелеуден басқа, профильдік ықтималдылықты толық ықтималдықтан есептелген асимптотикалық стандартты қателерге негізделгенге қарағанда көбінесе кіші үлгілерде жақсы қасиеттері бар сенімділік интервалдарын есептеу үшін де қолдануға болады.
Шартты ықтималдық
Кейде зиянды параметрлер үшін жеткілікті статистиканы табу мүмкін, және осы статистикаға сүйенгенде зиянды параметрлерге тәуелді емес ықтималдық пайда болады. Мысалы, 2×2 кестелерде барлық төрт шекті жиынтыққа сүйену орталық емес гипергеометриялық таралымға негізделген шартты ықтималдыққа алып келеді. Осындай сүйену Фишердің дәл сынағының негізі болып табылады.
Шекті ықтималдық
Кейде деректердегі ақпараттың бір бөлігін ғана негізге алып, ықтималдықты қарастыру арқылы мазасыз параметрлерден құтылуға болады, мысалы, сандық мәндердің орнына қатарлар жиынтығын пайдалану арқылы. Тағы бір мысал – сызықтық аралас модельдерде, онда бекітілген әсерлерді есептегеннен кейін ғана қалдықтарға қатысты ықтималдықты қарастыру дисперсия компоненттерінің қалдық максималды ықтималдық бағалауына алып келеді.
Ішінара ықтималдық
Ішінара ықтималдылық — толық ықтималдылықтың параметрлердің тек бір бөлігін (зерттелетін параметрлерді) қамтитын түрі. Ол пропорционалды қауіптер моделінің маңызды құралы болып табылады: қауіп функциясына шектеу қойылып, ықтималдық уақыт өте келе қауіптің өзгеруін қамтымайды.
График
Логтік ықтималдықтың графигі бірөлшемді жағдайда қолдау қисығы деп аталады. Көпөлшемді жағдайда, бұл ұғым параметр кеңістігінде тірек бетіне жалпыланады. Ол үлестірудің қолдауымен байланысты, бірақ одан өзгеше. Бұл терминді А. В. Ф. Эдвардс енгізген. Ролль теоремасын қолдану арқылы ұқсас нәтижеге қол жеткізуге болады. Фишер ақпараты деп аталатын нүктеде есептелген екінші туынды ықтималдық бетінің қисықтығын анықтайды, сонымен қатар бағалаудың дәлдігін көрсетеді.
Әр түрлі негіздер бойынша түсіндірулер
Статистиктер арасында статистиканың негізі не болуы керек дегенде бірлік жоқ. Қарсы ұсынылған негізгі төрт парадигма бар: жиіліктер, байесшілдік, ықтималдық және AIC негізді. Әрбір ұсынылған негіз үшін ықтималдықтың түсіндірілуі әртүрлі. Осы төрт түсіндіру төмендегі бөлімдерде сипатталған.
Бейес интерпретациясы
Бейестік тұжырымда, кез келген ұйғарымның немесе кездейсоқ айнымалының басқа кездейсоқ айнымалыға байланысты ықтималдығы туралы сөз еткенмен: мысалы, параметрлік мәннің немесе статистикалық модельдің ықтималдығы (шекаралық ықтималдыққа қараңыз), нақты деректер немесе басқа дәлелдер берілген жағдайда, ықтималдылық функциясы өзгермейді, бірақ оған қосымша түсіндірулер бар: (i) параметр берілгендегі деректердің шартты тығыздығы (өйткені параметр осы кезде кездейсоқ айнымалы болады) және (ii) параметрлік мән немесе тіпті модель туралы деректер ұсынған ақпараттың өлшемі. Параметрлер кеңістігіне немесе модельдер жинағына ықтималдық құрылымын енгізу арқасында, параметрлік мәннің немесе статистикалық модельдің белгілі бір деректер үшін жоғары ықтималдық мәні болуы мүмкін, бірақ ықтималдығы төмен болуы немесе керісінше болуы мүмкін. Бейз ережесіне сәйкес, ықтималдылықты шартты тығыздық ретінде қарастырып, параметрдің алдын ала ықтималдық тығыздығымен көбейтіп, содан кейін нормалдауға болады, нәтижесінде кейіннен ықтималдық тығыздығы шығады.