Сандық ықтималдық үлестірімдерінің экспоненциалдық отбасысы

Кіріспе

Мүмкіндік үлестірілімдерінің қалыпты үлестірілімге байланысты отбасысы

Ықтималдық және статистика саласында, экспоненциалдық отбасы – төменде көрсетілгендей, белгілі бір формадағы ықтималдық үлестірілімдерінің параметрлік жиынтығы. Бұл ерекше форма математикалық қолайлылық үшін таңдалады, оның ішінде пайдаланушыға күтулерді, кейбір пайдалы алгебралық қасиеттерге негізделген дифференциация арқылы ковариацияларды есептеуге мүмкіндік беру, сондай-ақ экспоненциалдық отбасылар қарастыруға болатын өте табиғи үлестірілімдер жиынтығы болғандықтан, жалпылықты қамтамасыз ету үшін де қолданылады. "Экспоненциалдық отбасы" термині кейде "экспоненциалдық класс" немесе ескі термин – Koopman–Darmois отбасының орнына қолданылады. Көбінесе "экспоненциалдық отбасы" деп аталатын бұл үлестірілімдер класы ерекше, себебі олардың барлығы қажетті статистиканың болуы сияқты, көптеген қалаулы қасиеттерге ие. Экспоненциалдық отбасылар туралы түсінік 1935–1936 жылдары Е. Дж. Г. Питман, Г. Дармоа және Б. О. Купманға тиесілі. Экспоненциалдық үлестірілімдер отбасылары табиғи параметрлер тұрғысынан параметрлік отбасының ықтимал балама параметрлеуін таңдау және отбасының табиғи жеткілікті статистикасы деп аталатын пайдалы үлгі статистикасын анықтау үшін жалпы аясты ұсынады.

Номенклатураның қиындықтары

"Дистрибуция" және "отбасы" терминдері көбінесе дұрыс емес қолданылады: Атап айтқанда, экспоненциалдық отбасы – бұл дистрибуциялардың жиынтығы, онда нақты дистрибуция параметрге байланысты өзгереді; алайда, параметрлік дистрибуциялар отбасы көбінесе "дистрибуция" деп аталады ("нормалды дистрибуция" сияқты, яғни "нормалды дистрибуциялар отбасы"), ал барлық экспоненциалдық отбасылар жиынтығы кейде "экспоненциалдық отбасы" деп те аталады.

Анықтама

Көпте қолданылатын үлестірілімдердің көпшілігі төмендегі тармақта тізімделген экспоненциалдық отбасының немесе экспоненциалдық отбасының ішкі жиынының құрамында болады. Одан кейінгі тармақтар – экспоненциалдық отбасының күрделене түсетін математикалық анықтамаларының тізбегі. Оқырман бірінші және ең қарапайым анықтамаға назар аударуды қалауы мүмкін, ол дискретті немесе үздіксіз ықтималдық үлестірілімдерінің бір параметрлік отбасына сәйкес келеді.

Вектор бағаланды және

Көбінесе – өлшемдер векторы болып табылады, онда – ықтимал мәндер кеңістігінен нақты сандарға дейінгі функция болуы мүмкін. Көбірек жалпылаған түрде, және екеуі де векторлық мәнді болуы мүмкін, сонда – нақты мәнді болады. Дегенмен, қисық экспоненциалдық отбасы туралы төмендегі векторлық параметрлерге қатысты талқылауды қараңыз.

Қасиетті сөз тіркесі

Егер онда экспоненциалдық отбасы канондық формада деп есептеледі. Трансформацияланған параметрді анықтау арқылы экспоненциалдық отбасын канондық түрге келтіру әрқашан мүмкін. Канондық форма бірегей емес, себебі кез келген нөлден өзгеше тұрақтыға көбейтілуі мүмкін, егер сол тұрақтының кері шамасына көбейтілсе, немесе -ға тұрақты c қосылып, осыны өтеу үшін сол тұрақтыға көбейтілсе болады. және болғанда ерекше жағдайда отбасы табиғи экспоненциалдық отбасы деп аталады. скалярлық болғанда да, және тек бір параметр болғанда да, және функциялары векторлар бола алады, төменде сипатталғандай. немесе, балама ретінде, басқа функциялар таңдалғаннан кейін автоматты түрде анықталады, өйткені оның таралуды қалыпқа келтіретін (барлық домен бойынша бірге қосылатын немесе интегралданатын) форманы қабылдауы керек. Бұған қоса, бұл екі функцияны да әрқашан функциясы ретінде жазуға болады, тіпті бір-бірге сәйкес келмейтін жағдайда да, яғни -дың екі немесе одан көп әртүрлі мәні -дың бір мәніне сәйкес келсе, сондықтан кері қайтарылмайды. Мұндай жағдайда, -дың бірдей -ға сәйкес келетін барлық мәндері -дың да бірдей мәніне ие болады және

Қасиеттері

Экспоненциалдық отбасылардың статистикалық талдау үшін өте пайдалы ететін көптеген қасиеттері бар. Көп жағдайда, осы қасиеттер тек экспоненциалдық отбасыларда ғана болатыны көрсетіледі. Мысалдар:
Экспоненциалдық отбасылар – тұрақты сандық мәндерді қолдана отырып, тәуелсіз және бірдей таратылған деректердің кез келген көлемін қорытындылай алатын жеткілікті статистикасы бар жалғыз отбасылар. (Питман–Коопман–Дармоа теоремасы)
Экспоненциалдық отбасылар конъюгаттық априорлық дистрибуцияға ие, бұл Байес статистикасындағы маңызды қасиет. Конъюгаттық априорлық дистрибуциясы бар экспоненциалдық отбасылық кездейсоқ шаманың артқы болжамдық дистрибуциясын әрқашан жабық түрде жазуға болады (екі экспоненциалдық отбасылық дистрибуцияның нормалайтын факторы да жабық түрде жазылса). Вариациялық Байестегі орташа өріс жуықтауында (үлкен Байес желілеріндегі артқы дистрибуцияны жуықтау үшін қолданылады), конъюгаттық априорлық дистрибуциясы бар экспоненциалдық отбасылық түйіннің (түйін – Байес желілерінің контекстінде кездейсоқ шама) ең жақсы жуықтамалық артқы дистрибуциясы түйіннің өзімен бір отбасында болады. , параметр кеңістігі болатын экспоненциалдық отбасы берілген, онда , егер , онда тәуелсіз және бірдей таратылған үлгілер берілген болса, статистика толық статистика болып табылады, ал үшін барлық үшін минималды статистика болып табылады және қолдау , егер , онда немесе .

Мысалдар

Осы бөлімдегі мысалдарды қарастырғанда, «үлесім» экспоненциалдық отбасы екенін айтудың мәні туралы жоғарыдағы талқылауды еске түсіру өте маңызды, және әсіресе, «үлесімнің» экспоненциалдық отбасы болып табылуын анықтауда өзгеруге рұқсат етілген параметрлер жиынының маңызды екенін есте ұстау керек. Нормальді, экспоненциалды, лог-нормальді, гамма, хи-квадрат, бета, Дирихле, Бернулли, категориялық, Пуассон, геометриялық, кері Гаусс, ALAAM, фон Мизес және фон Мизес Фишер үлесімдері – барлығы экспоненциалдық отбасылар. Кейбір үлесімдер, олардың кейбір параметрлері тұрақты сақталған жағдайда ғана экспоненциалдық отбасы болып табылады. xm тұрақты ең төменгі шегі бар Парето үлесімдерінің отбасы экспоненциалдық отбасы құрайды. n сынақтар саны тұрақты, бірақ ықтималдық параметрі белгісіз болатын бином және көпмүшелік үлесімдердің отбасылары экспоненциалдық отбасылар болып табылады. r тоқтау уақыты параметрі (немесе сәтсіздік саны) тұрақты болатын теріс биномдық үлесімдердің отбасы экспоненциалдық отбасы болып табылады. Дегенмен, жоғарыда аталған тұрақты параметрлердің кез келгеніне өзгеріске рұқсат берілген жағдайда, алынған отбасы экспоненциалдық отбасы емес. Жоғарыда айтылғандай, жалпы ереже бойынша, экспоненциалдық отбасының қолдауы отбасының барлық параметрлік мәндерінде бірдей болуы керек. Сондықтан, дискретті тең үлесім де, үздіксіз тең үлесім де экспоненциалдық отбасылар емес, өйткені бір немесе екі шекара өзгеріп отырады. k тұрақты пішін параметрі бар Вейбулл үлесімі экспоненциалдық отбасы болып табылады. Бұрынғы мысалдардан айырмашылығы, пішін параметрі қолдауға әсер етпейді; оны өзгертуге рұқсат беру Вейбуллдың экспоненциалды емес болуына Вейбуллдың ықтималдық тығыздық функциясының ерекше түріне байланысты (k экспонентаның экспонентасында пайда болады). Жалпы, басқа үлесімдердің шекті немесе шексіз қосындысынан туындаған үлесімдер, мысалы, қоспа модельдерінің тығыздықтары мен құрама ықтималдық үлесімдері экспоненциалдық отбасылар емес. Мысалдарға Гаусс қоспа модельдері, сондай-ақ оның бір параметрінің алдын ала үлесімімен құрастырылған көптеген ауыр құйрықты үлесімдер жатады (яғни, шексіз араластыру), мысалы, Стьюденттің t үлесімі (гамма үлестірілген дәлдік алдын ала үлесімі бойынша қалыпты үлесімді құрастыру), бета-бином және Дирихле көпмүшелік үлесімдері. Экспоненциалдық отбасы емес үлесімдердің басқа мысалдары: F үлесімі, Коши үлесімі, гипергеометриялық үлесім және логистикалық үлесім. Төменде кейбір пайдалы үлесімдерді экспоненциалдық отбасылар ретінде ұсынудың егжей-тегжейлі мысалдары келтірілген.

It is critical, when considering the examples in this section, to remember the discussion above about what it means to say that a "distribution" is an exponential family, and in particular to keep in mind that the set of parameters that are allowed to vary is critical in determining whether a "distribution" is or is not an exponential family. The normal, exponential, log normal, gamma, chi squared, beta, Dirichlet, Bernoulli, categorical, Poisson, geometric, inverse Gaussian, ALAAM, von Mises, and von Mises Fisher distributions are all exponential families. Some distributions are exponential families only if some of their parameters are held fixed. The family of Pareto distributions with a fixed minimum bound xm form an exponential family. The families of binomial and multinomial distributions with fixed number of trials n but unknown probability parameter(s) are exponential families. The family of negative binomial distributions with fixed number of failures (a. k. a. stopping time parameter) r is an exponential family. However, when any of the above mentioned fixed parameters are allowed to vary, the resulting family is not an exponential family. As mentioned above, as a general rule, the support of an exponential family must remain the same across all parameter settings in the family. This is why the above cases (e. g. binomial with varying number of trials, Pareto with varying minimum bound) are not exponential families — in all of the cases, the parameter in question affects the support (particularly, changing the minimum or maximum possible value). For similar reasons, neither the discrete uniform distribution nor continuous uniform distribution are exponential families as one or both bounds vary. The Weibull distribution with fixed shape parameter k is an exponential family. Unlike in the previous examples, the shape parameter does not affect the support; the fact that allowing it to vary makes the Weibull non exponential is due rather to the particular form of the Weibull's probability density function (k appears in the exponent of an exponent). In general, distributions that result from a finite or infinite mixture of other distributions, e. g. mixture model densities and compound probability distributions, are not exponential families. Examples are typical Gaussian mixture models as well as many heavy tailed distributions that result from compounding (i. e. infinitely mixing) a distribution with a prior distribution over one of its parameters, e. g. the Student's t distribution (compounding a normal distribution over a gamma distributed precision prior), and the beta binomial and Dirichlet multinomial distributions. Other examples of distributions that are not exponential families are the F distribution, Cauchy distribution, hypergeometric distribution and logistic distribution. Following are some detailed examples of the representation of some useful distribution as exponential families.

Классикалық бағалау: жеткіліктілік

Питман-Купман-Дармоа теоремасына сәйкес, параметр бағаланатын кезде домені өзгермейтін ықтималдық үлестірімдерінің отбасылары ішінде, тек экспоненциалдық отбасыларда ғана үлгі көлемі арта келе өлшемі шектелі болатын жеткілікті статистика бар. Басқаша айтқанда, Xk (мұнда k = 1, 2, 3, n) тәуелсіз, бірдей үлестірілген кездейсоқ шамалар болсын. Тек олардың үлестірімі экспоненциалдық үлестірімдер отбасының бірі болған жағдайда ғана, T(X1, …, Xn) жеткілікті статистикасы болады, оның скалярлық компоненттерінің саны үлгі көлемі n арта келе өспейді; статистикалық T вектор немесе жеке скалярлық сан болуы мүмкін, бірақ ол қандай болса да, оның мөлшері қосымша деректер алынғанда өспей де, кемімей де қояды. Егер бұл шарттар жеңілдетілсе, кері мысал ретінде біркелкі үлестірімдер отбасы (дискретті немесе үздіксіз, бір немесе екі шекарасы белгісіз) жеткілікті статистикаға ие, атап айтқанда, үлгінің максималды және минималды мәндері мен үлгі көлемі, бірақ бұл экспоненциалдық отбасыны құрамайды, себебі домен параметрлерге байланысты өзгереді.

Бейтарап бағалау

Егер ықтималдық экспоненциалдық отбасы болса, онда -ның бөгде бағалаушысы болады.

Гипотезаларды тексеру: ең күшті сынақтар

Бір параметрлі экспоненциалдық отбасының жеткілікті статистикасы T(x) бойынша монотонды өспелі ықтималдылық қатынасы бар, егер η(θ) өспелі болса. Осының салдары ретінде, H0: θ ≥ θ0 гипотезасын H1: θ < θ0 гипотезасына қарсы тексеру үшін біркелкі ең қуатты тест болады.

Жалпыланған сызықтық модельдер

Экспоненциалдық отбасылар жалпыланған сызықтық модельдерде (GLM) қолданылатын үлестірімдердің негізін құрайды, бұл модельдер класы статистикада кеңінен қолданылатын көптеген регрессиялық модельдерді қамтиды. Мысалдарға биномдық отбасын пайдаланатын логистикалық регрессия және Пуассон регрессиясы жатады.