Ықтималдықтар теориясы: Лаплас ережесі

Кіріспе

Ықтималдықтар теориясы
ықтималдықтар теориясындағы сабақтастық ережесі

Ықтималдықтар теориясында сабақтастық ережесі – 18-шы ғасырда Пьер Симон Лаплас күн шығу мәселесін қарастырғанда енгізген формула. Бұл формула әлі де қолданылады, әсіресе шектеулі үлгі деректерінде аз байқаулар немесе мүлдем байқалмаған оқиғалар болған кезде жатқан ықтималдықтарды бағалау үшін.

Күн шығыс проблемасының тарихи қолданылуы

Лаплас Күннің ертең шығу ықтималдығын есептеу үшін сабақтастық ережесін қолданды, өйткені ол соңғы 5000 жыл бойы күн сайын шығып келген. Бұл шамамен 5000 × 365,25-ке жуық өте үлкен коэффициентті береді, бұл ертең Күннің шығуына қатысты шамамен 1 826 200-ге 1 мүмкіндік береді. Дегенмен, төмендегі математикалық егжей-тегжейлер көрсеткендей, сабақтастық ережесін қолданудың негізгі талабы – Күннің ертең шығуы немесе шықпауы туралы бізде алдын ала ешқандай білім болмауы керек, ол екеуін де істей алады деген болжам. Бірақ күн шығуларына қатысты бұл жағдай емес. Лаплас мұны жақсы білген және күннің шығуы мысалын қорытындылай келе былай деп жазды: "Бірақ бұл сан, құбылыстардың барлығында күн мен маусымдарды реттейтін принципті көріп, қазіргі уақытта ештеңе оның ағысын тоқтата алмайтынын түсінген адам үшін әлдеқайда үлкен." Дегенмен Лапласты осы есептеуі үшін сынады; оның қарсыластары бұл сөйлемге мән бермеді немесе оның маңыздылығын түсінбеді. Индукцияның жаңа жұмбағы#Карнап бөлімін де қараңыз.

Интуиция

Сәттілік ережесін эксперименттегі «сәттілік»/«сәтсіздік» санын санаудың орнына шеңберде кездейсоқ орналасқан нүктелерді қарастыру арқылы интуитивті түсіндіруге болады. P үлесінің шеңбердегі мінез-құлқымен сәйкес болу үшін, шеңберді екі түске бояймыз, ал «сәттілік» түсіне боялған шеңбердің үлесі p-ге тең болады. P мәнінің белгісіздігін көрсету үшін шеңбердің бір бөлігін таңдау қажет. Бөлшек шеңбердегі екі кездейсоқ нүктені таңдау арқылы анықталады. Бірінші нүкте Z [0, 1] аралығындағы нөлге сәйкес келеді, ал екінші нүкте P [0, 1] аралығындағы p-ге сәйкес келеді. Шеңбер тұрғысынан алғанда, Z-ден P-ге дейінгі шеңбер бөлігі (сағат тілімен) p-ге тең болады. n сынақты шеңберде біркелкі таратылған n нүкте ретінде қарастыруға болады; «сәттілік» бөлігіндегі кез келген нүкте – сәттілік, ал қалған жағдайда – сәтсіздік. Бұл сәттілік/сәтсіздік эксперименттерін, сәттілік ықтималдығы p болатын шеңбердегі кездейсоқ нүктелерге тура байланыстырады. Суретте сәттілік бөлігі шеңбердің қалған бөлігінен ажырату үшін көк түспен боялған, ал P және Z нүктелері қызыл түспен көрсетілген. Осы шеңберді ескере отырып, p-нің бағасы көк түсті бөліктің үлесі болады. Енді шеңберді n+2 доғаға бөлейік, олар n+2 нүктеге сәйкес келеді, мұнда шеңбердегі бір нүктеден келесі нүктеге дейінгі (сағат тілімен) бөлік – бірінші нүктеге байланысты бір доға болып табылады. Осылайша, Z бірінші көк доғаны, ал P бірінші көк емес/сәтсіздік доғасын анықтайды. Келесі нүкте кездейсоқ болғандықтан, егер ол кез келген көк доғаға түсіп қалса, сынақ сәтті болады, ал басқа доғаға түсіп қалса, сәтсіздікке ұшырайды. Сондықтан сәттілік ықтималдығы p, мұнда b – көк доғалардың саны, ал t – доғалардың жалпы саны. Бір көк доға (Z) сәттілік нүктесінен көп, ал екі доға (P және Z) n нүктеден көп екенін ескеріңіз. Мән ретінде сәттіліктер санын қойсақ, сәттілік ережесі шығады. Ескерту: Нақты ықтималдықты есептеу үшін көк доғалардың ұзындығын барлық доғалардың ұзындығына бөлу керек. Бірақ, егер k нүкте шеңберде біркелкі кездейсоқ таратылған болса, нүктеден келесі нүктеге дейінгі қашықтық 1/k-ға тең болады. Сондықтан әр доғаның ұзындығы шамамен бірдей, ал ұзындықтардың қатынасы – сандардың қатынасына айналады.

The rule of succession can be interpreted in an intuitive manner by considering points randomly distributed on a circle rather than counting the number "success"/"failures" in an experiment. To mimic the behavior of the proportion p on the circle, we will color the circle in two colors and the fraction of the circle colored in the "success" color will be equal to p. To express the uncertainty about the value of p, we need to select a fraction of the circle. A fraction is chosen by selecting two uniformly random points on the circle. The first point Z corresponds to the zero in the [0, 1] interval and the second point P corresponds to p within [0, 1]. In terms of the circle the fraction of the circle from Z to P moving clockwise will be equal to p. The n trials can be interpreted as n points uniformly distributed on the circle; any point in the "success" fraction is a success and a failure otherwise. This provides an exact mapping from success/failure experiments with probability of success p to uniformly random points on the circle. In the figure the success fraction is colored blue to differentiate it from the rest of the circle and the points P and Z are highlighted in red. Given this circle, the estimate of p is the fraction colored blue. Let us divide the circle into n+2 arcs corresponding to the n+2 points such that the portion from a point on the circle to the next point (moving clockwise) is one arc associated with the first point. Thus, Z defines the first blue arc while P defines the first non blue/failure arc. Since the next point is a uniformly random point, if it falls in any of the blue arcs then the trial succeeds while if it falls in any of the other arcs, then it fails. So the probability of success p is where b is the number of blue arcs and t is the total number of arcs. Note that there is one more blue arc (that of Z) than success point and two more arcs (those of P and Z) than n points. Substituting the values with number of successes gives the rule of succession. Note: The actual probability needs to use the length of blue arcs divided by the length of all arcs. However, when k points are uniformly randomly distributed on a circle, the distance from a point to the next point is 1/k. So on average each arc is of the same length and ratio of lengths becomes ratio of counts.

Кез келген санға жалпылау

Бұл бөлімде Ықтималдық теориясы: ғылымның логикасы сияқты эвристикалық туынды келтірілген. Мұрагерлік ережесінің көптеген интуитивті түсіндірмелері бар, және қолданылған интуицияға байланысты жалпылау әртүрлі болуы мүмкін. Сондықтан, бұл жерде өте сақ болу керек және нәтижелерді бірінші принциптерден қайта туындыру керек, интуитивті түрде түсінікті жалпылауды енгізудің орнына. Толық туындыны Джеймс кітабынан табуға болады, бірақ шешім белгілі болғаннан кейін, оңай түсінілетін балама туынды бар екенін мойындайды. Тағы бір атап өтерлік нәрсе – мұрагерлік ережесімен сипатталған алдыңғы білімнің күйі мүмкіндіктердің тізімі түрінде берілген, әр санатты байқауға болатын қосымша ақпаратпен. Бұл деректерді жинағанға дейін әр санатты бір рет байқау ретінде де айтуға болады. Бұл қолданылатын білім екенін көрсету үшін, ықтималдықтарды белгілеу шарттарының бір бөлігі ретінде Im қойылады. Мұрагерлік ережесі биномдық ықтималдық пен біркелкі алдын ала үлестіруді белгілеуден туындайды. Осылайша, тікелей жалпылау – осы екі үлестірудің көпөлшемді кеңейтімдері: 1) бастапқы m санаттары үшін біркелкі алдын ала үлестіруді белгілеу және 2) ықтималдық функциясы ретінде көпмүшелік үлестіруді пайдалану (бұл биномдық үлестірудің көпөлшемді жалпылауы). Біркелкі үлестіру барлық параметрлері 1-ге тең Дирихле үлестіруінің ерекше жағдайы екенін көрсетуге болады (екілік жағдайда біркелкі Beta(1,1) сияқты). Дирихле үлестіруі көпмүшелік үлестіру үшін конъюгатты алдын ала үлестіру болып табылады, яғни артқы үлестіру де әртүрлі параметрлері бар Дирихле үлестіруі болады. Pi i-санатының байқалу ықтималдығын, ал ni i-санатының (i = 1, ..., m) нақты байқалу санын білдірсін. Содан кейін p1, ..., pm ықтималдықтарының бірлескен артқы үлестіруі мына түрде беріледі:

This section gives a heuristic derivation similar to that in Probability Theory: The Logic of Science. The rule of succession has many different intuitive interpretations, and depending on which intuition one uses, the generalisation may be different. Thus, the way to proceed from here is very carefully, and to re derive the results from first principles, rather than to introduce an intuitively sensible generalisation. The full derivation can be found in Jaynes' book, but it does admit an easier to understand alternative derivation, once the solution is known. Another point to emphasise is that the prior state of knowledge described by the rule of succession is given as an enumeration of the possibilities, with the additional information that it is possible to observe each category. This can be equivalently stated as observing each category once prior to gathering the data. To denote that this is the knowledge used, an Im is put as part of the conditions in the probability assignments. The rule of succession comes from setting a binomial likelihood, and a uniform prior distribution. Thus a straightforward generalisation is just the multivariate extensions of these two distributions: 1) Setting a uniform prior over the initial m categories, and 2) using the multinomial distribution as the likelihood function (which is the multivariate generalisation of the binomial distribution). It can be shown that the uniform distribution is a special case of the Dirichlet distribution with all of its parameters equal to 1 (just as the uniform is Beta(1,1) in the binary case). The Dirichlet distribution is the conjugate prior for the multinomial distribution, which means that the posterior distribution is also a Dirichlet distribution with different parameters. Let pi denote the probability that category i will be observed, and let ni denote the number of times category i (i = 1, , m) actually was observed. Then the joint posterior distribution of the probabilities p1, , pm is given by:

Жалпыланған мұрагерлік ережені алу үшін, келесі байқауда i-санатын байқау ықтималдығы, pi шартымен, тек pi-ға тең, оның күтілуін анықтау жеткілікті. Ai келесі байқаудың i-санатында болатын оқиғасын, ал n = n1 + ... + nm жасалған байқаулардың жалпы санын білдірсін. Дирихле үлестіруінің қасиеттерін пайдаланып алынған нәтиже:

Бұл шешім түпнұсқалық мұрагерлік ережесіне сәйкес, ешқандай байқаулар жасалмас бұрын (яғни n = 0) бейтараптық принципін қолданып тағайындалатын ықтималдыққа дейін тоғысады. Сонымен қатар, ол m = 2 болғанда мұрагерлік ережесін ерекше жағдай ретінде қамтиды, жалпылауға сәйкес. A1 және A2 оқиғалары өзара сәйкес болғандықтан, m санаттарын 2 санатқа біріктіруге болады. "Сәттілік" ықтималдығын табу үшін "сәттілікке" жататын Ai ықтималдықтарын қосу керек. Бұл "сәттілік" c санатты және "сәтсіздік" m-c санатты біріктіреді деп есептесек. "Сәттілік" деп аталатын ni мәндерінің қосындысын s деп белгілейік. Келесі сынақта "сәттілік" ықтималдығы:

Бұл түпнұсқалық мұрагерлік ережесінен өзгеше. Бірақ түпнұсқалық мұрагерлік ережесі I2 негізінде, ал жалпылау Im негізінде жасалғанын ескеріңіз. Бұл Im-дегі ақпарат I2-дегі ақпараттан өзгеше екенін білдіреді. Бұл екі нәтижеден артық мүмкіндіктерді білу осы санаттарды екіге дейін азайту кезінде маңызды ақпарат болып табылады екенін көрсетеді. Бұл алдын ала ақпаратты сипаттаудың күрделілігін көрсетеді және қандай алдын ала ақпаратты қолданатыныңызды нақтылаудың маңыздылығын көрсетеді.

Қосымша талдау

Жақсы модель маңызды (яғни, дәлдік пен практикалық қолданылу арасындағы жақсы тепе-тәуелдік). Лапластың күн шығу мәселесін еске түсіре келе: Күннің шығуына қатысты көптеген мысалдар болғанымен, күннің әр күні шығуының белгілі бір ықтималдығы бар деп қараудың орнына, күннің жақсы модельдері бар, мысалы, жартылай өмір шамасы бар модель. Жақсы модель болған жағдайда, мүмкіндігінше көп байқаулар жасаған жөн, бұл алдын ала білімнің сенімділігіне, байқаулардың құнына, қолда бар уақыт пен ресурстарға және қажетті дәлдікке байланысты. Мұрагерлік ереженің ең қиын тұсы математикалық формулалар емес, «Мұрагерлік ереже қашан қолданылады?» деген сұраққа жауап беру болып табылады. Жалпылау бөлімінде, алдын ала ақпаратты (Im) есептеулерге қосу арқылы бұл мәселе нақты көрсетілген. Демек, құбылыс туралы белгілі болған жалғыз нәрсе, деректерді байқау алдында m мүмкін нәтиже болғанда ғана мұрагерлік ереже қолданылады. Егер мұрагерлік ережесі алдыңғы білімнің жағдайын дұрыс сипаттамайтын жағдайларда қолданылса, онда ол күтпеген нәтижелерге әкелуі мүмкін. Бұл мұрагерлік ережеде кемшілік бар екенін білдірмейді, ол жай ғана басқа алдын ала ақпарат негізінде басқа сұраққа жауап береді. Принцип бойынша (Кромвель ережесін қараңыз), ешқандай мүмкіндіктің ықтималдығын (немесе жалған санын) нөлге теңдеуге болмайды, өйткені физикалық әлемде ешнәрсе толығымен мүмкін емес деп қарастырылмайды (мүмкін болса да), тіпті барлық байқаулар мен қазіргі теорияларға қайшы келсе де. Шындығында, Байес ережесі бұрын нөлдік ықтималдығы бар деп саналған байқауды ескермейді – ол әлі де мүмкін емес деп жарияланады. Дегенмен, тек мүмкіндіктердің белгілі бір жиынтығын қарастыру қабылданды, бірақ нәтижелер қарастырылып отырған жиынға ғана байланысты екенін есте ұстау керек, ал «әмбебап» жиынға емес. Ларри Бретторст гипотеза кеңістігіне «басқа нәрсе» мүмкіндігін қосудың басқа гипотезалардың салыстырмалы ықтималдықтарына ешқандай әсер етпейтінін көрсетеді – ол оларды 1-ден кем мәнге дейін қосу үшін жаңадан нормалайды. «Басқа нәрсе» нақтыланғанша, осы «басқа нәрсеге» байланысты ықтималдық функциясы белгісіз болады, өйткені оны қалай анықтауға болады? Осылайша, «басқа нәрсе» үшін алдын ала ықтималдықты жаңарту оны нақты анықтамайынша мүмкін емес. Алайда, кейде алдын ала білім салыстырмалы ықтималдықтарға ғана әсер етуі керек пе, әлде нақты байқауларға қарағанда алдын ала білімнің жалпы салмағына да әсер етуі керек пе деген мәселе талқылауға ашық. Бұл сұраққа нақты жауап жоқ, өйткені ол қандай алдын ала білімді қарастырып отырғанымызға байланысты. Мысалы, алдын ала білімнің басқа бір түрі мынадай болуы мүмкін: «Мен m потенциалдық санатты анықтадым, бірақ деректерді байқағанға дейін олардың тек біреуі ғана мүмкін екеніне сенімдімін. Бірақ бұл қандай санат екенін білмеймін». Бұл алдын ала білімді математикалық тұрғыдан сипаттау үшін барлық параметрлері m-1 тең Дирихле үлестірімін пайдалануға болады, бұл жағдайда бөлгіште 1 жалған санын береді (m емес) және әр санатқа m-1 жалған санын қосады. Бұл екілік жағдайда сәл өзгеше ықтималдық береді. Алдын ала ықтималдықтарды бағалауға көп күш жұмсауға тұрарлық жағдай – олардың маңызды әсер ететін жағдайлары ғана. Олар байқаулар аз болған кезде маңызды болуы мүмкін, әсіресе, кейбір мүмкіндіктерге (мысалы, белгілі бір аймақта сирек кездесетін жануарлар) аздаған немесе ешқандай байқаулар болмаған жағдайда. Көптеген байқаулар болған кезде де маңызды, онда күтудің алдын ала бағалауларға басымдық берілуі керек деп есептеледі, тіпті оған қайшы көптеген байқаулар болған жағдайда да (мысалы, жақсы беделді казинодағы рулетка дөңгелегі үшін). Соңғы жағдайда, жалған сандардың кейбіреуі өте үлкен болуы мүмкін. Олар әрқашан кішкентай болып, жақын арада нақты байқаулармен жойылмайды, жиі болжамдалатындай. Алайда, соңғы шара ретінде күнделікті қолдану үшін алдын ала білім көбінесе маңызды. Сондықтан көптеген шешімдер белгілі бір дәрежеде субъективті болуы керек (талдаушыға және қолданылған талдауға байланысты).

A good model is essential (i. e., a good compromise between accuracy and practicality). To paraphrase Laplace on the sunrise problem: Although we have a huge number of samples of the sun rising, there are far better models of the sun than assuming it has a certain probability of rising each day, e. g., simply having a half life. Given a good model, it is best to make as many observations as practicable, depending on the expected reliability of prior knowledge, cost of observations, time and resources available, and accuracy required. One of the most difficult aspects of the rule of succession is not the mathematical formulas, but answering the question: When does the rule of succession apply? In the generalisation section, it was noted very explicitly by adding the prior information Im into the calculations. Thus, when all that is known about a phenomenon is that there are m known possible outcomes prior to observing any data, only then does the rule of succession apply. If the rule of succession is applied in problems where this does not accurately describe the prior state of knowledge, then it may give counter intuitive results. This is not because the rule of succession is defective, but that it is effectively answering a different question, based on different prior information. In principle (see Cromwell's rule), no possibility should have its probability (or its pseudocount) set to zero, since nothing in the physical world should be assumed strictly impossible (though it may be)—even if contrary to all observations and current theories. Indeed, Bayes rule takes absolutely no account of an observation previously believed to have zero probability—it is still declared impossible. However, only considering a fixed set of the possibilities is an acceptable route, one just needs to remember that the results are conditional on (or restricted to) the set being considered, and not some "universal" set. In fact Larry Bretthorst shows that including the possibility of "something else" into the hypothesis space makes no difference to the relative probabilities of the other hypothesis—it simply renormalises them to add up to a value less than 1. Until "something else" is specified, the likelihood function conditional on this "something else" is indeterminate, for how is one to determine ? Thus no updating of the prior probability for "something else" can occur until it is more accurately defined. However, it is sometimes debatable whether prior knowledge should affect the relative probabilities, or also the total weight of the prior knowledge compared to actual observations. This does not have a clear cut answer, for it depends on what prior knowledge one is considering. In fact, an alternative prior state of knowledge could be of the form "I have specified m potential categories, but I am sure that only one of them is possible prior to observing the data. However, I do not know which particular category this is." A mathematical way to describe this prior is the Dirichlet distribution with all parameters equal to m−1, which then gives a pseudocount of 1 to the denominator instead of m, and adds a pseudocount of m−1 to each category. This gives a slightly different probability in the binary case of
Prior probabilities are only worth spending significant effort estimating when likely to have significant effect. They may be important when there are few observations — especially when so few that there have been few, if any, observations of some possibilities – such as a rare animal, in a given region. Also important when there are many observations, where it is believed that the expectation should be heavily weighted towards the prior estimates, in spite of many observations to the contrary, such as for a roulette wheel in a well respected casino. In the latter case, at least some of the pseudocounts may need to be very large. They are not always small, and thereby soon outweighed by actual observations, as is often assumed. However, although a last resort, for everyday purposes, prior knowledge is usually vital. So most decisions must be subjective to some extent (dependent upon the analyst and analysis used).