Статистикадағы дөңгелек пікір: деректерге сүйенген гипотезаны сол деректермен тексеру қате нәтижеге алып келуі мүмкін. Жаңа деректермен тексеру маңызды!
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Кіріспе
Статистикада айналмалы ойлау мәселесі
Problem of circular reasoning in statistics
Статистикада, белгілі бір деректер жинағымен ұсынылған гипотезалар, егер оларды оларды ұсынған сол деректер жинағымен тексерсе, олар шындыққа сай болмаса да қабылдануы мүмкін. Бұл айналмалы ойлаудың (қос дүркіндік) нәтижесінде болады: бірдеңе шектеулі деректер жинағында шындыққа сәйкес көрінеді; демек, біз оның жалпы жағдайда да шын екенін жорамалдаймыз; демек, біз оны дәл сол, шектеулі деректер жинағында бұрыс тексеріп, оның шын екенін растаймыз. Жаңа деректерде сынап көрместен, бұрын байқалған деректерге негізделген гипотезаларды құру post hoc теориясы (латын тілінен post hoc, "осыдан кейін") деп аталады. Дұрыс тәсіл – кез келген гипотезаны гипотезаны жасау үшін қолданылмаған деректер жинағында тексеру.
In statistics, hypotheses suggested by a given dataset, when tested with the same dataset that suggested them, are likely to be accepted even when they are not true. This is because circular reasoning (double dipping) would be involved: something seems true in the limited data set; therefore we hypothesize that it is true in general; therefore we wrongly test it on the same, limited data set, which seems to confirm that it is true. Generating hypotheses based on data already observed, in the absence of testing them on new data, is referred to as post hoc theorizing (from Latin post hoc, "after this"). The correct procedure is to test any hypothesis on a data set that was not used to generate the hypothesis.
Жалпы проблема
Деректермен ұсынылған гипотезаны тексеру нәтижесінде жалған оң нәтижелер (I типтегі қателер) пайда болуы өте оңай. Егер жеткілікті ұзақ уақыт бойы және жеткілікті түрлі орындарда іздеу жүргізсе, кез келген гипотезаны қолдайтын деректерді табу мүмкін. Алайда, осы оң деректердің өзі гипотезаның дұрыс екендігін дәлелдемейді. Жағымсыз нәтижелерді қамтитын деректер де маңызды, себебі олар оң нәтижелердің кездейсоқтыққа қарағанда қаншалықты жиі кездесетіні туралы түсінік береді. Эксперимент жүргізу, деректерде белгілі бір үлгіні байқау, содан кейін осы үлгіден гипотеза жасап, одан кейін жаңа гипотезаны дәлелдеу үшін сол деректерді пайдалану өте күмәнді, өйткені барлық басқа эксперименттердің деректері – аяқталған немесе болашақта жүзеге асырылатын – жаңа гипотезаны ұсынған эксперименттерге ғана назар аудару арқылы, іс жүзінде "қабылданып қалған". Жоғарыда сипатталғандай, үлкен тесттер жиынтығы I типтегі қателіктердің ықтималдығын күрт арттырады, өйткені гипотезаға ең қолайлы деректерден басқасының бәрі жойылады. Бұл қауіп – гипотезаларды тексеруде ғана емес, барлық статистикалық қорытындыларда да бар, өйткені деректерді іздеу және жою процесін дәл сипаттау көбінесе қиындық тудырады. Басқаша айтқанда, гипотезаны қолдайтын немесе жоққа шығаратын барлық деректерді ("жақсы тесттерден") сақтау қажет, бірақ "жақсы тесттің" не екенін анықтау кейде қиын. Бұл статистикалық модельдеуде ерекше мәселе болып табылады, онда нәтиже жарияланғанға дейін көптеген әртүрлі модельдер сынақ арқылы теріліп, қабылданады (сондай-ақ, артық сәйкестік және жарияланымдардың іріктелуін қараңыз). Бұл қате деректерді өндіру және машиналық оқыту салаларында ерекше кең таралған. Бұл академиялық жарияланымдарда да жиі кездеседі, онда жағымсыз нәтижелерге қарағанда оң нәтижелер туралы есептер ғана қабылданады, нәтижесінде жарияланымдардың іріктелуі деп аталатын эффект пайда болады.
Testing a hypothesis suggested by the data can very easily result in false positives (type I errors). If one looks long enough and in enough different places, eventually data can be found to support any hypothesis. Yet, these positive data do not by themselves constitute evidence that the hypothesis is correct. The negative test data that were thrown out are just as important, because they give one an idea of how common the positive results are compared to chance. Running an experiment, seeing a pattern in the data, proposing a hypothesis from that pattern, then using the same experimental data as evidence for the new hypothesis is extremely suspect, because data from all other experiments, completed or potential, has essentially been "thrown out" by choosing to look only at the experiments that suggested the new hypothesis in the first place. A large set of tests as described above greatly inflates the probability of type I error as all but the data most favorable to the hypothesis is discarded. This is a risk, not only in hypothesis testing but in all statistical inference as it is often problematic to accurately describe the process that has been followed in searching and discarding data. In other words, one wants to keep all data (regardless of whether they tend to support or refute the hypothesis) from "good tests", but it is sometimes difficult to figure out what a "good test" is. It is a particular problem in statistical modelling, where many different models are rejected by trial and error before publishing a result (see also overfitting, publication bias). The error is particularly prevalent in data mining and machine learning. It also commonly occurs in academic publishing where only reports of positive, rather than negative, results tend to be accepted, resulting in the effect known as publication bias.