Кіріспе
Көптеген өлшемдердің орташа мәні нақты мәннен елеулі түрде өзгешеленетін жағдай. Статистикалық қиыстық – статистиканың математикалық саласында деректерді жинау және статистиканы жасау үшін қолданылатын әдістер шындықты дәл емес, бұрмаланған немесе қиыстырылған түрде бейнелейтін жүйелі бейімділік. Статистикалық қиыстық деректерді жинау және талдау процесінің көптеген кезеңдерінде кездеседі, оның ішінде: деректердің бастауы, деректерді жинау әдістері, таңдалған бағалаушы және деректерді талдау әдістері. Деректерді талдаушылар өз жұмыстарында статистикалық қиыстықтың әсерін азайту үшін процестің әр кезеңінде түрлі шаралар қолдана алады. Статистикалық қиыстықтың себептерін түсіну, алынған нәтижелердің шындыққа қаншалықты жақын екенін бағалауға көмектеседі. Статистикалық қиыстық мәселелері статистикалық жарамдылық мәселелерімен тығыз байланысты екені айтылады. Статистикалық қиыстық нақты әлемде маңызды салдарларға ие болуы мүмкін, себебі деректер қоғамдағы әртүрлі процестерде шешім қабылдау үшін қолданылады. Деректер заң шығару, индустриялық реттеу, корпоративтік маркетинг және тарату тактикасы, сондай-ақ ұйымдар мен жұмыс орындарындағы институционалдық саясатты анықтау үшін пайдаланылады. Сондықтан, статистикалық қиыстық ескерілмесе және бақыланбаса, маңызды салдарлар туындауы мүмкін. Мысалы, егер фармацевтикалық компания дәрінің суық тиюге тигізетін әсерін зерттегісі келсе, бірақ деректер үлгісіне тек ерлер кірсе, осы деректерден жасалған барлық қорытындылар дәрінің әсері ерлерге емес, жалпы адамдарға қалай тиетініне қатысты қиыстырылады. Бұл ақпарат толық емес және дәрінің жалпы жұртшылыққа шығарылуға дайын екендігін шешу үшін пайдалы емес. Мұндай жағдайда, үлгіні кеңейту арқылы қиыстықты жоюға болады. Бұл үлгі алу қатесі – деректердің қиыстырылуының бір ғана түрі. Статистикалық қиыстықты басқа статистикалық қателерден, мысалы, дәлдіктен (құралдың бұзылуы/жеткіліксіздігі), деректердің жетіспеуінен немесе транскрипциядағы қателерден (тегіс қателер) ажыратуға болады. Қиыстық деректерді іріктеу критерийлеріне байланысты бұрмаланған болуы мүмкін екенін білдіреді. Деректерді жинау кезінде жауап беру қиыстығы сияқты, адамға байланысты басқа да қиыстық түрлері де пайда болады, онда қатысушылар сұраққа дұрыс емес жауап береді. Қиыстық басқа да қателердің болуына кедергі келтірмейді. Бір уақытта дұрыс емес үлгі, дәл емес өлшеу құрылғысы және деректерді жазудағы қателер болуы мүмкін. Идеалды жағдайда, барлық факторлар бақылауға алынып, есепке алынуы керек. Сондай-ақ, "қате" термині процестің емес, нәтижеге (тексеріліп жатқан гипотезаны қабылдамау немесе қабылдау қателері) немесе кездейсоқ қателер құбылысына қатысты екенін еске алу пайдалы. Процестік қателерді осы нақты анықталған нәтижеге негізделген терминдерден ажырату үшін "кемшілік" немесе "қате" терминдерін қолдану ұсынылады.
Statistical bias, in the mathematical field of statistics, is a systematic tendency in which the methods used to gather data and generate statistics present an inaccurate, skewed or biased depiction of reality. Statistical bias exists in numerous stages of the data collection and analysis process, including: the source of the data, the methods used to collect the data, the estimator chosen, and the methods used to analyze the data. Data analysts can take various measures at each stage of the process to reduce the impact of statistical bias in their work. Understanding the source of statistical bias can help to assess whether the observed results are close to actuality. Issues of statistical bias has been argued to be closely linked to issues of statistical validity. Statistical bias can have significant real world implications as data is used to inform decision making across a wide variety of processes in society. Data is used to inform lawmaking, industry regulation, corporate marketing and distribution tactics, and institutional policies in organizations and workplaces. Therefore, there can be significant implications if statistical bias is not accounted for and controlled. For example, if a pharmaceutical company wishes to explore the effect of a medication on the common cold but the data sample only includes men, any conclusions made from that data will be biased towards how the medication affects men rather than people in general. That means the information would be incomplete and not useful for deciding if the medication is ready for release in the general public. In this scenario, the bias can be addressed by broadening the sample. This sampling error is only one of the ways in which data can be biased. Bias can be differentiated from other statistical mistakes such as accuracy (instrument failure/inadequacy), lack of data, or mistakes in transcription (typos). Bias implies that the data selection may have been skewed by the collection criteria. Other forms of human based bias emerge in data collection as well such as response bias, in which participants give inaccurate responses to a question. Bias does not preclude the existence of any other mistakes. One may have a poorly designed sample, an inaccurate measurement device, and typos in recording data simultaneously. Ideally, all factors are controlled and accounted for. Also it is useful to recognize that the term “error” specifically refers to the outcome rather than the process (errors of rejection or acceptance of the hypothesis being tested), or from the phenomenon of random errors. The terms flaw or mistake are recommended to differentiate procedural errors from these specifically defined outcome based terms.
Бағалаушының бұрмалылығы
Статистикалық бұрмалау – бұл статистикалық әдіс немесе оның нәтижелерінің бір қасиеті, онда нәтижелердің күтілетін мәні бағаланып отырған нақты негізгі сандық параметрден өзгеше болады. Параметрді бағалаушының бұрмалануы оның дәлдігімен шатастырылмауы керек, себебі дәлдік – бұл сынама алу қателігінің өлшемі. Бұрмалау келесідей анықталады: егер параметрді бағалау үшін қолданылатын статистика болса, ал сол статистиканың күтілетін мәнін білдірсе, онда
статистиканың бұрмалануы ( -қа қатысты) деп аталады. Егер , онда параметрдің бұрмаланбаған бағалаушысы деп айтылады, әйтпесе ол бұрмаланған бағалаушысы деп айтылады. Статистиканың бұрмалануы әрқашан оны бағалау үшін қолданылатын параметрге қатысты болады, бірақ параметр контекстен түсініклі болған жағдайда көбінесе жіберіліп қойылады.
The bias of a statistic is always relative to the parameter it is used to estimate, but the parameter is often omitted when it is clear from the context what is being estimated.
Түрлері
Статистикалық бұрмалау деректерді талдаудың барлық сатыларында кездеседі. Бұрмалаудың келесі көздері әр сатыда жеке-жеке тізімделеді.
Деректерді таңдау
Таңдау теріс көрінісі – зерттеуге басқаларға қарағанда белгілі бір адамдардың жиірек іріктелуі, бұл үлгінің бұрмалануына әкеледі. Бұл таңдау эффектісі, сынамалау теріс көрінісі және Берксон теріс көрінісі деп те аталуы мүмкін. Спектрлік теріс көрініс – диагностикалық тесттерді бұрмаланған науқастардың үлгілерінде бағалаудан туындайды, бұл тесттің сезімталдығы мен ерекшелігін жоғары бағалауға алып келеді. Мысалы, зерттеу популяциясындағы аурудың жоғары деңгейі оң болжамдық мәндерді арттырады, бұл болжамдық мәндер мен нақты мәндер арасында теріс көрініс тудырады. Байқаушы таңдау теріс көрінісі, дәлелдерді бақылаушылар алдын ала сүзген кезде пайда болады, бұл антрополық принцип деп аталады. Жиналған деректер эксперименттің дизайнымен ғана емес, сонымен қатар зерттеуді жүргізуге біреудің болуымен байланысты қажетті алғышарттар бойынша да сүзгіленеді. Мысалы, Жерге бұрынғы соққылардың әсерін қарастыруға болады. Соқтығысу оқиғасы зиялы жануарлардың жоғалуына себеп болуы мүмкін, немесе сол кезде мұндай жануарлар болмаған болуы мүмкін. Сондықтан кейбір соқтығысу оқиғалары байқалмаған болуы мүмкін, бірақ олар бұрын болған болуы мүмкін. Еріктілердің теріс көрінісі, еріктілердің зерттеудің мақсатты тобынан өзгеше ерекшеліктері болған кезде пайда болады. Зерттеулер көрсеткендей, еріктілер көбінесе жоғары әлеуметтік-экономикалық жағдайы бар отбасылардан шығады. Сонымен қатар, басқа зерттеулер көрсеткендей, әйелдер ерлерге қарағанда зерттеулерге ерікті түрде қатысуға бейім. Қаржыландыру теріс көрінісі зерттеудің қаржылық демеушісіне пайдалы нәтижелерді, сынақ үлгілерін немесе сынақ процедураларын таңдауға әкелуі мүмкін. Атрофиялық теріс көрініс қатысушылардың жоғалуынан туындайды, мысалы, зерттеу барысында бақылаудың жоғалуынан. Еске алу теріс көрінісі қатысушылардың өткен оқиғаларды еске алудағы дәлдігі мен толықтығының айырмашылықтарынан туындайды; мысалы, науқастар өткен аптада қанша темекі шеккенін нақты есіне түсіре алмайды, бұл жоғары немесе төмен бағалауға әкелуі мүмкін.
Гипотезаларды тексеру
Статистикалық гипотезаларды тексерудегі I және II типті қателер дұрыс емес нәтижелерге әкеледі. I типтегі қате нөлдік гипотеза дұрыс болған кезде оны қабылдамауға байланысты туындайды. Мысалы, нөлдік гипотеза егер орташа жүру жылдамдығы 75-85 км/сағ аралығында болса, ол артық жылдамдық деп есептелмейді десін. Ал егер орташа жылдамдық осы аралықтан тыс болса, онда артық жылдамдық деп есептеледі. Егер біреу 7 км/сағ орташа жылдамдықпен жүргізгені үшін айыппұл алса, шешім қабылдаушы I типтегі қателік жасаған болады. Яғни, орташа жүру жылдамдығы нөлдік гипотезаға сәйкес келсе де, қабылданбайды. Керісінше, II типтегі қате нөлдік гипотеза бұрыс болған кезде оны қабылдауға байланысты туындайды. Гипотезаларды тексерудегі бұрмалаушылық, егер кез келген балама гипотезадағы қуат (II типтегі қателік ықтималдығының толықтығы) I типтегі қателік ықтималдығының жоғарғы шегінен (әдетте маңыздылық деңгейі, α) төмен болса пайда болады. Балама гипотезалардың ешқайсысы бойынша бас тарту көрсеткіші нөлдік гипотеза жиынтығының кез келген нүктесіндегі бас тарту көрсеткішінен төмен болмаса, тест бейтарап деп есептеледі.
Бағалаушыны таңдау
Бағалаушының қатесі – бағалаушының күтілетін мәні мен бағаланатын параметрдің нақты мәні арасындағы айырмашылық. Теориялық тұрғыдан алғанда, қатесіз бағалаушы қателі бағалаушыға қарағанда артықшылыққа ие болғанымен, практикада кішкентай қателі бар бағалаушылар жиі қолданылады. Қателі бағалаушы бірнеше себепке байланысты пайдалы болуы мүмкін. Біріншіден, қосымша шарттарсыз қатесіз бағалаушы болуы мүмкін емес. Екіншіден, кейде қатесіз бағалауды есептеу қиын. Үшіншіден, қателі бағалаушының орташа квадраттық қателігі төмен болуы мүмкін. Пуассон таралымынан туындаған кез келген қатесіз бағалаушыдан қателі бағалаушы жақсырақ. Қателі бағалаушының мәні әрқашан оң, ал оның орташа квадраттық қатесі қатесіз бағалаушыдан кіші, бұл қателі бағалаушыны дәлдікке жеткізеді. Қолданылмаған айнымалылардың қатесі – регрессиялық талдаудағы параметрлерді бағалау кезінде, егер қабылданған ерекшеліктер модельде болуы керек тәуелсіз айнымалыны қамтымаса пайда болатын қате.
Талдау әдістері
Анықтау қатесі белгілі бір зерттеу тобындағы бір құбылыстың байқалу ықтималдығы артаған кезде туындайды. Мысалы, семіздік және диабетке байланысты синдром дәрігерлердің жұқа пациенттерге қарағанда семіз пациенттерде диабетті іздеуге бейім болуына себеп болуы мүмкін, бұл семіз пациенттер арасында диабеттің көтерілуіне, анықтау әрекеттерінің бұрмалануына әкеледі. Білімді бағалауда, қателік – тест мазмұнындағы, тест өткізудегі және/немесе бағалау процедураларындағы жүйелі қателер ретінде анықталады, бұл кейбір тест тапсырушылардың нақты қабілеттеріне сәйкес келмейтін төмен немесе жоғары балл алуына әкелуі мүмкін. Қателік көзі, тест өлшеуге арналған белгіге қатысы жоқ. Байқаушы қатесі зерттеушінің когнитивтік қателіктерге байланысты экспериментке бейсалы түрде әсер ететін кезде пайда болады, онда шешім эксперименттің қалай жүргізілетініне / нәтижелердің қалай тіркелетініне өзгеріс енгізе алады.
Интерпретация
Хабарлауға қатысты бұрмалаушылық – белгілі бір түрдегі деректердің жиірек хабарлануына әкелетін, деректердің қолжетімділігіндегі теңсіздік.
Статистикалық бейімділікпен күресу
Алғажақтық түріне байланысты зерттеушілер мен талдаушылар деректер жиынтығындағы алғажақтықты азайту үшін әртүрлі шаралар қолдана алады. Жоғарыда аталған барлық алғажақтық түрлерінің әсерін азайту немесе жою үшін сәйкес шаралар бар. Деректерді жинау процесінің әр қадамында, зерттеу параметрлерін нақты анықтаудан және зерттеуді жүргізетін команданы ескеруден бастап, алғажақтықты есепке алу қажет. Есеп беруде тілді сақтықпен қолдану, мысалы, нәтиже "статистикалық маңыздылыққа жақындауы" туралы айту, оны нақты қол жеткізуден гөрі, қате түсінік тудыруы мүмкін.