Психометрияда болжамдық жарамдылық

Кіріспе

Психометрияда болжамды жарамдылық – шкала немесе тесттегі баллдың белгілі бір өлшем бойынша баллдарды қаншалықты дұрыс болжауы. Мысалы, жұмыс өнімділігіне қатысты когнитивтік тесттің жарамдылығы – тест нәтижелері мен, мысалы, басшының бағалаулары арасындағы корреляция. Егер байқалған корреляция статистикалық тұрғыдан маңызды болса, мұндай когнитивтік тест болжамды жарамдылыққа ие болады. Прогноздық жарамдылық бір мезгілдегі жарамдылықпен ұқсас, себебі екеуі де тест пен белгілі бір критерий арасындағы корреляция ретінде өлшенеді. Бір мезгілдегі жарамдылықты зерттеуде тест критерий жинақталған кезде бір уақытта жүргізіледі. Бұл жұмысқа орналасу тесттерінің жарамдылығын растаудың әдеттегі тәсілі: тест жұмыс істейтін қызметкерлерге тапсырылады, содан кейін олардың жұмыс өнімділігінің бағасы тестке тәуелсіз түрде алынады немесе алынған (көбінесе, жоғарыда айтылғандай, басшы бағалауы түрінде). Тест нәтижелері мен өнімділік бағаларындағы шектеу мүмкіндігін ескеру қажет: жұмыс істейтін қызметкерлер, әдетте, үміткерлер тобына қарағанда біртекті және жоғары нәтижелі болады. Прогноздық жарамдылықты қатаң зерттеуде алдымен тест нәтижелері жиналады, содан кейін белгілі бір уақыттан кейін критерий өлшемдері жиналады. Осылайша, болжамды жарамдылық үшін жұмысқа орналасу тестілеу мысалы сәл өзгеше: тесттер тапсырылады, мысалы, жұмыс іздеушілерге, содан кейін бұл адамдар бір жыл жұмыс істегеннен кейін, олардың тест нәтижелері алғашқы жылғы жұмыс өнімділігімен салыстырылады. Тағы бір маңызды мысал – SAT нәтижелері: олар емтихан тапсырушының аға және орта мектептегі бағаларын жинау арқылы және содан кейін нәтижелерді бірінші курс студентінің орташа бағасымен салыстыру үшін бір жыл (немесе одан да көп) күту арқылы расталады. Осылайша, болжамды жарамдылық тесттің жарамдылығы туралы көбірек пайдалы мәліметтер береді, өйткені ол тест қолданылатын нақты жағдайға жақын. Амал, көптеген тесттер болашақ мінез-құлық туралы ақпарат алу үшін жүргізіледі. Әлеуметтік ғылымның көптеген салаларындағыдай, болжамды жарамдылық зерттеулерінен алынған корреляциялардың шамасы көбінесе жоғары емес. Жұмысқа орналасу тесті үшін әдеттегі болжамды жарамдылық r = .35 шамасындағы корреляцияны көрсетуі мүмкін. Көбірек мәндер кейде кездеседі, ал кіші мәндер жиі кездеседі. Дегенмен, корреляциясы 0,35 болатын тесттің пайдалылығы (яғни, тестті қолдану арқылы қабылданған шешімдерден алынған пайда) өте маңызды болуы мүмкін. Көбірек ақпарат және дисперсия мен болжамды жарамдылық арасындағы байланыстың түсіндірмесін мына жерден табуға болады.

In psychometrics, predictive validity is the extent to which a score on a scale or test predicts scores on some criterion measure. For example, the validity of a cognitive test for job performance is the correlation between test scores and, for example, supervisor performance ratings. Such a cognitive test would have predictive validity if the observed correlation were statistically significant. Predictive validity shares similarities with concurrent validity in that both are generally measured as correlations between a test and some criterion measure. In a study of concurrent validity the test is administered at the same time as the criterion is collected. This is a common method of developing validity evidence for employment tests: A test is administered to incumbent employees, then a rating of those employees' job performance is, or has already been, obtained independently of the test (often, as noted above, in the form of a supervisor rating). Note the possibility for restriction of range both in test scores and performance scores: The incumbent employees are likely to be a more homogeneous and higher performing group than the applicant pool at large. In a strict study of predictive validity, the test scores are collected first. Then, at some later time the criterion measure is collected. Thus, for predictive validity, the employment test example is slightly different: Tests are administered, perhaps to job applicants, and then after those individuals work in the job for a year, their test scores are correlated with their first year job performance scores. Another relevant example is SAT scores: These are validated by collecting the scores during the examinee's senior year and high school and then waiting a year (or more) to correlate the scores with their first year college grade point average. Thus predictive validity provides somewhat more useful data about test validity because it has greater fidelity to the real situation in which the test will be used. After all, most tests are administered to find out something about future behavior. As with many aspects of social science, the magnitude of the correlations obtained from predictive validity studies is usually not high. A typical predictive validity for an employment test might obtain a correlation in the neighborhood of r = .35. Higher values are occasionally seen and lower values are very common. Nonetheless, the utility (that is the benefit obtained by making decisions using the test) provided by a test with a correlation of .35 can be quite substantial. More information, and an explanation of the relationship between variance and predictive validity, can be found here.

Қазіргі заманғы жарамдылық теориясындағы болжамды жарамдылық

Білім беру және психологиялық тестілеудің соңғы стандарттары Сэмюэл Мессиктің жарамдылық моделін көрсетеді және "болжамдық жарамдылық" терминін қолданбайды. Керісінше, стандарттар "тест нәтижелері мен] басқа айнымалылар арасындағы байланысқа негізделген деректер" арқасында қолдау көрсетілетін жарамдылықты сипаттайды. Болжамдық жарамдылық – бұл белгілі бір құрылым бойынша субъектілер тобын тексеру, содан кейін олардың нәтижелерін кейінірек алынған нәтижелермен салыстыру.