Предиктивная валидность в психометрии: принципы и применение.

Введение

В психометрии, предиктивная валидность – это степень, в которой результат по шкале или тесту предсказывает результаты по некоторому критериальному измерению. Например, валидность когнитивного теста для оценки трудовой деятельности – это корреляция между результатами теста и, например, оценками эффективности работы, выставленными руководителем. Такой когнитивный тест будет обладать предиктивной валидностью, если наблюдаемая корреляция окажется статистически значимой. Предиктивная валидность имеет сходство с конкордантной (совместной) валидностью в том, что обе обычно измеряются как корреляции между тестом и некоторым критериальным измерением. В исследовании конкордантной валидности тест проводится одновременно со сбором данных по критерию. Это распространенный метод получения доказательств валидности для тестов при приеме на работу: тест проводится для действующих сотрудников, а затем оценка их трудовой деятельности получается или уже получена независимо от результатов теста (часто, как отмечалось выше, в форме оценки руководителя). Следует учитывать возможность ограничения диапазона как в результатах тестов, так и в оценках трудовой деятельности: действующие сотрудники, вероятно, представляют собой более однородную и высокопроизводительную группу, чем общий пул кандидатов. В строгом исследовании предиктивной валидности результаты теста собираются в первую очередь. Затем, спустя некоторое время, собираются данные по критериальному измерению. Таким образом, пример с тестом при приеме на работу для предиктивной валидности немного отличается: тесты проводятся, возможно, для соискателей, а затем, после того как эти люди поработают на данной должности год, их результаты теста сопоставляются с результатами их работы в первый год. Другим примером являются баллы SAT: они проверяются путем сбора баллов в последний год обучения в старшей школе, а затем ожидают год (или более), чтобы сопоставить эти баллы со средним баллом успеваемости в колледже за первый год обучения. Таким образом, предиктивная валидность предоставляет несколько более полезные данные о валидности теста, поскольку она более точно отражает реальную ситуацию, в которой тест будет использоваться. В конце концов, большинство тестов проводятся для того, чтобы узнать что-то о будущем поведении. Как и во многих областях социальных наук, величина корреляций, полученных в исследованиях предиктивной валидности, обычно невелика. Типичная предиктивная валидность для теста при приеме на работу может составить корреляцию около r = 0,35. Более высокие значения встречаются иногда, а более низкие – очень часто. Тем не менее, полезность (то есть выгода, получаемая при принятии решений на основе результатов теста) теста с корреляцией 0,35 может быть весьма существенной. Более подробную информацию и объяснение взаимосвязи между дисперсией и предиктивной валидностью можно найти здесь.

In psychometrics, predictive validity is the extent to which a score on a scale or test predicts scores on some criterion measure. For example, the validity of a cognitive test for job performance is the correlation between test scores and, for example, supervisor performance ratings. Such a cognitive test would have predictive validity if the observed correlation were statistically significant. Predictive validity shares similarities with concurrent validity in that both are generally measured as correlations between a test and some criterion measure. In a study of concurrent validity the test is administered at the same time as the criterion is collected. This is a common method of developing validity evidence for employment tests: A test is administered to incumbent employees, then a rating of those employees' job performance is, or has already been, obtained independently of the test (often, as noted above, in the form of a supervisor rating). Note the possibility for restriction of range both in test scores and performance scores: The incumbent employees are likely to be a more homogeneous and higher performing group than the applicant pool at large. In a strict study of predictive validity, the test scores are collected first. Then, at some later time the criterion measure is collected. Thus, for predictive validity, the employment test example is slightly different: Tests are administered, perhaps to job applicants, and then after those individuals work in the job for a year, their test scores are correlated with their first year job performance scores. Another relevant example is SAT scores: These are validated by collecting the scores during the examinee's senior year and high school and then waiting a year (or more) to correlate the scores with their first year college grade point average. Thus predictive validity provides somewhat more useful data about test validity because it has greater fidelity to the real situation in which the test will be used. After all, most tests are administered to find out something about future behavior. As with many aspects of social science, the magnitude of the correlations obtained from predictive validity studies is usually not high. A typical predictive validity for an employment test might obtain a correlation in the neighborhood of r = .35. Higher values are occasionally seen and lower values are very common. Nonetheless, the utility (that is the benefit obtained by making decisions using the test) provided by a test with a correlation of .35 can be quite substantial. More information, and an explanation of the relationship between variance and predictive validity, can be found here.

Прогнозная обоснованность в современной теории обоснованности

Последние стандарты образовательных и психологических тестов отражают модель валидности Сэмюэля Мессика и не используют термин "предсказательная валидность". Вместо этого стандарты описывают валидность, опирающуюся на "доказательства, основанные на взаимосвязях [между результатами теста и] другими переменными". Предсказательная валидность подразумевает тестирование группы испытуемых по определенному конструкту, а затем сравнение их результатов с данными, полученными в будущем.