Введение
Метод полевого исследования. Когнитивное предтестирование, или когнитивное интервьюирование, – это метод полевого исследования, при котором собираются данные о том, как респондент отвечает на вопросы интервью. Это оценка теста или анкеты перед его/ее применением. Он позволяет исследователям, проводящим опросы, получать обратную связь относительно ответов респондентов и используется для оценки того, измеряет ли вопрос ту конструкцию, которую намеревался измерить исследователь. Собранные данные затем используются для корректировки проблемных вопросов в анкете до проведения опроса среди всей выборки. Когнитивное интервьюирование обычно собирает следующую информацию от участников: оценки того, как респондент формулировал свои ответы; объяснения того, как респондент понимает вопросы; сообщения о любых трудностях, с которыми столкнулся респондент при ответе на вопросы; и любую другую информацию, которая проясняет контекст ответов респондента. Когнитивное предтестирование считается необходимым для проверки валидности интервью, теста или анкеты.
Cognitive pretesting, or cognitive interviewing, is a field research method where data is collected on how the subject answers interview questions. It is the evaluation of a test or questionnaire before it's administered. It allows survey researchers to collect feedback regarding survey responses and is used in evaluating whether the question is measuring the construct the researcher intends. The data collected is then used to adjust problematic questions in the questionnaire before fielding the survey to the full sample of people. Cognitive interviewing generally collects the following information from participants: evaluations on how the subject constructed their answers; explanations on what the subject interprets the questions to mean; reporting of any difficulties the subject had in answering the questions; and anything else that reveals the circumstances to the subject's answers. Cognitive pretesting is considered essential in testing the validity of an interview, test, or questionnaire.
Участники и набор
Размер выборки — очень важная тема при предварительном тестировании. Небольшие выборки из 5–15 участников распространены. Хотя некоторые исследователи считают, что оптимальный размер выборки — не менее 30 человек, а чем больше, тем лучше, современная передовая практика заключается в организации исследования в несколько этапов для повторного тестирования внесенных изменений. Например, при предварительном тестировании анкеты полезнее провести 3 этапа с 9 участниками в каждом, чем 1 этап с 27 участниками. Существует два различных способа информирования участников об анкете: предварительное тестирование с участием и незаявленное предварительное тестирование. При привлечении труднодоступных респондентов и определении характеристик респондентов с помощью целенаправленной выборки, набор участников на основе сообщества (сарафанное радио, поддержка лидеров сообщества) эффективнее, чем реклама.
Использование исследователями
Когнитивное интервью регулярно используется федеральными агентствами США, включая Бюро переписи населения, Национальный центр статистики здравоохранения (NCHS) и Бюро статистики труда. NCHS ведет базу данных американских и международных агентств, которые проводили проекты когнитивного интервью и предоставляли отчеты в их депозитарий, например Национальный научный фонд и GESIS – Институт социальных наук Лейбница. Межкультурное когнитивное интервью применяется для оценки эквивалентности вопросов анкеты и выявления источников трудностей, а также для решения проблем, связанных с переводом. В связи с различиями в стилях коммуникации и культурных нормах требуются адаптации при разработке и настройке протокола, а также при использовании вербальных зондов.
Стандарты
В октябре 2016 года Управление по бюджету и управлению США (OMB) выпустило Директиву по статистической политике № 2, Дополнение: Стандарты и рекомендации по проведению когнитивных интервью, включающую семь стандартов для когнитивных интервью, проводимых в рамках или для федеральных исследований США. Кроме того, исследователями предложена Когнитивная рамка составления отчетов об интервьюировании (CIRF), которая использует контрольный список из 10 категорий для четкого описания того, что было сделано в ходе когнитивных интервью и как выводы были сделаны на основе процедур и результатов этих интервью. Помимо этого, при управлении исследованиями с использованием когнитивных интервью рекомендуется применять подход управления проектами. Методы когнитивного интервьюирования, отбор и привлечение участников, а также подход к управлению проектами должны быть адаптированы для переведенных опросов, чтобы повысить их применимость.