Смещение ответов в исследованиях: причины и влияние.

Введение

Тип предвзятости

Предвзятость в ответах – это общий термин, обозначающий широкий спектр тенденций участников давать неточные или ложные ответы на вопросы. Эти предвзятости распространены в исследованиях, основанных на самоотчетах участников, таких как структурированные интервью или опросы. Предвзятость в ответах может существенно влиять на валидность анкет и опросов. Она может быть вызвана множеством факторов, связанных с тем, что люди не реагируют на стимулы пассивно, а активно интегрируют различные источники информации для формирования ответа в конкретной ситуации. В связи с этим практически любой аспект экспериментальной ситуации потенциально может повлиять на респондента. Примеры включают формулировку вопросов в опросах, манеру поведения исследователя, способ проведения эксперимента или стремление участника казаться хорошим испытуемым и давать социально одобряемые ответы. Все эти "артефакты" исследований, основанных на опросах и самоотчетах, могут потенциально снизить валидность измерения или исследования. Из-за предвзятости в ответах существует вероятность того, что некоторые результаты исследования обусловлены систематической предвзятостью, а не предполагаемым эффектом, что может оказать значительное влияние на психологические и другие виды исследований с использованием анкет или опросов. Это означает, что влияние предвзятости в ответах представляет собой случайный шум, который нивелируется при достаточном количестве участников в исследовании. Некоторые исследователи утверждают, что, хотя существует обширная литература, указывающая на влияние предвзятости в ответах на ответы участников, эти исследования не предоставляют эмпирических доказательств этого. Другая группа возражает против точки зрения Хаймана, утверждая, что предвзятость в ответах оказывает значительное влияние, и исследователям необходимо принимать меры для ее снижения, чтобы проводить качественные исследования. Другие исследователи обнаружили, что возникают серьезные проблемы, когда ответы на опрос или анкету могут казаться желательными или нежелательными для сообщения, и что ответы человека на определенные вопросы могут быть предвзятыми в зависимости от его культуры. Кроме того, существует поддержка идеи о том, что само участие в эксперименте может существенно повлиять на поведение участников, тем самым искажая любые их действия в исследовательской или экспериментальной обстановке при самоотчете. В поддержку важности предвзятости в ответах, многие исследования, опровергающие ее значимость, сообщают о многочисленных методологических проблемах. Например, они используют крайне малые выборки, не репрезентативные для генеральной совокупности, рассматривают лишь небольшое подмножество потенциальных переменных, на которые может повлиять предвзятость в ответах, а измерения проводятся по телефону с использованием нечетко сформулированных утверждений. Эта предвзятость в ответах может быть формой неискренности, поскольку участник автоматически соглашается с любыми утверждениями, даже если они противоречат друг другу. Например, участника могут спросить, согласен ли он с утверждением: "Я предпочитаю проводить время с другими", а затем, позже в опросе, он также соглашается с утверждением: "Я предпочитаю проводить время в одиночестве", которые являются взаимоисключающими. Это специфическая проблема для исследований, основанных на самоотчетах, поскольку она не позволяет исследователю получить точные данные из вопросов, требующих от участника согласия или несогласия с утверждениями. Это означает, что если исследователь надеялся изучить определенную черту с помощью анкеты, половина вопросов будет требовать ответа "да" для выявления этой черты, а другая половина – "нет". Это распространенная предвзятость в методологии качественных исследований. В исследовании, посвященном неуважительному и жестокому обращению во время родов в медицинских учреждениях, предвзятость в отношении вежливости была выявлена как одна из причин возможного недооценивания таких случаев в больницах и клиниках. Были получены доказательства того, что некоторые культуры особенно склонны к предвзятости в отношении вежливости, что приводит респондентов к тому, чтобы говорить то, что, по их мнению, хочет услышать опрашивающий. Эта предвзятость была обнаружена в азиатских и испаноязычных культурах. Предвзятость в отношении вежливости является аналогичным термином, используемым для описания людей в Восточной Азии, которые часто демонстрируют склонность к соглашательству. Как и при сборе любых данных, предвзятость в отношении вежливости вызывает опасения при проведении телефонных опросов. Предпринимались попытки создать благоприятную атмосферу для интервью, чтобы минимизировать предвзятость в отношении вежливости. Необходимо подчеркнуть, что как положительный, так и отрицательный опыт важны для демонстрации, чтобы улучшить обучение и максимально снизить предвзятость.

Response bias is a general term for a wide range of tendencies for participants to respond inaccurately or falsely to questions. These biases are prevalent in research involving participant self report, such as structured interviews or surveys. Response biases can have a large impact on the validity of questionnaires or surveys. Response bias can be induced or caused by numerous factors, all relating to the idea that human subjects do not respond passively to stimuli, but rather actively integrate multiple sources of information to generate a response in a given situation. Because of this, almost any aspect of an experimental condition may potentially bias a respondent. Examples include the phrasing of questions in surveys, the demeanor of the researcher, the way the experiment is conducted, or the desires of the participant to be a good experimental subject and to provide socially desirable responses may affect the response in some way. All of these "artifacts" of survey and self report research may have the potential to damage the validity of a measure or study. Because of response bias, it is possible that some study results are due to a systematic response bias rather than the hypothesized effect, which can have a profound effect on psychological and other types of research using questionnaires or surveys. This would mean that the impact of response bias is random noise, which washes out if enough participants are included in the study. These researchers hold that although there is significant literature identifying response bias as influencing the responses of study participants, these studies do not in fact provide empirical evidence that this is the case. The second group argues against Hyman's point, saying that response bias has a significant effect, and that researchers need to take steps to reduce response bias in order to conduct sound research. Other researchers have found that there are serious issues when responses to a given survey or questionnaire have responses that may seem desirable or undesirable to report, and that a person's responses to certain questions can be biased by their culture. Additionally, there is support for the idea that simply being part of an experiment can have dramatic effects on how participants act, thus biasing anything that they may do in a research or experimental setting when it comes to self reporting. To add strength to the claims of those who argue the importance of response bias, many of the studies that reject the significance of response bias report multiple methodological issues in their studies. For example, they have extremely small samples that are not representative of the population as a whole, they only considered a small subset of potential variables that could be affected by response bias, and their measurements were conducted over the phone with poorly worded statements. This bias in responding may represent a form of dishonest reporting because the participant automatically endorses any statements, even if the result is contradictory responses. For example, a participant could be asked whether they endorse the following statement, "I prefer to spend time with others" but then later on in the survey also endorses "I prefer to spend time alone," which are contradictory statements. This is a distinct problem for self report research because it does not allow a researcher to understand or gather accurate data from any type of question that asks for a participant to endorse or reject statements. This means that if a researcher was hoping to examine a certain trait with a given questionnaire, half of the questions would have a "yes" response to identify the trait, and the other half would have a "no" response to identify the trait. It is a common bias in qualitative research methodology. In a study on disrespect and abuse during facility based childbirth, courtesy bias was found to be one of the causes of potential underreporting of those behaviors at hospitals and clinics. Evidence has been found that some cultures are especially prone to the courtesy bias, leading respondents to say what they believe the questioner wants to hear. This bias has been found in Asian and in Hispanic cultures. Courtesy bias has been found to be a similar term referring to people in East Asia, who frequently tend to exhibit acquiescence bias. As with most data collection, courtesy bias has been found to be a concern from the phone survey respondents. Attempts were made to create a good interview environment in order to minimize courtesy bias. An emphasis is needed that both positive and negative experiences must be important to showcase to enhance learning and minimize the bias as much as possible.

Характеристики спроса

Характеристики спроса относятся к типу систематической ошибки, когда участники изменяют свои ответы или поведение просто потому, что участвуют в эксперименте. Исследования показывают, что участники вступают в определенный вид социального взаимодействия во время эксперимента, и это взаимодействие побуждает их сознательно и бессознательно менять свое поведение. Таким образом, стремясь к продуктивному участию, испытуемый может попытаться узнать о гипотезе, проверяемой в эксперименте, и изменить свое поведение, чтобы поддержать эту гипотезу. Орн описал это изменение, утверждая, что эксперимент может восприниматься участником как задача, и его цель – найти решение этой задачи, то есть вести себя таким образом, чтобы подтвердить гипотезу экспериментатора. После этого необходимо провести дебрифинг участников. Склонность к порядку вопросов отличается от "предвзятости порядка ответов", которая относится конкретно к порядку вариантов ответов в вопросе опроса. Существует множество способов, которыми вопросы, расположенные в начале опроса, могут влиять на ответы на последующие вопросы. Один из способов – когда вопрос создает "норму взаимности или справедливости", как было выявлено в работе Герберта Хаймана и Пола Шетсли в 1950-х годах. В своем исследовании они задали два вопроса: один о том, следует ли Соединенным Штатам разрешить репортерам из коммунистических стран приезжать в США и передавать новости по своему усмотрению, а другой – о том, следует ли коммунистической стране, такой как Россия, разрешить американским журналистам приезжать и передавать новости по своему усмотрению в Америку. В исследовании процент ответов "да" на вопрос о допуске коммунистических репортеров увеличился на 37 процентных пунктов в зависимости от порядка их представления. Аналогично, результаты по вопросу об американских репортерах увеличились на 24 процентных пункта. Когда любой из вопросов задавался вторым, контекст изменялся в зависимости от ответа на первый вопрос, и ответы на второй вопрос были более согласованы с тем, что считалось бы справедливым, исходя из предыдущего ответа. Другой способ повлиять на ответы в зависимости от порядка вопросов связан с формулировкой вопроса. Если респондента сначала спрашивают об общем интересе к теме, его ответ может быть более заинтересованным, чем если ему сначала задают технические или требующие специальных знаний вопросы по этой теме.

Demand characteristics refer to a type of response bias where participants alter their response or behavior simply because they are part of an experiment. His research points to the idea that participants enter a certain type of social interaction when engaging in an experiment, and this special social interaction drives participants to consciously and unconsciously alter their behaviors Thus, in an attempt to productively participate, the subject may try to gain knowledge of the hypothesis being tested in the experiment and alter their behavior in an attempt to support that hypothesis. Orne conceptualized this change by saying that the experiment may appear to a participant as a problem, and it is his or her job to find the solution to that problem, which would be behaving in a way that would lend support to the experimenter's hypothesis. and then debrief the participants. Question order bias is different from "response order bias" that addresses specifically the order of the set of responses within a survey question. There are many ways that questionnaire items that appear earlier in a survey can affect responses to later questions. One way is when a question creates a "norm of reciprocity or fairness" as identified in the 1950 work of Herbert Hyman and Paul Sheatsley. In their research they asked two questions. One was asked on whether the United States should allow reporters from communist countries to come to the U. S. and send back news as they saw it; and another question was asked on whether a communist country like Russia should let American newspaper reporters come in and send back news as they saw it to America. In the study, the percentage of “yes” responses to the question allowing communist reporters increased by 37 percentage points depending on the order. Similarly results for the American reporters item increased by 24 percentage points. When either of the items was asked second, the context for the item was changed as a result of the answer to the first, and the responses to the second were more in line with what would be considered fair, based on the previous response. Another way to alter the response towards questions based on order depends on the framing of the question. If a respondent is first asked about their general interest in a subject their response interest may be higher than if they are first posed technical or knowledge based questions about a subject.