Эффект ожиданий исследователя: когнитивные искажения в эксперименте.
Observer-expectancy effect
Эффект ожидания экспериментатора: когнитивные искажения исследователя влияют на результаты. Как избежать предвзятости и повысить валидность исследования?
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Когнитивные искажения экспериментального субъекта
Cognitive bias of experimental subject
Эффект ожидания наблюдателя (также называемый эффектом ожидания экспериментатора, искажением ожиданий, эффектом наблюдателя или эффектом экспериментатора) — это форма реактивности, при которой когнитивные искажения исследователя приводят к подсознательному влиянию на участников эксперимента. Подтверждающее искажение может привести к неверной интерпретации результатов исследователем из-за тенденции искать информацию, подтверждающую его гипотезу, и игнорировать информацию, противоречащую ей. Это серьезная угроза внутренней валидности исследования и поэтому обычно контролируется с помощью двойного слепого экспериментального дизайна. Оно может включать сознательное или бессознательное влияние на поведение испытуемых, включая создание характеристик, формирующих ожидания, которые влияют на испытуемых, а также искажение или выборочную фиксацию самих экспериментальных результатов.
The observer expectancy effect (also called the experimenter expectancy effect, expectancy bias, observer effect, or experimenter effect) is a form of reactivity in which a researcher's cognitive bias causes them to subconsciously influence the participants of an experiment. Confirmation bias can lead to the experimenter interpreting results incorrectly because of the tendency to look for information that conforms to their hypothesis, and overlook information that argues against it. It is a significant threat to a study's internal validity, and is therefore typically controlled using a double blind experimental design. It may include conscious or unconscious influences on subject behavior including creation of demand characteristics that influence subjects, and altered or selective recording of experimental results themselves.
Обзор
Экспериментатор может привнести когнитивные искажения в исследование, в частности, в эффекте ожидания наблюдателя. Экспериментатор может тонко передавать свои ожидания относительно результатов исследования участникам, заставляя их изменять свое поведение, чтобы соответствовать этим ожиданиям. Подобные эффекты смещения наблюдателя почти универсальны при интерпретации данных, полученных от людей, в условиях ожидания и при наличии несовершенных культурных и методологических норм, которые поощряют или навязывают объективность. Классическим примером предвзятости экспериментатора является случай с "Умным Гансом" – конем породы Орлов-Троттер, владелец которого, фон Остен, утверждал, что конь способен выполнять арифметические и другие задачи. Вследствие большого общественного интереса к Умному Гансу, философ и психолог Карл Штумпф вместе со своим ассистентом Оскаром Пфунгстом исследовали эти утверждения. Исключив возможность простого обмана, Пфунгст установил, что конь мог правильно отвечать даже тогда, когда фон Остен не задавал вопросы. Однако конь не мог ответить правильно, если не видел спрашивающего или если сам спрашивающий не знал правильного ответа: когда фон Остен знал ответы, Ганс отвечал правильно в 89% случаев, а когда фон Остен не знал ответов – лишь в 6% случаев. Пфунгст затем подробно изучил поведение спрашивающего и показал, что по мере приближения коня к правильному ответу, его поза и выражение лица менялись, отражая возрастающее напряжение, которое спадало, когда конь делал последний, верный удар. Это служило сигналом, который конь научился использовать как подкрепляющий сигнал для прекращения ударов. Предвзятость экспериментатора также влияет на поведение людей. В качестве примера, исследователи сравнили результаты двух групп, которым была дана одинаковая задача (оценка портретных фотографий и определение степени успешности каждого человека по шкале от -10 до 10), но с разными ожиданиями экспериментатора. В одной группе ("Группа А") экспериментаторам было предложено ожидать положительных оценок, а в другой ("Группа Б") – отрицательных. Данные, собранные в Группе А, оказались значительно и существенно более оптимистичными, чем данные, собранные в Группе Б. Исследователи предположили, что экспериментаторы давали тонкие, но понятные подсказки, которым участники подчинялись.
The experimenter may introduce cognitive bias into a study in several in the observer expectancy effect, the experimenter may subtly communicate their expectations for the outcome of the study to the participants, causing them to alter their behavior to conform to those expectations. Such observer bias effects are near universal in human data interpretation under expectation and in the presence of imperfect cultural and methodological norms that promote or enforce objectivity. The classic example of experimenter bias is that of "Clever Hans", an Orlov Trotter horse claimed by his owner von Osten to be able to do arithmetic and other tasks. As a result of the large public interest in Clever Hans, philosopher and psychologist Carl Stumpf, along with his assistant Oskar Pfungst, investigated these claims. Ruling out simple fraud, Pfungst determined that the horse could answer correctly even when von Osten did not ask the questions. However, the horse was unable to answer correctly when either it could not see the questioner, or if the questioner themselves was unaware of the correct answer: When von Osten knew the answers to the questions, Hans answered correctly 89% of the time. However, when von Osten did not know the answers, Hans guessed only 6% of questions correctly. Pfungst then proceeded to examine the behaviour of the questioner in detail, and showed that as the horse's taps approached the right answer, the questioner's posture and facial expression changed in ways that were consistent with an increase in tension, which was released when the horse made the final, correct tap. This provided a cue that the horse had learned to use as a reinforced cue to stop tapping. Experimenter bias also influences human subjects. As an example, researchers compared performance of two groups given the same task (rating portrait pictures and estimating how successful each individual was on a scale of −10 to 10), but with different experimenter expectations. In one group, ("Group A"), experimenters were told to expect positive ratings while in another group, ("Group B"), experimenters were told to expect negative ratings. Data collected from Group A was a significant and substantially more optimistic appraisal than the data collected from Group B. The researchers suggested that experimenters gave subtle but clear cues with which the subjects complied.
Профилактика
Для борьбы с предвзятостью могут использоваться методы двойного слепого исследования, при которых экспериментатор и испытуемый не знают, к какому условию относятся получаемые данные. Может показаться, что благодаря центральной предельной теореме статистики, сбор большего количества независимых измерений повысит точность оценок и, следовательно, уменьшит предвзятость. Однако это предполагает статистическую независимость измерений. В случае предвзятости экспериментатора, измерения имеют взаимосвязанную ошибку: простое усреднение таких данных не приведет к улучшению статистических показателей, а может лишь отражать корреляции между отдельными измерениями и их зависимый характер.
Double blind techniques may be employed to combat bias by causing the experimenter and subject to be ignorant of which condition data flows from. It might be thought that, due to the central limit theorem of statistics, collecting more independent measurements will improve the precision of estimates, thus decreasing bias. However, this assumes that the measurements are statistically independent. In the case of experimenter bias, the measures share correlated bias: simply averaging such data will not lead to a better statistic but may merely reflect the correlations among the individual measurements and their non independent nature.