Смещение наблюдателя: систематические ошибки в наблюдении и регистрации данных.

Введение

Когнитивное искажение
Предвзятость наблюдателя является одним из видов систематической ошибки выявления и определяется как любое устойчивое отклонение от объективных фактов при наблюдении и регистрации данных и информации в исследованиях. Это определение можно расширить, включив в него систематическую разницу между тем, что наблюдается в зависимости от наблюдателя, и истинным значением. Предвзятость наблюдателя – это склонность наблюдателя не видеть реальность, а интерпретировать её в соответствии со своими ожиданиями или желаниями. Это распространенное явление в повседневной жизни и серьезная проблема, с которой иногда сталкиваются в научных исследованиях. Наблюдение критически важно для научных исследований, и, следовательно, предвзятость наблюдателя также может быть значимой. Когда такая предвзятость присутствует, научные исследования могут приводить к завышению или занижению истинных значений, что ставит под сомнение достоверность результатов исследования, даже если все остальные аспекты дизайна и процедуры исследования были корректными. Данные, полученные в результате наблюдений, составляют основу значительного объема знаний. Наблюдение является методом сбора данных и относится к категории качественных методов исследования. Наблюдение обладает рядом преимуществ, включая простоту как метода сбора данных и его полезность для формулирования гипотез. В то же время, процесс наблюдения имеет множество ограничений и недостатков, таких как потенциальная ненадежность, низкая валидность и искаженное восприятие. В социологических и антропологических исследованиях широко используются включенные наблюдения, а систематическое наблюдение применяется, когда исследователям необходимо собирать данные без непосредственного взаимодействия с участниками. Наиболее распространенным методом наблюдения является естественное наблюдение, при котором испытуемые наблюдаются в их естественной среде с целью оценки поведения в условиях, свободных от вмешательства и максимально приближенных к естественным. Предвзятость наблюдателя особенно вероятна, когда у исследователя есть личная заинтересованность в результатах исследования или сильные предубеждения. В сочетании с неоднозначными исходными данными и субъективным методом оценки, эти три фактора существенно способствуют возникновению предвзятости наблюдателя.

Cognitive bias
Observer bias is one of the types of detection bias and is defined as any kind of systematic divergence from accurate facts during observation and the recording of data and information in studies. The definition can be further expanded upon to include the systematic difference between what is observed due to variation in observers, and what the true value is. Observer bias is the tendency of observers to not see what is there, but instead to see what they expect or want to see. This is a common occurrence in the everyday lives of many and is a significant problem that is sometimes encountered in scientific research and studies. Observation is critical to scientific research and activity, and as such, observer bias may be as well. When such biases exist, scientific studies can result in an over or underestimation of what is true and accurate, which compromises the validity of the findings and results of the study, even if all other designs and procedures in the study were appropriate. Observational data forms the foundation of a significant body of knowledge. Observation is a method of data collection and falls into the category of qualitative research techniques. There are a number of benefits of observation, including its simplicity as a data collection method and its usefulness for hypotheses. Simultaneously, there are many limitations and disadvantages in the observation process, including the potential lack of reliability, poor validity, and faulty perception. Participants' observations are widely used in sociological and anthropological studies, while systematic observation is used where researchers need to collect data without participants direct interactions. The most common observation method is naturalistic observation, where subjects are observed in their natural environments with the goal to assess the behaviour in an intervention free and natural setting. Observer bias is especially probable when the investigator or researcher has vested interests in the outcome of the research or has strong preconceptions. Coupled with ambiguous underlying data and a subjective scoring method, these three factors contribute heavily to the incidence of observer bias.

Примеры

Примеры предвзятости наблюдателей уходят корнями в начало 1900-х годов. Одно из первых зафиксированных проявлений очевидной предвзятости наблюдателя было замечено в 1904 году на примере "Умного Ганса". Умный Ганс – это лошадь, владелец которой, Вильгельм фон Олсон, утверждал, что она способна решать арифметические задачи. Фон Олсон задавал Умному Гансу ряд вопросов, связанных с арифметическими функциями, и лошадь, казалось, отвечала, стуча копытом по ответу, обозначенному номером. Этот случай был исследован психологом Оскаром Пфунгстом, который обнаружил, что когда лошадь приближалась к правильному количеству ударов, владелец подсознательно реагировал определенным образом, подавая Умному Гансу сигнал прекратить стучать. Однако это работало только в том случае, если владелец сам знал ответ на вопрос. Это пример предвзятости наблюдателя, поскольку ожидания фон Олсона, владельца лошади, являлись причиной действий и поведения Умного Ганса, что привело к получению ошибочных данных. Одним из наиболее известных примеров предвзятости наблюдателя являются исследования и вклад Сирила Берта, английского психолога и генетика, который утверждал о наследственности IQ. Берт верил и, таким образом, продемонстрировал это в своих исследованиях из-за предвзятости наблюдателя, что дети из семей с более низким социально-экономическим статусом, вероятно, обладают более низким уровнем когнитивных способностей по сравнению с детьми из семей с более высоким социально-экономическим статусом. Эти исследования и выводы оказали значительное влияние на систему образования в Англии в 1960-х годах, когда дети из среднего и высшего класса направлялись в элитные школы, а дети из семей с низким социально-экономическим статусом – в школы с менее привлекательными условиями. После смерти Берта дальнейшие исследования показали, что данные в исследованиях Берта были сфабрикованы, что, предположительно, было результатом его предвзятости наблюдателя и тех результатов, которые он стремился получить. Другим ключевым примером предвзятости наблюдателя является исследование 1963 года "Психология ученого: V. Три эксперимента по предвзятости экспериментатора", опубликованное исследователями Робертом Розенталем и Кермитом Л. Фоде из Университета Северной Дакоты. В этом исследовании Розенталь и Фоде дали группе из двенадцати студентов-психологов в общей сложности шестьдесят крыс для проведения экспериментов. Студентам сообщили, что у них либо "умные" крысы, выведенные для исключительно хорошего прохождения лабиринтов, либо "глупые" крысы, выведенные для плохого прохождения лабиринтов. Затем их попросили провести эксперименты с крысами и собирать данные, как они обычно это делали. Крысы помещались в лабиринты в форме буквы Т, где им приходилось бежать по центру и затем решать, повернуть налево или направо. Одна сторона лабиринта была окрашена в белый цвет, а другая – в темно-серый, и задачей крысы было всегда поворачивать к темно-серой стороне лабиринта. Крысы, которые поворачивали к темно-серой стороне лабиринта, получали награду, а крысы, которые поворачивали к белой стороне лабиринта, – нет. Студенты отслеживали, сколько раз каждая крыса поворачивала в правильную (или темно-серую) сторону лабиринта, сколько раз каждая крыса поворачивала в неправильную (или белую) сторону лабиринта и сколько времени требовалось каждой крысе для принятия решения. Они повторяли этот эксперимент десять раз в день в течение пяти дней, и в итоге обнаружили, что "умные" крысы лучше справлялись как с правильным прохождением лабиринта, так и с прохождением лабиринта за минимальное время. Однако на самом деле не было "умных" или "глупых" крыс; все эти крысы были генетически идентичны и случайным образом распределены по двум категориям. Две группы студентов должны были получить одинаковые результаты для обоих видов крыс, но не смогли этого сделать из-за предвзятости наблюдателя. Весь эффект эксперимента был вызван их ожиданиями: они ожидали, что "умные" крысы будут показывать лучшие результаты, а "глупые" крысы – худшие. Розенталь и Фоде пришли к выводу, что эти результаты были вызваны более тонкими и незначительными предвзятостями со стороны студентов. Студенты не осознавали, что по-разному относятся к крысам. Возможно, у них были немного разные критерии для определения момента, когда крысы завершили лабиринт, они могли позже запускать секундомер для "глупых" крыс или уделять больше внимания "умным" крысам в целом. Таким образом, студенты, или наблюдатели, создали видимость реального результата, который на самом деле был полностью ложным.

Examples of observer bias extend back to the early 1900's. One of the first recorded events of apparent observer bias was seen in 1904, with the case of "Clever Hans". Clever Hans was a horse whose owner, Wilhem von Olson, claimed could solve arithmetic equations. Von Olson would ask Clever Hans a series of questions involving arithmetic functions, and the horse would appear to answer by tapping its hoof with the numbered answer. This example was investigated by the psychologist Oskar Pfungst, and it was found that when the horse was nearing the correct number of taps, the owner would subconsciously react in a particular way, which signalled to Clever Hans to discontinue his tapping. This only worked, however, when the owner himself knew the answer to the question. This is an example of observer bias, due to the fact that the expectations of von Olson, the horse's owner, were the cause of Clever Hans actions and behaviours, resulting in faulty data. One of the most notorious examples of observer bias is seen in the studies and contributions of Cyril Burt, an English psychologist and geneticist who purported the heritability of IQ. Burt believed, and thus demonstrated through his research because of his observer bias, that children from families with lower socioeconomic status were likely to have lower levels of cognitive abilities when compared with that of children from families with higher socioeconomic status. Such research and findings had considerable impacts on the educational system in England throughout the 1960s, where middle and upper class children were sent to elite schools while the children from the lower socioeconomic demographic were sent to schools with less desirable traits. Following Burt's death, further research found that the data in Burt's studies was fabricated, which was presumed to be a result of his observer bias and the outcomes he was intending to find through his studies. Another key example of observer bias is a 1963 study, "Psychology of the Scientist: V. Three Experiments in Experimenter Bias", published by researchers Robert Rosenthal and Kermit L. Fode at the University of North Dakota. In this study, Rosenthal and Fode gave a group of twelve psychology students a total of sixty rats to run in some experiments. The students were told that they either had "maze bright" rats, who were bred to be exceptionally good at solving mazes, or that they had "maze dull" rats, who were bred to be poor at solving mazes. They were then asked to run experiments with the rats and collect the data as they usually would. The rats were placed in T shaped mazes where they had to run down the center and then decide to turn left or turn right. One of the sides of the maze was painted white, while the other was painted dark gray, and it was the rat's job to always turn towards the dark gray side of the maze. The rats who turned towards the dark gray side of the maze received a reward, while the rats who turned towards the white side of the maze did not. The students kept track of how many times each rat turned towards the correct (or dark gray) side of the maze, how many times each rat turned towards the incorrect (or white) side of the maze, and how long it took each rat to make a decision. They repeated this experiment ten times per day, all over the course of five days total, and in the end, they found that the "maze bright" rats were better at both correctly completing the maze and completing the maze in the fastest time. However, there were actually no "maze bright" or "maze dull" rats; these rats were all genetically identical to one another and were randomly divided into the two categories. The two groups of students should have gotten the same results for both kinds of rats, but failed to do so because of observer bias. The entire effect of the experiment was caused by their expectations: they expected that the "maze bright" rats would perform better and that the "maze dull" rats would perform worse. Rosenthal and Fode concluded that these results were caused by smaller and more subtle biases on the part of the students. The students were unaware of the fact that they were treating the rats differently. It's possible that they had slightly different criteria for when the two groups of rats finished the maze, that they had the tendency to hit the stopwatch later for the "maze dull" rats, or that they were paying more attention to the "maze bright" rats overall. In this way, the students, or the observers, created what looked like a real result, but what was, in reality, totally false.

Влияние

Данные наблюдений составляют основу значительного объема знаний. Предвзятость наблюдателя может быть существенной проблемой в медицинских исследованиях и лечении. Вероятность расхождений в наблюдениях выше, когда требуется субъективное суждение, по сравнению с наблюдением за объективными данными, где риск предвзятости наблюдателя значительно ниже. Присутствие предвзятости наблюдателя в исследованиях влияет на сам процесс сбора данных. Полученные результаты и выводы не являются точным отражением реальности из-за влияния предубеждений наблюдателей. Даже не намереваясь, наблюдатели могут подсознательно склонять исследователей к определенным результатам, что приводит к изменениям в результатах и исходах исследования. Исследователь, не предпринявший мер для снижения предвзятости наблюдателя и подверженный ее влиянию, с большей вероятностью допустит ошибочные интерпретации, что в конечном итоге приведет к неточным результатам и выводам. Исследования показали, что предвзятость наблюдателя при оценке результатов может приводить к завышению оценки эффекта лечения на одну треть – две трети, что подчеркивает значительное влияние на достоверность результатов исследований и процедур. Протоколы с маскированием и двойным слепым исследованием могут служить корректирующим механизмом для уменьшения предвзятости наблюдателя и, следовательно, повышения надежности и точности собранных данных. Слепые испытания часто необходимы для получения нормативного одобрения медицинских устройств и лекарственных препаратов, но не являются распространенной практикой в эмпирических исследованиях, несмотря на доказательства их необходимости. Например, учителя, выступающие в роли наблюдателей при проведении тестов и оценке результатов, могут иметь предвзятое мнение и заранее полагать, что мальчики покажут лучшие результаты, чем девочки, что влияет на их поведение. В дополнение к протоколам с маскированием, полезными стратегиями для снижения предвзятости наблюдателя могут быть стандартизированное обучение наблюдателей и исследователей методам регистрации результатов. Триангуляция в исследованиях подразумевает использование различных методов или источников данных для получения более полного и точного понимания изучаемого вопроса. Триангуляция значительно повышает уверенность в результатах исследования. Существует несколько способов реализации триангуляции, включая использование нескольких наблюдателей, что само по себе является формой надежности, известной как межнаблюдательная надежность, измеряемой в процентах случаев согласия между наблюдателями.

Observational data forms the foundation of a significant body of knowledge. Observer bias can be seen as a significant issue in medical research and treatment. There is greater potential for variance in observations made where subjective judgement is required, when compared with observation of objective data where there is a much lower risk of observer bias. When there is observer bias present in research and studies, the data collection itself is affected. The findings and results are not accurate representations of reality, due to the influence of the observers' biases. Although they may not intend to do so, observer bias may result in researchers subconsciously encouraging certain results, which would lead to changes in the findings and outcomes in the study. A researcher that has not taken steps to mitigate observer bias and is being influenced by their own observer bias has a higher probability of making erroneous interpretations, which ultimately will lead to inaccurate results and findings. Research has shown that in the presence of observer bias in outcome assessment, it is possible for treatment effect estimates to be exaggerated by between a third to two thirds, symbolising significant implications on the validity of the findings and results of studies and procedures. Blinded protocols and double blinded research can act as a corrective lens in terms of reducing observer bias, and thus, to increase the reliability and accuracy of the data collected. Blind trials are often required in order for the attainment of regulatory approval for medical devices and drugs, but are not common practice in empirical studies despite the research supporting its necessity. As such, the observers, being the teachers who conduct tests and evaluate the results, have a bias and preconceived belief that boys will outperform girls, which impacts on their behaviour. To complement blind or masked protocols and research, further strategies including standardised training for observers and researchers about how to record findings can be useful in the mitigation of observer bias. Triangulation in research refers to the use of a variety of methods or data sources as a means of developing a more comprehensive and accurate understanding of the subject at hand. Triangulation will considerably increase the confidence in a study tremendously. There are a few ways triangulation can occur, including the use of multiple observers, which is a form of reliability in itself called interobserver reliability, measured by the percentage of times that the observers agree.

Эффект Хоторна (эффект наблюдателя)

Предвзятость наблюдателя обычно выявляется только у самих наблюдателей, однако существует также предвзятость у тех, кого изучают. Эффект Хоторна, названный в честь серии экспериментов, проведенных Элтоном Мейо между 1924 и 1932 годами на заводе Western Electric в Хоторне, Чикаго, символизирует изменение поведения участников исследования из-за осознания факта наблюдения за ними. В ходе исследований Хоторна было обнаружено, что объемы производства в отделах увеличивались при каждом изменении условий, даже когда изменения возвращали к изначальным неблагоприятным. Испытуемым сообщили, что улучшение освещения приведет к повышению производительности, и их убеждение в положительном влиянии хорошего освещения оказало большее влияние на их поведение и результаты, чем фактический уровень освещенности. Более того, обеспечение полной анонимности ответов или данных исследования снижает вероятность изменения поведения участников из-за наблюдения за ними во время эксперимента или исследования. Кроме того, предварительное проведение исследований для установления базового уровня может помочь снизить влияние эффекта Хоторна на искажение результатов. После установления базового уровня можно оценить потенциальную предвзятость участников, возникающую в результате наблюдения. Наконец, организация последующего наблюдения может быть полезной для оценки того, сохраняется ли изменение поведения и после прекращения наблюдения.