Введение
Степень, в которой доказательство подтверждает утверждение о причинно-следственной связи.
Внутренняя валидность – это степень, в которой доказательство подтверждает утверждение о причинно-следственной связи в контексте конкретного исследования. Это одно из важнейших свойств научных исследований и важная концепция в рассуждениях об доказательствах в целом. Внутренняя валидность определяется тем, насколько хорошо исследование способно исключить альтернативные объяснения полученных результатов (обычно источники систематической ошибки или «смещения»). Она противопоставляется внешней валидности – степени, в которой результаты могут обосновывать выводы в отношении других контекстов (то есть степени обобщаемости результатов). Как внутреннюю, так и внешнюю валидность можно описать, используя качественные или количественные формы причинной нотации.
Неопределенный временный прецедент
Когда неизвестно, какая переменная изменилась первой, бывает сложно определить, какая переменная является причиной, а какая – следствием.
Сбивает с толку
Основная угроза обоснованности причинно-следственных выводов – это наличие вмешивающейся переменной: изменения в зависимой переменной могут быть скорее обусловлены колебаниями третьей переменной, которая связана с манипулируемой переменной. Если ложные связи не могут быть исключены, могут быть выдвинуты альтернативные гипотезы исходному причинно-следственному выводу.
Склонность к выбору
Смещение отбора относится к проблеме, когда до начала исследования между группами существуют различия, которые могут взаимодействовать с независимой переменной и, таким образом, быть причиной наблюдаемого результата. Исследователи и участники привносят в эксперимент множество характеристик, как приобретенных, так и врожденных. Например, пол, вес, цвет волос, глаз и кожи, личностные качества, умственные и физические способности, а также установки, такие как мотивация или готовность к участию. В процессе отбора участников, если в группах неравномерно представлены испытуемые с похожими характеристиками, связанными с изучаемым явлением, возникает угроза внутренней валидности исследования. Например, исследователь сформировал две группы – экспериментальную и контрольную. Участники в обеих группах различаются по независимой переменной, но схожи по одной или нескольким характеристикам, связанным с изучаемым явлением. Самоотбор также негативно влияет на интерпретацию результатов зависимой переменной. Это часто встречается в онлайн-опросах, где представители определенных демографических групп участвуют в исследовании чаще, чем другие.
История
События, происходящие вне исследования/эксперимента или между повторными измерениями зависимой переменной, могут повлиять на ответы участников на экспериментальные процедуры. Зачастую, это масштабные события (стихийные бедствия, политические изменения и т.п.), которые влияют на взгляды и поведение участников таким образом, что становится невозможно определить, связано ли какое-либо изменение зависимых показателей с независимой переменной или с историческим событием.
Срок созревания
Субъекты могут меняться в течение всего эксперимента или даже между отдельными измерениями. Например, маленькие дети могут взрослеть, и их способность к концентрации может изменяться с возрастом. Как постоянные изменения, такие как физический рост, так и временные, например усталость, предоставляют "естественные" альтернативные объяснения; таким образом, они могут повлиять на то, как субъект отреагирует на независимую переменную. Следовательно, по завершении исследования исследователь может оказаться не в состоянии определить, вызваны ли расхождения временем или именно независимой переменной.
Повторное тестирование (также называемое эффектом тестирования)
Повторные измерения участников могут приводить к систематической ошибке. Участники могут запомнить правильные ответы или выработать привычку понимать, что их тестируют. Повторное прохождение (одинаковых или похожих) тестов на интеллект обычно приводит к увеличению результатов, но вместо того, чтобы заключать, что базовые навыки необратимо изменились, эта угроза внутренней валидности предлагает правдоподобную альтернативную гипотезу.
Изменение инструмента (инструментальность)
Прибор, используемый в процессе тестирования, может повлиять на ход эксперимента. Это также относится к наблюдателям, которые могут быть более сконцентрированы или предвзяты, либо неосознанно изменить критерии, используемые для оценки. Проблема может возникнуть и при использовании самоотчетов, полученных в разное время. В этом случае влияние можно уменьшить с помощью ретроспективного предтестирования. Любые изменения в используемых инструментах или методах могут поставить под сомнение внутреннюю валидность основного вывода, поскольку появляются альтернативные объяснения.
Регрессия к среднему значению
Этот тип ошибки возникает, когда испытуемые отбираются на основе крайних значений (значительно отличающихся от среднего) при тестировании. Например, если для участия в курсе чтения выбирают детей с самыми низкими результатами, улучшение в конце курса может быть обусловлено регрессией к среднему, а не эффективностью курса. Если бы этих детей повторно протестировали до начала курса, они, вероятно, показали бы лучшие результаты и без него. Аналогично, отдельные экстремальные выбросы вероятнее всего будут зафиксированы при однократном тестировании, но при повторных измерениях, скорее всего, будут приближаться к нормальному распределению.
Смертность/дифференциальное истощение
Эта ошибка возникает, если выводы делаются на основе только тех участников, которые участвовали в исследовании от начала до конца. Однако участники могли выбыть из исследования до его завершения, и, возможно, даже из-за самого исследования, программы или эксперимента. Например, процент участников группы, бросивших курить после тестирования, оказался значительно выше в группе, получившей программу обучения отказу от курения, чем в контрольной группе. Однако в экспериментальной группе программу завершили только 60% участников. Если этот отсев систематически связан с каким-либо аспектом исследования, воздействием независимой переменной, используемыми инструментами, или если выбывание приводит к существенным искажениям между группами, возникает целый ряд альтернативных объяснений наблюдаемых различий.
Взаимодействие отбора и созревания
Это происходит, когда взаимодействуют признаки, связанные с субъектом – цвет волос, цвет кожи и т.п., и признаки, связанные со временем – возраст, физический размер и т.п. Если между двумя группами возникает расхождение в ходе тестирования, это может быть связано с разницей в возрасте между возрастными категориями.
Диффузия
Если эффекты вмешательства распространяются из экспериментальных групп на контрольные, может наблюдаться отсутствие различий между экспериментальной и контрольной группами. Однако это не означает, что независимая переменная не оказывает влияния или что между зависимой и независимой переменными отсутствует связь.
Компенсационное соперничество/неприятное деморализование
Поведение в контрольных группах может измениться в ходе исследования. Например, участники контрольной группы могут приложить дополнительные усилия, чтобы не допустить демонстрации ожидаемого превосходства экспериментальной группы. Однако это не означает, что независимая переменная не оказала никакого влияния или что между зависимой и независимой переменными отсутствует связь. Напротив, изменения в зависимой переменной могут быть обусловлены исключительно демотивацией контрольной группы, снижением её усердия или мотивации, а не воздействием независимой переменной.
Предвзятость экспериментатора
Предвзятость экспериментатора возникает, когда исследователи, проводящие эксперимент, неосознанно влияют на его результаты, по-разному взаимодействуя с участниками контрольной и экспериментальной групп. Возможность предвзятости экспериментатора можно устранить, используя двойные слепые исследования, в которых экспериментатор не знает, к какой группе принадлежит испытуемый.
Проблема взаимной внутренней действительности
Эксперименты с высокой внутренней валидностью могут порождать явления и результаты, не имеющие значения в реальной жизни, что приводит к проблеме взаимной внутренней валидности. Она возникает, когда исследователи используют результаты экспериментов для разработки теорий, а затем эти теории – для разработки экспериментов, направленных на проверку этих теорий. Такая взаимная связь между экспериментами и теориями может привести к созданию теорий, объясняющих лишь явления и результаты, полученные в искусственных лабораторных условиях, но не в реальной жизни.