Внешняя валидность исследования: обобщаемость и границы применимости

Введение

Степень, в которой результаты исследования могут быть обобщены.

Внешняя валидность – это обоснованность применения выводов научного исследования за пределами контекста этого исследования. Иными словами, это степень, в которой результаты исследования могут быть обобщены или перенесены на другие ситуации, людей, стимулы и моменты времени. Обобщаемость относится к применимости заранее определенной выборки к более широкой популяции, а переносимость – к применимости одной выборки к другой целевой популяции. При установлении внешней валидности исследователи обычно определяют «область охвата» исследования, которая относится к применимости или ограничениям теории или аргумента исследования. В большинстве случаев обобщаемость ограничена, когда эффект одного фактора (т.е. независимой переменной) зависит от других факторов. Следовательно, все угрозы внешней валидности можно описать как статистические взаимодействия. Некоторые примеры включают:

Взаимодействие способности и лечения: выборка может обладать определенными характеристиками, которые взаимодействуют с независимой переменной, ограничивая обобщаемость. Например, в сравнительных психотерапевтических исследованиях часто используются специфические выборки (например, добровольцы, лица с тяжелой депрессией, без сопутствующих заболеваний). Если психотерапия окажется эффективной для этих пациентов, будет ли она также эффективна для недобровольцев или лиц с легкой депрессией, или пациентов с другими сопутствующими расстройствами? Если нет, то внешняя валидность исследования будет ограничена. Взаимодействие ситуации и лечения: все специфические особенности ситуации (например, условия лечения, время, место, освещение, шум, проведение лечения, исследователь, сроки, объем и степень измерения и т.д.) исследования потенциально ограничивают обобщаемость. Взаимодействие предварительного тестирования и лечения: если причинно-следственные связи можно установить только при проведении предварительного тестирования, это также ограничивает обобщаемость результатов. Это иногда называют «сенсибилизацией», поскольку предварительное тестирование делает людей более восприимчивыми к манипуляциям в ходе лечения. Важно отметить, что внешняя валидность исследования ограничена его внутренней валидностью. Если причинно-следственный вывод, сделанный в исследовании, недействителен, то обобщения этого вывода на другие контексты также будут недействительны. Кук и Кэмпбелл провели важное различие между обобщением на определенную популяцию и обобщением на субпопуляции, определяемые различными уровнями какого-либо фонового фактора. Линч утверждал, что обобщение на значимые популяции почти невозможно, за исключением моментального снимка истории, но можно проверить, в какой степени эффект какой-либо причины на какую-либо зависимую переменную обобщается на субпопуляции, различающиеся по некоторым фоновым факторам. Для этого требуется проверить, модулируется ли исследуемый эффект лечения взаимодействием с одним или несколькими фоновыми факторами.

Разоружающие угрозы

Хотя перечисление угроз валидности может помочь исследователям избежать необоснованных обобщений, многие из этих угроз можно обезоружить или нейтрализовать систематическим образом, чтобы обеспечить валидное обобщение. В частности, экспериментальные данные, полученные в одной популяции, можно "переработать" или "перекалибровать", чтобы обойти различия между популяциями и получить валидные обобщения для второй популяции, где проведение экспериментов невозможно. Перл и Барейнбойм вывели необходимое и достаточное условие для конкретной задачи, позволяющее обеспечить валидное обобщение, и разработали алгоритмы, которые автоматически выполняют необходимую перекалибровку, когда это возможно. Это сводит проблему внешней валидности к задаче теории графов и заставило некоторых философов заключить, что проблема решена. Важным вариантом проблемы внешней валидности является смещение отбора, также известное как смещение выборки, – то есть смещение, возникающее при проведении исследований на нерепрезентативных выборках целевой популяции. Например, если клиническое исследование проводится на студентах, исследователь может захотеть узнать, применимы ли результаты ко всей популяции, где такие характеристики, как возраст, образование и доход, существенно отличаются от характеристик типичного студента. Метод Барейнбойма и Перла, основанный на графах, определяет условия, при которых можно обойти смещение выборки, и, когда эти условия выполняются, метод строит несмещенную оценку среднего причинного эффекта во всей популяции. Основное различие между обобщением на основе исследований с неправильной выборкой и обобщением между различными популяциями заключается в том, что различия между популяциями обычно обусловлены предшествующими факторами, такими как возраст или этническая принадлежность, в то время как смещение выборки часто вызвано условиями, возникающими после вмешательства, например, выбыванием пациентов из исследования или отбором пациентов по степени тяжести травмы. Когда отбор определяется факторами, возникающими после вмешательства, требуются нестандартные методы перекалибровки для обеспечения несмещенной оценки, и эти методы легко получить из графа, представляющего задачу.

Whereas enumerating threats to validity may help researchers avoid unwarranted generalizations, many of those threats can be disarmed, or neutralized in a systematic way, so as to enable a valid generalization. Specifically, experimental findings from one population can be "re processed", or "re calibrated" so as to circumvent population differences and produce valid generalizations in a second population, where experiments cannot be performed. Pearl and Bareinboim they derived a necessary and sufficient condition for a problem instance to enable a valid generalization, and devised algorithms that automatically produce the needed re calibration, whenever such exists. This reduces the external validity problem to an exercise in graph theory, and has led some philosophers to conclude that the problem is now solved. An important variant of the external validity problem deals with selection bias, also known as sampling bias—that is, bias created when studies are conducted on non representative samples of the intended population. For example, if a clinical trial is conducted on college students, an investigator may wish to know whether the results generalize to the entire population, where attributes such as age, education, and income differ substantially from those of a typical student. The graph based method of Bareinboim and Pearl identifies conditions under which sample selection bias can be circumvented and, when these conditions are met, the method constructs an unbiased estimator of the average causal effect in the entire population. The main difference between generalization from improperly sampled studies and generalization across disparate populations lies in the fact that disparities among populations are usually caused by preexisting factors, such as age or ethnicity, whereas selection bias is often caused by post treatment conditions, for example, patients dropping out of the study, or patients selected by severity of injury. When selection is governed by post treatment factors, unconventional re calibration methods are required to ensure bias free estimation, and these methods are readily obtained from the problem's
graph.

Примеры

Если возраст считается основным фактором, вызывающим изменение эффекта лечения от человека к человеку, то возрастные различия между отобранными студентами и генеральной совокупностью приведут к смещенной оценке среднего эффекта лечения в этой совокупности. Такой сдвиг можно исправить с помощью простой процедуры перевзвешивания: мы берем специфичный для возраста эффект в студенческой субпопуляции и вычисляем его среднее значение, используя распределение возраста в генеральной совокупности. Это позволит нам получить несмещенную оценку среднего эффекта лечения в популяции. Если же соответствующий фактор, отличающий изучаемую выборку от генеральной совокупности, сам по себе подвержен влиянию лечения, то потребуется другая схема перевзвешивания. Обозначив этот фактор как Z, мы снова усредняем Z-специфическое влияние X на Y в экспериментальной выборке, но теперь взвешиваем его «причинным эффектом» X на Z. Иными словами, новый вес – это доля единиц, достигших уровня Z=z, если бы лечение X=x было применено ко всей популяции. Эта интервенционная вероятность, часто обозначаемая как , иногда может быть оценена на основе наблюдательных исследований в генеральной совокупности. Типичный пример такого рода возникает, когда Z является медиатором между лечением и исходом. Например, лечение может быть препаратом, снижающим уровень холестерина, Z – уровнем холестерина, а Y – продолжительностью жизни. В этом случае Z подвержен влиянию лечения и является важным фактором, определяющим исход Y. Предположим, что испытуемые, отобранные для экспериментального исследования, как правило, имеют более высокий уровень холестерина, чем в генеральной совокупности. Чтобы оценить средний эффект препарата на выживаемость в генеральной совокупности, мы сначала вычисляем Z-специфический эффект лечения в экспериментальном исследовании, а затем усредняем его, используя в качестве весовой функции. Полученная оценка будет свободна от смещения, даже если Z и Y связаны (то есть, когда существует неучтенный общий фактор, влияющий как на Z, так и на Y). Точные условия, обеспечивающие валидность этой и других схем взвешивания, сформулированы в Bareinboim и Pearl, 2016. Попытки повысить внутреннюю валидность также могут ограничить обобщаемость результатов, и наоборот. Эта ситуация побудила многих исследователей призывать к проведению «экологически валидных» экспериментов. Под этим они подразумевают, что экспериментальные процедуры должны быть похожи на условия «реального мира». Они критикуют недостаток экологической валидности во многих лабораторных исследованиях, основанных на искусственно контролируемых и ограниченных условиях. Некоторые исследователи считают, что внешняя валидность и экологическая валидность тесно связаны, поскольку причинные выводы, основанные на экологически валидных исследовательских проектах, часто позволяют достичь более высокой степени обобщаемости, чем те, которые получены в искусственно созданной лабораторной среде. Однако это снова связано с различием между обобщением на определенную популяцию (тесно связанным с опасениями по поводу экологической валидности) и обобщением на субпопуляции, различающиеся по некоторым фоновым факторам. Некоторые результаты, полученные в экологически валидных исследовательских условиях, могут быть трудно обобщаемыми, а некоторые результаты, полученные в строго контролируемых условиях, могут претендовать на почти универсальную внешнюю валидность. Таким образом, внешняя и экологическая валидность независимы: исследование может обладать внешней валидностью, но не экологической валидностью, и наоборот.

If age is judged to be a major factor causing treatment effect to vary from individual to individual, then age differences between the sampled students and the general population would lead to a biased estimate of the average treatment effect in that population. Such bias can be corrected though by a simple re weighing procedure: We take the age specific effect in the student subpopulation and compute its average using the age distribution in the general population. This would give us an unbiased estimate of the average treatment effect in the population. If, on the other hand, the relevant factor that distinguishes the study sample from the general population is in itself affected by the treatment, then a different re weighing scheme need be invoked. Calling this factor Z, we again average the z specific effect of X on Y in the experimental sample, but now we weigh it by the "causal effect" of X on Z. In other words, the new weight is the proportion of units attaining level Z=z had treatment X=x been administered to the entire population. This interventional probability, often written , can sometimes be estimated from
observational studies in the general population. A typical example of this nature occurs when Z is a mediator between the treatment and outcome, For instance, the treatment may be a cholesterol reducing drug, Z may be cholesterol level, and Y life expectancy. Here, Z is both affected by the treatment and a major factor in determining the outcome, Y. Suppose that subjects selected for the experimental study
tend to have higher cholesterol levels than is typical in the general population. To estimate the average effect of the drug on survival in the entire population, we first compute the z specific treatment effect in the experimental study, and then average it using as a weighting function. The estimate obtained will be bias free even when Z and Y are confounded—that is, when there is an unmeasured common factor that affects both Z and Y. The precise conditions ensuring the validity of this and other weighting schemes are formulated in Bareinboim and Pearl, 2016 Attempts to increase internal validity may also limit the generalizability of the findings, and vice versa. This situation has led many researchers call for "ecologically valid" experiments. By that they mean that experimental procedures should resemble "real world" conditions. They criticize the lack of ecological validity in many laboratory based studies with a focus on artificially controlled and constricted environments. Some researchers think external validity and ecological validity are closely related in the sense that causal inferences based on ecologically valid research designs often allow for higher degrees of generalizability than those obtained in an artificially produced lab environment. However, this again relates to the distinction between generalizing to some population (closely related to concerns about ecological validity) and generalizing across subpopulations that differ on some background factor. Some findings produced in ecologically valid research settings may hardly be generalizable, and some findings produced in highly controlled settings may claim near universal external validity. Thus, external and ecological validity are independent—a study may possess external validity but not ecological validity, and vice versa.

Качественные исследования

В рамках парадигмы качественного исследования внешняя валидность заменяется понятием трансферабельности. Трансферабельность – это возможность перенесения результатов исследования в ситуации с похожими параметрами, популяциями и характеристиками.

Репликации

Основным критерием внешней валидности эксперимента является репликация — повторное проведение исследования, как правило, с разными группами испытуемых или в различных условиях. Исследователи часто используют различные методы, чтобы выяснить, получают ли они те же результаты. Когда проводится множество исследований одной и той же проблемы, результаты могут различаться. В одних исследованиях может быть обнаружен эффект от количества наблюдателей на поведение, связанное с оказанием помощи, в то время как в других — нет. Чтобы разобраться в этом, существует статистический метод, называемый мета-анализом, который усредняет результаты двух или более исследований, чтобы определить, является ли эффект независимой переменной надёжным. Мета-анализ, по сути, показывает вероятность того, что результаты многих исследований обусловлены случайностью или же независимой переменной. Если эффект от независимой переменной обнаружен только в одном из двадцати исследований, мета-анализ укажет на то, что это исследование является исключением и что, в среднем, независимая переменная не влияет на зависимую. Если независимая переменная оказывает влияние в большинстве исследований, мета-анализ, скорее всего, покажет, что в среднем она влияет на зависимую переменную. Существуют надёжные явления, которые не ограничиваются лабораторными условиями. Например, было установлено, что увеличение числа наблюдателей подавляет поведение, связанное с оказанием помощи, у разных групп людей, включая детей, студентов университетов и будущих министров; в небольших и крупных городах США; в различных условиях, таких как психологические лаборатории, городские улицы и поезда метро; и при различных типах чрезвычайных ситуаций, таких как судороги, возможные пожары, драки и аварии, а также при менее серьёзных происшествиях, например, при проколе шины. Многие из этих репликаций были проведены в реальных условиях, где люди никак не могли знать, что проводится эксперимент.