Эксперимент как метод проверки гипотез

Введение

Научная процедура, выполняемая для проверки гипотезы.

Эксперимент – это процедура, проводимая для подтверждения или опровержения гипотезы, либо для определения эффективности или вероятности чего-либо, ранее не подвергавшегося испытаниям. Эксперименты позволяют получить представление о причинно-следственных связях, демонстрируя, какой результат достигается при изменении определенного фактора. Эксперименты значительно различаются по целям и масштабу, но всегда основаны на воспроизводимой процедуре и логическом анализе результатов. Существуют также естественно-научные эксперименты. Ребенок может проводить простые эксперименты, чтобы понять, как предметы падают на землю, в то время как командам ученых могут потребоваться годы систематических исследований для углубления понимания явления. Эксперименты и другие виды практической деятельности имеют большое значение для обучения студентов в классе естественных наук. Эксперименты могут повысить успеваемость и помочь студенту стать более вовлеченным и заинтересованным в изучаемом материале, особенно при их регулярном использовании. Эксперименты могут варьироваться от личных и неформальных естественных сравнений (например, дегустации различных сортов шоколада для выбора любимого) до строго контролируемых (например, тестов, требующих сложного оборудования под наблюдением многих ученых, стремящихся получить информацию о субатомных частицах). Применение экспериментов существенно различается в естественных и социальных науках. Эксперименты обычно включают в себя контрольные группы, предназначенные для минимизации влияния переменных, отличных от одной независимой переменной. Это повышает достоверность результатов, часто посредством сравнения контрольных измерений с другими измерениями. Научный контроль является частью научного метода. В идеале все переменные в эксперименте контролируются (учитываются контрольными измерениями), и ни одна из них не остается неконтролируемой. В таком эксперименте, если все элементы контроля работают должным образом, можно заключить, что эксперимент прошел успешно, и что полученные результаты обусловлены влиянием исследуемых переменных.

Обзор

В научном методе эксперимент – это эмпирическая процедура, разрешающая спор между конкурирующими моделями или гипотезами. Исследователи также используют эксперименты для проверки существующих теорий или новых гипотез с целью их подтверждения или опровержения. Эксперимент обычно проверяет гипотезу, которая представляет собой предположение о том, как работает определенный процесс или явление. Однако эксперимент может быть направлен и на ответ на вопрос "что, если", без конкретных ожиданий относительно результатов, или на подтверждение ранее полученных данных. Если эксперимент проведен тщательно, его результаты обычно либо подтверждают, либо опровергают гипотезу. Согласно некоторым философским концепциям науки, эксперимент никогда не может "доказать" гипотезу, он может лишь предоставить дополнительные аргументы в её поддержку. С другой стороны, эксперимент, предоставивший контрпример, может опровергнуть теорию или гипотезу, но теорию всегда можно скорректировать ad hoc, пожертвовав при этом её простотой. Эксперимент также должен контролировать возможные искажающие факторы – любые факторы, которые могут повлиять на точность или воспроизводимость эксперимента, или на возможность интерпретации результатов. Искажения обычно устраняются посредством научных контрольных мер и/или, в рандомизированных экспериментах, с помощью случайного распределения. В инженерных и естественных науках эксперименты являются ключевым компонентом научного метода. Они используются для проверки теорий и гипотез о том, как работают физические процессы при определенных условиях (например, способен ли конкретный инженерный процесс производить желаемое химическое соединение). Как правило, эксперименты в этих областях сосредоточены на воспроизведении идентичных процедур в надежде получить идентичные результаты при каждом воспроизведении. Случайное распределение не является распространенной практикой. В медицине и социальных науках распространенность экспериментальных исследований значительно варьируется в зависимости от дисциплины. Однако, когда они используются, эксперименты обычно проводятся в форме клинических испытаний, где экспериментальные единицы (обычно отдельные люди) случайным образом распределяются между лечебной или контрольной группой, где оцениваются один или несколько исходов. В отличие от общепринятых норм в естественных науках, основное внимание обычно уделяется среднему эффекту лечения (разнице в исходах между лечебной и контрольной группами) или другой статистической величине, полученной в ходе эксперимента. Одно исследование обычно не включает в себя повторение эксперимента, но отдельные исследования могут быть объединены посредством систематического обзора и метаанализа. В каждой области науки существуют различные особенности экспериментальной практики. Например, в сельскохозяйственных исследованиях часто используются рандомизированные эксперименты (например, для оценки сравнительной эффективности различных удобрений), в то время как экспериментальная экономика часто включает в себя экспериментальную проверку теоретизированных моделей поведения человека без использования случайного распределения участников по лечебным и контрольным группам.

In the scientific method, an experiment is an empirical procedure that arbitrates competing models or hypotheses. Researchers also use experimentation to test existing theories or new hypotheses to support or disprove them. An experiment usually tests a hypothesis, which is an expectation about how a particular process or phenomenon works. However, an experiment may also aim to answer a "what if" question, without a specific expectation about what the experiment reveals, or to confirm prior results. If an experiment is carefully conducted, the results usually either support or disprove the hypothesis. According to some philosophies of science, an experiment can never "prove" a hypothesis, it can only add support. On the other hand, an experiment that provides a counterexample can disprove a theory or hypothesis, but a theory can always be salvaged by appropriate ad hoc modifications at the expense of simplicity. An experiment must also control the possible confounding factors—any factors that would mar the accuracy or repeatability of the experiment or the ability to interpret the results. Confounding is commonly eliminated through scientific controls and/or, in randomized experiments, through random assignment. In engineering and the physical sciences, experiments are a primary component of the scientific method. They are used to test theories and hypotheses about how physical processes work under particular conditions (e. g., whether a particular engineering process can produce a desired chemical compound). Typically, experiments in these fields focus on replication of identical procedures in hopes of producing identical results in each replication. Random assignment is uncommon. In medicine and the social sciences, the prevalence of experimental research varies widely across disciplines. When used, however, experiments typically follow the form of the clinical trial, where experimental units (usually individual human beings) are randomly assigned to a treatment or control condition where one or more outcomes are assessed. In contrast to norms in the physical sciences, the focus is typically on the average treatment effect (the difference in outcomes between the treatment and control groups) or another test statistic produced by the experiment. A single study typically does not involve replications of the experiment, but separate studies may be aggregated through systematic review and meta analysis. There are various differences in experimental practice in each of the branches of science. For example, agricultural research frequently uses randomized experiments (e. g., to test the comparative effectiveness of different fertilizers), while experimental economics often involves experimental tests of theorized human behaviors without relying on random assignment of individuals to treatment and control conditions.

История

Один из первых методических подходов к экспериментам в современном смысле прослеживается в трудах арабского математика и ученого Ибн аль-Хайсама. Он проводил свои эксперименты в области оптики, возвращаясь к оптическим и математическим проблемам в работах Птолемея, и контролировал их, учитывая такие факторы, как самокритика, зависимость от наглядных результатов экспериментов, а также критическое отношение к более ранним результатам. Он был одним из первых ученых, применивших индуктивный экспериментальный метод для достижения результатов. В своей «Книге оптики» он описывает принципиально новый подход к познанию и исследованию в экспериментальном смысле:

One of the first methodical approaches to experiments in the modern sense is visible in the works of the Arab mathematician and scholar Ibn al Haytham. He conducted his experiments in the field of optics—going back to optical and mathematical problems in the works of Ptolemy—by controlling his experiments due to factors such as self criticality, reliance on visible results of the experiments as well as a criticality in terms of earlier results. He was one of the first scholars to use an inductive experimental method for achieving results. In his Book of Optics he describes the fundamentally new approach to knowledge and research in an experimental sense:

text=We should, that is, recommence the inquiry into its principles and premisses, beginning our investigation with an inspection of the things that exist and a survey of the conditions of visible objects. We should distinguish the properties of particulars, and gather by induction what pertains to the eye when vision takes place and what is found in the manner of sensation to be uniform, unchanging, manifest and not subject to doubt. After which we should ascend in our inquiry and reasonings, gradually and orderly, criticizing premisses and exercising caution in regard to conclusions—our aim in all that we make subject to inspection and review being to employ justice, not to follow prejudice, and to take care in all that we judge and criticize that we seek the truth and not to be swayed by opinion. We may in this way eventually come to the truth that gratifies the heart and gradually and carefully reach the end at which certainty appears; while through criticism and caution we may seize the truth that dispels disagreement and resolves doubtful matters. For all that, we are not free from that human turbidity which is in the nature of man; but we must do our best with what we possess of human power. From God we derive support in all things. According to his explanation, a strictly controlled test execution with a sensibility for the subjectivity and susceptibility of outcomes due to the nature of man is necessary. Furthermore, a critical view on the results and outcomes of earlier scholars is necessary:

Thus, a comparison of earlier results with the experimental results is necessary for an objective experiment—the visible results being more important. In the end, this may mean that an experimental researcher must find enough courage to discard traditional opinions or results, especially if these results are not experimental but results from a logical/ mental derivation. In this process of critical consideration, the man himself should not forget that he tends to subjective opinions—through "prejudices" and "leniency"—and thus has to be critical about his own way of building hypotheses. Francis Bacon (1561–1626), an English philosopher and scientist active in the 17th century, became an influential supporter of experimental science in the English renaissance. He disagreed with the method of answering scientific questions by deduction—similar to Ibn al Haytham—and described it as follows: "Having first determined the question according to his will, man then resorts to experience, and bending her to conformity with his placets, leads her about like a captive in a procession." Bacon wanted a method that relied on repeatable observations, or experiments. Notably, he first ordered the scientific method as we understand it today. In the centuries that followed, people who applied the scientific method in different areas made important advances and discoveries. For example, Galileo Galilei (1564–1642) accurately measured time and experimented to make accurate measurements and conclusions about the speed of a falling body. Antoine Lavoisier (1743–1794), a French chemist, used experiment to describe new areas, such as combustion and biochemistry and to develop the theory of conservation of mass (matter). Louis Pasteur (1822–1895) used the scientific method to disprove the prevailing theory of spontaneous generation and to develop the germ theory of disease. Because of the importance of controlling potentially confounding variables, the use of well designed laboratory experiments is preferred when possible. A considerable amount of progress on the design and analysis of experiments occurred in the early 20th century, with contributions from statisticians such as Ronald Fisher (1890–1962), Jerzy Neyman (1894–1981), Oscar Kempthorne (1919–2000), Gertrude Mary Cox (1900–1978), and William Gemmell Cochran (1909–1980), among others.

text=Нам следует, то есть, вновь приступить к исследованию его принципов и посылок, начиная наше исследование с изучения существующих вещей и обзора условий видимых объектов. Мы должны различать свойства отдельных явлений и посредством индукции собирать сведения о том, что относится к глазу в момент зрения, и о том, что в процессе восприятия оказывается единообразным, неизменным, очевидным и не вызывающим сомнений. После этого мы должны постепенно и последовательно продвигаться в наших исследованиях и рассуждениях, критикуя посылки и проявляя осторожность в отношении выводов – нашей целью во всем, что мы подвергаем проверке и пересмотру, должно быть стремление к справедливости, а не следование предрассудкам, и забота о том, чтобы во всем, что мы оцениваем и критикуем, искать истину, а не поддаваться влиянию мнений. Таким образом, мы можем в конечном итоге прийти к истине, которая удовлетворяет сердце, и постепенно и осторожно достичь цели, в которой воцаряется уверенность; а благодаря критике и осторожности мы можем постичь истину, которая рассеивает разногласия и разрешает сомнительные вопросы. При этом мы не свободны от человеческой подверженности ошибкам, свойственной природе человека, но должны приложить максимум усилий, используя наши возможности. Мы получаем поддержку от Бога во всем. Согласно его объяснению, необходимо строго контролировать ход испытания, учитывая субъективность и подверженность результатов влиянию человеческой природы. Кроме того, необходимо критически оценивать результаты и выводы более ранних ученых: таким образом, для объективного эксперимента необходимо сравнивать прежние результаты с экспериментальными, причем наглядные результаты имеют большее значение. В конечном итоге это может означать, что экспериментатору потребуется достаточно смелости, чтобы отвергнуть традиционные мнения или результаты, особенно если они не основаны на эксперименте, а являются следствием логических или умозрительных построений. В этом процессе критического осмысления сам исследователь не должен забывать о своей склонности к субъективным суждениям – через «предрассудки» и «снисходительность», – и, следовательно, должен критически относиться к своему собственному методу построения гипотез. Фрэнсис Бэкон (1561–1626), английский философ и ученый, активно работавший в XVII веке, стал влиятельным сторонником экспериментальной науки в эпоху английского Возрождения. Он не соглашался с методом ответа на научные вопросы посредством дедукции – подобно Ибн аль-Хайсаму – и описывал его следующим образом: «Сначала определив вопрос в соответствии со своей волей, человек затем обращается к опыту и, подчиняя его своим представлениям, ведет его, как пленника, в процессии». Бэкон стремился к методу, основанному на повторяющихся наблюдениях или экспериментах. В частности, он первым сформулировал научный метод в том виде, в котором мы понимаем его сегодня. В последующие столетия люди, применявшие научный метод в различных областях, добились важных успехов и открытий. Например, Галилео Галилей (1564–1642) точно измерял время и проводил эксперименты для получения точных измерений и выводов о скорости падающего тела. Антуан Лавуазье (1743–1794), французский химик, использовал эксперимент для описания новых областей, таких как горение и биохимия, и для разработки теории сохранения массы (вещества). Луи Пастер (1822–1895) применил научный метод для опровержения господствовавшей теории самозарождения и разработки микробной теории болезней. Ввиду важности контроля потенциально искажающих факторов, при возможности предпочтительно использовать хорошо спланированные лабораторные эксперименты. Значительный прогресс в разработке и анализе экспериментов был достигнут в начале XX века благодаря вкладу статистиков, таких как Рональд Фишер (1890–1962), Ежи Нейман (1894–1981), Оскар Кемпторн (1919–2000), Гертруда Мэри Кокс (1900–1978) и Уильям Джеммелл Кокран (1909–1980) и других.

Типы

Эксперименты могут быть классифицированы по ряду критериев, в зависимости от профессиональных норм и стандартов в различных областях исследования. В некоторых дисциплинах (например, в психологии или политологии) «истинный эксперимент» – это метод социальных исследований, в котором используются два типа переменных. Экспериментатор манипулирует независимой переменной, а зависимая переменная измеряется. Отличительной чертой истинного эксперимента является случайное распределение участников для нейтрализации предвзятости экспериментатора и обеспечение контроля над всеми посторонними факторами при большом количестве повторений эксперимента. В зависимости от дисциплины, эксперименты могут проводиться для достижения различных, но не взаимоисключающих целей: проверки теорий, поиска и описания явлений, разработки теорий или консультирования лиц, принимающих решения. Эти цели также по-разному соотносятся с вопросами валидности.

Контролируемые эксперименты

Контролируемый эксперимент часто сравнивает результаты, полученные из экспериментальных образцов, с контрольными образцами, которые практически идентичны экспериментальным, за исключением одного фактора, эффект которого исследуется (независимая переменная). Ярким примером может служить клиническое испытание лекарственного препарата. Группа, получающая препарат, является экспериментальной (лечебной группой), а группа, получающая плацебо или стандартное лечение, – контрольной. Во многих лабораторных экспериментах рекомендуется использовать несколько повторных образцов для проводимого анализа, а также положительный и отрицательный контроль. Результаты повторных образцов часто усредняют, или, если один из образцов явно не согласуется с результатами других, его отбрасывают как результат экспериментальной ошибки (возможно, на данном образце был пропущен один из этапов процедуры). Чаще всего анализы выполняют в дубликатах или трипликатах. Положительный контроль – это процедура, аналогичная фактическому экспериментальному анализу, но, исходя из предыдущего опыта, известна как дающая положительный результат. Отрицательный контроль, напротив, известен как дающий отрицательный результат. Положительный контроль подтверждает, что основные условия эксперимента способны дать положительный результат, даже если ни один из фактических экспериментальных образцов его не показывает. Отрицательный контроль демонстрирует базовый результат, получаемый, когда анализ не дает измеримого положительного результата. Значение отрицательного контроля чаще всего рассматривается как "фоновое" значение, которое вычитается из результатов анализа образца. Иногда положительный контроль соответствует точке стандартной кривой. Распространенным примером, используемым в учебных лабораториях, является контролируемый анализ содержания белка. Студентам предоставляется жидкий образец, содержащий неизвестное (для студента) количество белка. Их задача – правильно провести контролируемый эксперимент для определения концентрации белка в образце жидкости (обычно называемом "неизвестным образцом"). Учебная лаборатория оснащена стандартным раствором белка с известной концентрацией. Студенты могут приготовить несколько образцов положительного контроля, содержащих различные разведения белкового стандарта. Образцы отрицательного контроля содержат все реагенты для анализа белка, но не содержат белка. В этом примере все образцы анализируются в дубликатах. Анализ является колориметрическим, в котором спектрофотометр измеряет количество белка в образцах, обнаруживая окрашенный комплекс, образующийся при взаимодействии молекул белка и молекул добавленного красителя. На иллюстрации результаты разбавленных образцов сравниваются с результатами стандартной кривой (синяя линия на иллюстрации) для оценки количества белка в неизвестном образце. Контролируемые эксперименты можно проводить, когда сложно точно контролировать все условия эксперимента. В этом случае эксперимент начинается с создания двух или более групп образцов, которые вероятностно эквивалентны, то есть измерения характеристик должны быть схожими между группами, и группы должны реагировать одинаково при одинаковом воздействии. Эта эквивалентность определяется статистическими методами, учитывающими степень изменчивости между индивидуумами и количество индивидуумов в каждой группе. В таких областях, как микробиология и химия, где изменчивость между индивидуумами невелика, а размер группы легко достигает миллионов, эти статистические методы часто опускаются, и простое разделение раствора на равные части считается достаточным для получения идентичных групп образцов. После формирования эквивалентных групп экспериментатор стремится обрабатывать их одинаково, за исключением одной переменной, которую он хочет выделить. Эксперименты на людях требуют специальных мер предосторожности против внешних факторов, таких как эффект плацебо. Такие эксперименты обычно проводятся вслепую (double-blind), то есть ни доброволец, ни исследователь не знают, кто входит в контрольную или экспериментальную группу, пока не будут собраны все данные. Это гарантирует, что любые эффекты на добровольца обусловлены самим лечением, а не знанием о том, что он получает лечение. В экспериментах на людях исследователи могут воздействовать на испытуемого стимулом, на который он реагирует. Цель эксперимента – измерить реакцию на стимул с помощью определенного метода. При разработке экспериментов для оценки разницы между средними значениями реакций на различные воздействия применяются два или более "воздействия". Например, эксперимент по выпечке хлеба может оценить разницу в реакциях, связанных с количественными переменными, такими как соотношение воды к муке, и с качественными переменными, такими как штаммы дрожжей. Эксперимент – это этап научного метода, который помогает выбрать между двумя или более конкурирующими объяснениями, или гипотезами. Эти гипотезы предлагают причины для объяснения явления или предсказания результатов действия. Например, гипотеза "если я отпущу этот мяч, он упадет на пол" может быть проверена путем проведения эксперимента по отпусканию мяча и наблюдению за результатами. Формально гипотеза сравнивается с ее противоположностью, или нулевой гипотезой ("если я отпущу этот мяч, он не упадет на пол"). Нулевая гипотеза утверждает, что нет объяснения или прогностической силы явления в рамках исследуемого подхода. После определения гипотез проводится эксперимент, а результаты анализируются для подтверждения, опровержения или определения точности гипотез. Эксперименты также могут быть разработаны для оценки эффектов распространения на соседние необработанные единицы.

A controlled experiment often compares the results obtained from experimental samples against control samples, which are practically identical to the experimental sample except for the one aspect whose effect is being tested (the independent variable). A good example would be a drug trial. The sample or group receiving the drug would be the experimental group (treatment group); and the one receiving the placebo or regular treatment would be the control one. In many laboratory experiments it is good practice to have several replicate samples for the test being performed and have both a positive control and a negative control. The results from replicate samples can often be averaged, or if one of the replicates is obviously inconsistent with the results from the other samples, it can be discarded as being the result of an experimental error (some step of the test procedure may have been mistakenly omitted for that sample). Most often, tests are done in duplicate or triplicate. A positive control is a procedure similar to the actual experimental test but is known from previous experience to give a positive result. A negative control is known to give a negative result. The positive control confirms that the basic conditions of the experiment were able to produce a positive result, even if none of the actual experimental samples produce a positive result. The negative control demonstrates the base line result obtained when a test does not produce a measurable positive result. Most often the value of the negative control is treated as a "background" value to subtract from the test sample results. Sometimes the positive control takes the quadrant of a standard curve. An example that is often used in teaching laboratories is a controlled protein assay. Students might be given a fluid sample containing an unknown (to the student) amount of protein. It is their job to correctly perform a controlled experiment in which they determine the concentration of protein in the fluid sample (usually called the "unknown sample"). The teaching lab would be equipped with a protein standard solution with a known protein concentration. Students could make several positive control samples containing various dilutions of the protein standard. Negative control samples would contain all of the reagents for the protein assay but no protein. In this example, all samples are performed in duplicate. The assay is a colorimetric assay in which a spectrophotometer can measure the amount of protein in samples by detecting a colored complex formed by the interaction of protein molecules and molecules of an added dye. In the illustration, the results for the diluted test samples can be compared to the results of the standard curve (the blue line in the illustration) to estimate the amount of protein in the unknown sample. Controlled experiments can be performed when it is difficult to exactly control all the conditions in an experiment. In this case, the experiment begins by creating two or more sample groups that are probabilistically equivalent, which means that measurements of traits should be similar among the groups and that the groups should respond in the same manner if given the same treatment. This equivalency is determined by statistical methods that take into account the amount of variation between individuals and the number of individuals in each group. In fields such as microbiology and chemistry, where there is very little variation between individuals and the group size is easily in the millions, these statistical methods are often bypassed and simply splitting a solution into equal parts is assumed to produce identical sample groups. Once equivalent groups have been formed, the experimenter tries to treat them identically except for the one variable that he or she wishes to isolate. Human experimentation requires special safeguards against outside variables such as the placebo effect. Such experiments are generally double blind, meaning that neither the volunteer nor the researcher knows which individuals are in the control group or the experimental group until after all of the data have been collected. This ensures that any effects on the volunteer are due to the treatment itself and are not a response to the knowledge that he is being treated. In human experiments, researchers may give a subject (person) a stimulus that the subject responds to. The goal of the experiment is to measure the response to the stimulus by a test method. In the design of experiments, two or more "treatments" are applied to estimate the difference between the mean responses for the treatments. For example, an experiment on baking bread could estimate the difference in the responses associated with quantitative variables, such as the ratio of water to flour, and with qualitative variables, such as strains of yeast. Experimentation is the step in the scientific method that helps people decide between two or more competing explanations—or hypotheses. These hypotheses suggest reasons to explain a phenomenon or predict the results of an action. An example might be the hypothesis that "if I release this ball, it will fall to the floor": this suggestion can then be tested by carrying out the experiment of letting go of the ball, and observing the results. Formally, a hypothesis is compared against its opposite or null hypothesis ("if I release this ball, it will not fall to the floor"). The null hypothesis is that there is no explanation or predictive power of the phenomenon through the reasoning that is being investigated. Once hypotheses are defined, an experiment can be carried out and the results analysed to confirm, refute, or define the accuracy of the hypotheses. Experiments can be also designed to estimate spillover effects onto nearby untreated units.

Естественные эксперименты

Термин "эксперимент" обычно подразумевает контролируемый эксперимент, но иногда контролируемые эксперименты оказываются чрезмерно сложными, невозможными, неэтичными или незаконными. В таких случаях исследователи прибегают к естественным экспериментам или квазиэкспериментам. Естественные эксперименты основываются исключительно на наблюдениях за переменными изучаемой системы, а не на манипулировании одной или несколькими переменными, как это делается в контролируемых экспериментах. По возможности, они стремятся собирать данные таким образом, чтобы можно было определить вклад всех переменных, и чтобы эффекты изменения определенных переменных оставались приблизительно постоянными, позволяя выявить влияние других переменных. Степень, в которой это возможно, зависит от наблюдаемой корреляции между объясняющими переменными в собранных данных. Когда эти переменные слабо коррелируют, естественные эксперименты могут приближаться по мощности к контролируемым. Однако, как правило, некоторая корреляция между ними все же присутствует, что снижает надежность естественных экспериментов по сравнению с результатами, которые можно было бы получить при проведении контролируемого эксперимента. Кроме того, поскольку естественные эксперименты обычно проводятся в неконтролируемых условиях, переменные из неучтенных источников не измеряются и не поддерживаются постоянными, что может приводить к ложным корреляциям в изучаемых переменных. Значительная часть исследований в различных научных дисциплинах, включая экономику, географию человека, археологию, социологию, культурную антропологию, геологию, палеонтологию, экологию, метеорологию и астрономию, опирается на квазиэксперименты. Например, в астрономии очевидно невозможно, при проверке гипотезы "Звезды – это коллапсирующие облака водорода", начать с гигантского облака водорода и затем ждать несколько миллиардов лет, пока оно превратится в звезду. Однако, наблюдая различные облака водорода в разных стадиях коллапса и другие следствия гипотезы (например, наличие различных спектральных излучений в свете звезд), мы можем собрать необходимые данные для ее подтверждения. Ранним примером такого рода эксперимента стала первая проверка в XVII веке, установившая, что свет не распространяется мгновенно, а имеет измеримую скорость. Наблюдения за появлением спутников Юпитера показывали небольшую задержку, когда Юпитер находился дальше от Земли, по сравнению со случаями, когда он был ближе; это явление было использовано для демонстрации того, что разница во времени появления спутников соответствовала измеримой скорости света.

The term "experiment" usually implies a controlled experiment, but sometimes controlled experiments are prohibitively difficult, impossible, unethical or illegal. In this case researchers resort to natural experiments or quasi experiments. Natural experiments rely solely on observations of the variables of the system under study, rather than manipulation of just one or a few variables as occurs in controlled experiments. To the degree possible, they attempt to collect data for the system in such a way that contribution from all variables can be determined, and where the effects of variation in certain variables remain approximately constant so that the effects of other variables can be discerned. The degree to which this is possible depends on the observed correlation between explanatory variables in the observed data. When these variables are not well correlated, natural experiments can approach the power of controlled experiments. Usually, however, there is some correlation between these variables, which reduces the reliability of natural experiments relative to what could be concluded if a controlled experiment were performed. Also, because natural experiments usually take place in uncontrolled environments, variables from undetected sources are neither measured nor held constant, and these may produce illusory correlations in variables under study. Much research in several science disciplines, including economics, human geography, archaeology, sociology, cultural anthropology, geology, paleontology, ecology, meteorology, and astronomy, relies on quasi experiments. For example, in astronomy it is clearly impossible, when testing the hypothesis "Stars are collapsed clouds of hydrogen", to start out with a giant cloud of hydrogen, and then perform the experiment of waiting a few billion years for it to form a star. However, by observing various clouds of hydrogen in various states of collapse, and other implications of the hypothesis (for example, the presence of various spectral emissions from the light of stars), we can collect data we require to support the hypothesis. An early example of this type of experiment was the first verification in the 17th century that light does not travel from place to place instantaneously, but instead has a measurable speed. Observation of the appearance of the moons of Jupiter were slightly delayed when Jupiter was farther from Earth, as opposed to when Jupiter was closer to Earth; and this phenomenon was used to demonstrate that the difference in the time of appearance of the moons was consistent with a measurable speed.

Полевые эксперименты

Полевые эксперименты получили свое название, чтобы отличать их от лабораторных экспериментов, в которых научный контроль обеспечивается путем проверки гипотезы в искусственной и строго контролируемой среде лаборатории. Полевые эксперименты, часто используемые в социальных науках, и особенно в экономических исследованиях образовательных и медицинских вмешательств, имеют преимущество в том, что результаты наблюдаются в естественных условиях, а не в искусственно созданной лабораторной обстановке. По этой причине полевые эксперименты иногда считаются обладающими большей внешней валидностью, чем лабораторные эксперименты. Однако, как и естественные эксперименты, полевые эксперименты подвержены риску искажения результатов: экспериментальные условия можно контролировать с большей точностью и надежностью в лаборатории. Тем не менее, некоторые явления (например, явка избирателей на выборах) сложно изучать в лабораторных условиях.

Наблюдательные исследования

Наблюдательное исследование используется, когда непрактично, неэтично или экономически нецелесообразно (либо по иным причинам неэффективно) поместить физическую или социальную систему в лабораторные условия, полностью контролировать вмешивающиеся факторы или применять случайное распределение. Оно также может быть использовано, когда вмешивающиеся факторы ограничены или достаточно хорошо известны для анализа данных с их учетом (хотя это может быть редко при изучении социальных явлений). Для обеспечения достоверности наблюдательной науки экспериментатор должен знать и учитывать вмешивающиеся факторы. В таких ситуациях наблюдательные исследования ценны, поскольку они часто позволяют сформулировать гипотезы, которые можно проверить с помощью рандомизированных экспериментов или путем сбора новых данных. Однако фундаментально наблюдательные исследования не являются экспериментами. По определению, в наблюдательных исследованиях отсутствует манипуляция, необходимая для экспериментов в духе Бэкона. Кроме того, наблюдательные исследования (например, в биологических или социальных системах) часто включают переменные, которые трудно поддаются количественной оценке или контролю. Наблюдательные исследования ограничены из-за отсутствия статистических свойств, присущих рандомизированным экспериментам. В рандомизированном эксперименте метод рандомизации, указанный в экспериментальном протоколе, определяет статистический анализ, который, как правило, также определяется экспериментальным протоколом. Без статистической модели, отражающей объективную рандомизацию, статистический анализ опирается на субъективную модель. Фактически, существуют случаи, когда тщательно проведенные наблюдательные исследования последовательно дают неверные результаты, то есть результаты наблюдательных исследований оказываются противоречивыми и отличаются от результатов экспериментов. Например, эпидемиологические исследования колоректального рака последовательно демонстрируют положительную корреляцию с потреблением брокколи, в то время как эксперименты не выявляют никакой пользы. Особая проблема наблюдательных исследований с участием людей заключается в значительной трудности достижения справедливого сравнения между методами лечения (или воздействиями), поскольку такие исследования подвержены систематической ошибке отбора, а группы, получающие различные методы лечения (воздействия), могут существенно различаться по своим сопутствующим факторам (возраст, рост, вес, принимаемые лекарства, физическая активность, состояние питания, этническая принадлежность, семейный анамнез и т. д.). Напротив, рандомизация предполагает, что для каждого сопутствующего фактора среднее значение для каждой группы ожидается одинаковым. Для любого рандомизированного исследования, конечно, ожидается некоторая вариабельность относительно среднего, но рандомизация гарантирует, что экспериментальные группы будут иметь близкие средние значения благодаря центральной предельной теореме и неравенству Маркова. При недостаточной рандомизации или небольшом размере выборки систематические различия в сопутствующих факторах между группами лечения (или группами воздействия) затрудняют отделение эффекта лечения (воздействия) от эффектов других сопутствующих факторов, большинство из которых не были измерены. Математические модели, используемые для анализа таких данных, должны учитывать каждый различающийся сопутствующий фактор (если он измерен), и результаты не имеют смысла, если сопутствующий фактор не был рандомизирован и не включен в модель. Чтобы избежать условий, которые делают эксперимент гораздо менее полезным, врачи, проводящие клинические испытания для одобрения Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США, количественно оценивают и рандомизируют идентифицируемые сопутствующие факторы. Исследователи пытаются уменьшить систематические ошибки наблюдательных исследований с помощью методов сопоставления, таких как сопоставление по вероятности склонности, для которых требуются большие популяции испытуемых и обширная информация о сопутствующих факторах. Однако сопоставление по вероятности склонности больше не рекомендуется в качестве метода, поскольку оно может увеличивать, а не уменьшать систематическую ошибку. Результаты также количественно оцениваются, когда это возможно (плотность костной ткани, количество определенных клеток или веществ в крови, физическая сила или выносливость и т. д.), а не основываются на мнении субъекта или профессионального наблюдателя. Таким образом, дизайн наблюдательного исследования может сделать результаты более объективными и, следовательно, более убедительными.

An observational study is used when it is impractical, unethical, cost prohibitive (or otherwise inefficient) to fit a physical or social system into a laboratory setting, to completely control confounding factors, or to apply random assignment. It can also be used when confounding factors are either limited or known well enough to analyze the data in light of them (though this may be rare when social phenomena are under examination). For an observational science to be valid, the experimenter must know and account for confounding factors. In these situations, observational studies have value because they often suggest hypotheses that can be tested with randomized experiments or by collecting fresh data. Fundamentally, however, observational studies are not experiments. By definition, observational studies lack the manipulation required for Baconian experiments. In addition, observational studies (e. g., in biological or social systems) often involve variables that are difficult to quantify or control. Observational studies are limited because they lack the statistical properties of randomized experiments. In a randomized experiment, the method of randomization specified in the experimental protocol guides the statistical analysis, which is usually specified also by the experimental protocol. Without a statistical model that reflects an objective randomization, the statistical analysis relies on a subjective model. In fact, there are several cases where carefully conducted observational studies consistently give wrong results, that is, where the results of the observational studies are inconsistent and also differ from the results of experiments. For example, epidemiological studies of colon cancer consistently show beneficial correlations with broccoli consumption, while experiments find no benefit. A particular problem with observational studies involving human subjects is the great difficulty attaining fair comparisons between treatments (or exposures), because such studies are prone to selection bias, and groups receiving different treatments (exposures) may differ greatly according to their covariates (age, height, weight, medications, exercise, nutritional status, ethnicity, family medical history, etc.). In contrast, randomization implies that for each covariate, the mean for each group is expected to be the same. For any randomized trial, some variation from the mean is expected, of course, but the randomization ensures that the experimental groups have mean values that are close, due to the central limit theorem and Markov's inequality. With inadequate randomization or low sample size, the systematic variation in covariates between the treatment groups (or exposure groups) makes it difficult to separate the effect of the treatment (exposure) from the effects of the other covariates, most of which have not been measured. The mathematical models used to analyze such data must consider each differing covariate (if measured), and results are not meaningful if a covariate is neither randomized nor included in the model. To avoid conditions that render an experiment far less useful, physicians conducting medical trials—say for U. S. Food and Drug Administration approval—quantify and randomize the covariates that can be identified. Researchers attempt to reduce the biases of observational studies with matching methods such as propensity score matching, which require large populations of subjects and extensive information on covariates. However, propensity score matching is no longer recommended as a technique because it can increase, rather than decrease, bias. Outcomes are also quantified when possible (bone density, the amount of some cell or substance in the blood, physical strength or endurance, etc.) and not based on a subject's or a professional observer's opinion. In this way, the design of an observational study can render the results more objective and therefore, more convincing.

Этика

Помещая распределение независимой переменной (ых) под контроль исследователя, эксперимент – особенно при работе с участием людей – порождает потенциальные этические вопросы, такие как баланс между пользой и вредом, справедливое распределение вмешательств (например, методов лечения заболеваний) и получение информированного согласия. Например, в психологии или здравоохранении неэтично предоставлять пациентам лечение более низкого качества. Поэтому этические комитеты должны останавливать клинические испытания и другие эксперименты, если новая методика лечения не демонстрирует эффективности, сопоставимой с текущими лучшими практиками. Как правило, также неэтично (и часто незаконно) проводить рандомизированные эксперименты для изучения эффектов некачественных или вредных методов лечения, например, влияния употребления мышьяка на здоровье человека. Для понимания последствий подобных воздействий ученые иногда используют обсервационные исследования для изучения влияния этих факторов. Даже когда экспериментальные исследования не связаны непосредственно с людьми, они все равно могут вызывать этические опасения. Например, ядерные испытания, проведенные в рамках Манхэттенского проекта, подразумевали использование ядерных реакций для причинения вреда людям, хотя в самих экспериментах непосредственного участия людей не было.