Нулевая гипотеза: отсутствие связи между явлениями.

Введение

Позиция, утверждающая отсутствие связи между двумя явлениями.

В научных исследованиях нулевая гипотеза (часто обозначаемая H0) – это утверждение об отсутствии изучаемого эффекта. Следует отметить, что термин «эффект» здесь не подразумевает причинно-следственной связи. Нулевую гипотезу также можно описать как гипотезу, в которой отсутствует связь между двумя анализируемыми наборами данных или переменными. Если нулевая гипотеза верна, то любой экспериментально наблюдаемый эффект обусловлен исключительно случайностью, отсюда и название «нулевая». В противоположность нулевой гипотезе, разрабатывается альтернативная гипотеза, утверждающая, что связь между двумя переменными существует.

Принцип

Проверка гипотез требует построения статистической модели того, как выглядели бы данные, если бы результаты определялись исключительно случайностью или случайными процессами. Гипотеза о том, что результаты обусловлены только случайностью, называется нулевой гипотезой. Модель результата случайного процесса называется распределением при нулевой гипотезе. Полученные результаты сравниваются с распределением при нулевой гипотезе, что позволяет определить вероятность получения таких результатов. Проверка гипотез осуществляется путем сбора данных и измерения вероятности конкретного набора данных (при условии истинности нулевой гипотезы) на случайно выбранной репрезентативной выборке. Нулевая гипотеза предполагает отсутствие связи между переменными в генеральной совокупности, из которой выбрана выборка. Если набор данных, полученный из случайно выбранной репрезентативной выборки, крайне маловероятен при нулевой гипотезе (то есть относится к классу наборов данных, которые наблюдаются редко), экспериментатор отвергает нулевую гипотезу, заключая, что она (вероятно) неверна. Этот класс наборов данных обычно задается с помощью тестовой статистики, предназначенной для измерения степени отклонения от нулевой гипотезы. Процедура заключается в оценке того, превышает ли наблюдаемое отклонение, измеренное тестовой статистикой, определенное пороговое значение, при котором вероятность появления более экстремального значения при нулевой гипотезе мала (обычно менее 5% или 1% для аналогичных наборов данных, в которых нулевая гипотеза верна). Если данные не противоречат нулевой гипотезе, можно сделать лишь слабый вывод: наблюдаемый набор данных не предоставляет достаточных доказательств против нулевой гипотезы. В этом случае, поскольку нулевая гипотеза может быть как истинной, так и ложной, в некоторых контекстах это интерпретируется как недостаточность данных для какого-либо заключения, а в других – как недостаточность доказательств для перехода от текущего эффективного режима к другому. Тем не менее, если эффект кажется вероятным и/или достаточно значимым, может возникнуть стимул для дальнейшего исследования, например, увеличения размера выборки. Например, определенный препарат может снизить риск сердечного приступа. Возможные нулевые гипотезы: «этот препарат не снижает риск сердечного приступа» или «этот препарат не оказывает влияния на риск сердечного приступа». Проверка гипотезы заключается в введении препарата половине участников исследовательской группы в рамках контролируемого эксперимента. Если данные демонстрируют статистически значимые изменения у людей, получающих препарат, нулевая гипотеза отвергается.

Hypothesis testing requires constructing a statistical model of what the data would look like if chance or random processes alone were responsible for the results. The hypothesis that chance alone is responsible for the results is called the null hypothesis. The model of the result of the random process is called the distribution under the null hypothesis. The obtained results are compared with the distribution under the null hypothesis, and the likelihood of finding the obtained results is thereby determined. Hypothesis testing works by collecting data and measuring how likely the particular set of data is (assuming the null hypothesis is true), when the study is on a randomly selected representative sample. The null hypothesis assumes no relationship between variables in the population from which the sample is selected. If the data set of a randomly selected representative sample is very unlikely relative to the null hypothesis (defined as being part of a class of sets of data that only rarely will be observed), the experimenter rejects the null hypothesis, concluding it (probably) is false. This class of data sets is usually specified via a test statistic, which is designed to measure the extent of apparent departure from the null hypothesis. The procedure works by assessing whether the observed departure, measured by the test statistic, is larger than a value defined, so that the probability of occurrence of a more extreme value is small under the null hypothesis (usually in less than either 5% or 1% of similar data sets in which the null hypothesis does hold). If the data do not contradict the null hypothesis, then only a weak conclusion can be made: namely, that the observed data set provides insufficient evidence against the null hypothesis. In this case, because the null hypothesis could be true or false, in some contexts this is interpreted as meaning that the data give insufficient evidence to make any conclusion, while in other contexts, it is interpreted as meaning that there is not sufficient evidence to support changing from a currently useful regime to a different one. Nevertheless, if at this point the effect appears likely and/or large enough, there may be an incentive to further investigate, such as running a bigger sample. For instance, a certain drug may reduce the risk of having a heart attack. Possible null hypotheses are "this drug does not reduce the risk of having a heart attack" or "this drug has no effect on the risk of having a heart attack". The test of the hypothesis consists of administering the drug to half of the people in a study group as a controlled experiment. If the data show a statistically significant change in the people receiving the drug, the null hypothesis is rejected.

Цели испытаний нулевой гипотезы

Существует множество типов тестов значимости для одной, двух или более выборок, для средних, дисперсий и долей, для парных или непарных данных, для различных распределений, для больших и малых выборок; все они основаны на нулевых гипотезах. Существует также как минимум четыре цели нулевых гипотез в тестах значимости: технические нулевые гипотезы используются для проверки статистических предположений. Например, остатки между данными и статистической моделью не отличаются от случайного шума. Если это верно, то нет оснований для усложнения модели. Научные нулевые гипотезы используются для непосредственного развития теории. Например, угловой момент Вселенной равен нулю. Если это не так, то теория ранней Вселенной может потребовать пересмотра. Нулевые гипотезы об однородности используются для проверки того, что несколько экспериментов дают согласованные результаты. Например, эффект лекарства на пожилых людей соответствует эффекту на взрослую популяцию в целом. Если это верно, то это укрепляет общее заключение об эффективности и упрощает рекомендации по применению. Нулевые гипотезы, утверждающие о равенстве эффектов двух или более альтернативных методов лечения, например, лекарства и плацебо, используются для снижения научных утверждений, основанных на статистическом шуме. Это наиболее распространенная нулевая гипотеза; она настолько популярна, что многие утверждения о тестах значимости подразумевают именно такие нулевые гипотезы. Отвержение нулевой гипотезы не обязательно является конечной целью теста значимости. Адекватная статистическая модель может быть связана с невозможностью отвергнуть нулевую гипотезу; модель корректируется до тех пор, пока нулевая гипотеза не перестанет отвергаться. Многочисленные применения тестов значимости были хорошо известны Фишеру, который обсуждал многие из них в своей книге, написанной за десятилетие до формального определения нулевой гипотезы. Тест статистической значимости имеет много общего с доверительным интервалом в математическом плане. Они взаимно дополняют друг друга. Результат часто считается значимым, когда есть уверенность в направлении связи (интервал не включает 0). Когда направление связи важно, статистическая значимость является достойной целью. Это также выявляет недостатки тестов значимости: результат может быть значимым без хорошей оценки силы связи; значимость может быть скромной целью. Слабая связь также может достичь значимости при достаточном объеме данных. Обычно рекомендуется сообщать как о значимости, так и о доверительных интервалах. Разнообразие применений тестов значимости ограничивает количество обобщений, которые можно сделать для всех случаев их использования.

There are many types of significance tests for one, two or more samples, for means, variances and proportions, paired or unpaired data, for different distributions, for large and small samples; all have null hypotheses. There are also at least four goals of null hypotheses for significance tests:
Technical null hypotheses are used to verify statistical assumptions. For example, the residuals between the data and a statistical model cannot be distinguished from random noise. If true, there is no justification for complicating the model. Scientific null assumptions are used to directly advance a theory. For example, the angular momentum of the universe is zero. If not true, the theory of the early universe may need revision. Null hypotheses of homogeneity are used to verify that multiple experiments are producing consistent results. For example, the effect of a medication on the elderly is consistent with that of the general adult population. If true, this strengthens the general effectiveness conclusion and simplifies recommendations for use. Null hypotheses that assert the equality of effect of two or more alternative treatments, for example, a drug and a placebo, are used to reduce scientific claims based on statistical noise. This is the most popular null hypothesis; It is so popular that many statements about significant testing assume such null hypotheses. Rejection of the null hypothesis is not necessarily the real goal of a significance tester. An adequate statistical model may be associated with a failure to reject the null; the model is adjusted until the null is not rejected. The numerous uses of significance testing were well known to Fisher who discussed many in his book written a decade before defining the null hypothesis. A statistical significance test shares much mathematics with a confidence interval. They are mutually illuminating. A result is often significant when there is confidence in the sign of a relationship (the interval does not include 0). Whenever the sign of a relationship is important, statistical significance is a worthy goal. This also reveals weaknesses of significance testing: A result can be significant without a good estimate of the strength of a relationship; significance can be a modest goal. A weak relationship can also achieve significance with enough data. Reporting both significance and confidence intervals is commonly recommended. The varied uses of significance tests reduce the number of generalizations that can be made about all applications.

Выбор нулевой гипотезы

Выбор нулевой гипотезы сопряжен с недостатком четких и последовательных рекомендаций. Фишер указал на немногочисленные ограничения при выборе гипотезы и отметил, что следует рассматривать множество нулевых гипотез, для каждой из которых возможно множество тестов. Разнообразие областей применения и целей исследования предполагает, что выбор может быть непростым. Во многих случаях формулировка теста является традиционной. Ознакомление с доступным спектром тестов может подсказать конкретную нулевую гипотезу и соответствующий тест. Формулирование нулевой гипотезы не автоматизировано (хотя вычисления для проверки статистической значимости обычно автоматизированы). Сэр Дэвид Кокс сказал: «То, как происходит перевод из предметной области в статистическую модель, зачастую является наиболее критичной частью анализа». Тест статистической значимости предназначен для проверки гипотезы. Если гипотеза обобщает имеющийся набор данных, то проверка этой гипотезы на том же наборе данных не имеет смысла. Например, если исследование отчетов о погоде за прошлый год показывает, что дожди в регионе выпадают преимущественно в выходные дни, то проверять эту нулевую гипотезу допустимо только на данных о погоде за другие годы. Проверка гипотез, вытекающих из самих данных, является логической ошибкой, не приводящей ни к каким выводам; это особое ограничение при выборе нулевой гипотезы. Стандартная процедура такова: начните с научной гипотезы, переведите ее в статистическую альтернативную гипотезу и действуйте следующим образом: «Поскольку Ha выражает эффект, для которого мы ищем доказательства, мы часто начинаем с Ha, а затем формулируем H0 как утверждение об отсутствии искомого эффекта». Эта рекомендация обратна для задач моделирования, где мы надеемся не найти доказательств против нулевой гипотезы. Приведем пример сложного случая: золотым стандартом в клинических исследованиях является рандомизированное двойное слепое плацебо-контролируемое клиническое исследование. Однако тестирование нового препарата в сравнении с (медицински неэффективным) плацебо может быть неэтичным при серьезном заболевании. Тестирование нового препарата в сравнении со старым, уже эффективным препаратом поднимает фундаментальные философские вопросы о цели исследования и мотивации исследователей. Стандартная нулевая гипотеза «отсутствие различий» может поощрить фармацевтическую компанию за сбор недостаточных данных. В данном случае нулевая гипотеза о «наличии различий» предпочтительнее, но статистическая значимость не является достаточным критерием для получения детального заключения, которое требует точной количественной оценки эффективности препарата. Даже «незначительное» или «простое» изменение в формулировке нулевой гипотезы (например, сравнение «нового» и «старого» препарата вместо сравнения «нового» и «плацебо») может существенно повлиять на полезность теста по сложным причинам, не связанным со статистикой.

The choice of the null hypothesis is associated with sparse and inconsistent advice. Fisher mentioned few constraints on the choice and stated that many null hypotheses should be considered and that many tests are possible for each. The variety of applications and the diversity of goals suggests that the choice can be complicated. In many applications the formulation of the test is traditional. A familiarity with the range of tests available may suggest a particular null hypothesis and test. Formulating the null hypothesis is not automated (though the calculations of significance testing usually are). Sir David Cox said, "How [the] translation from subject matter problem to statistical model is done is often the most critical part of an analysis". A statistical significance test is intended to test a hypothesis. If the hypothesis summarizes a set of data, there is no value in testing the hypothesis on that set of data. Example: If a study of last year's weather reports indicates that rain in a region falls primarily on weekends, it is only valid to test that null hypothesis on weather reports from any other year. Testing hypotheses suggested by the data is circular reasoning that proves nothing; It is a special limitation on the choice of the null hypothesis. A routine procedure is as follows: Start from the scientific hypothesis. Translate this to a statistical alternative hypothesis and proceed: "Because Ha expresses the effect that we wish to find evidence for, we often begin with Ha and then set up H0 as the statement that the hoped for effect is not present." This advice is reversed for modeling applications where we hope not to find evidence against the null. A complex case example is as follows: The gold standard in clinical research is the randomized placebo controlled double blind clinical trial. But testing a new drug against a (medically ineffective) placebo may be unethical for a serious illness. Testing a new drug against an older medically effective drug raises fundamental philosophical issues regarding the goal of the test and the motivation of the experimenters. The standard "no difference" null hypothesis may reward the pharmaceutical company for gathering inadequate data. "Difference" is a better null hypothesis in this case, but statistical significance is not an adequate criterion for reaching a nuanced conclusion which requires a good numeric estimate of the drug's effectiveness. A "minor" or "simple" proposed change in the null hypothesis ((new vs old) rather than (new vs placebo)) can have a dramatic effect on the utility of a test for complex non statistical reasons.

Направленность

Выбор нулевой гипотезы (H0) и учет направленности (см. "односторонний тест") критически важны.

Степень точности теста нулевой гипотезы

Рассмотрим вопрос о том, является ли подброшенная монета справедливой (то есть, в среднем, выпадает орлом вверх в 50% случаев) и эксперимент, в котором монету подбрасывают 5 раз. Возможный результат эксперимента, который мы рассматриваем здесь, – 5 орлов. Будем считать результаты маловероятными по отношению к предполагаемому распределению, если их вероятность ниже порога значимости 0,05. Потенциальная нулевая гипотеза, предполагающая односторонний тест, заключается в том, что "эта монета не смещена в сторону орла". Обратите внимание, что в этом контексте термин "односторонний" не относится к результату подбрасывания одной монеты (то есть, к тому, выпадет ли монета "решкой" вместо "орла" или нет); термин "односторонний" относится к конкретному способу проверки нулевой гипотезы, в котором критическая область (также известная как "область отклонения") оказывается только на одной стороне распределения вероятностей. Действительно, для справедливой монеты вероятность этого результата эксперимента составляет 1/32 = 0,03125, что было бы еще ниже, если бы монета была смещена в пользу решки. Следовательно, наблюдения недостаточно вероятны для подтверждения нулевой гипотезы, и тест ее опровергает. Поскольку монета, по-видимому, не является ни справедливой, ни смещенной в сторону решки, вывод эксперимента заключается в том, что монета смещена в сторону орла. В качестве альтернативы, нулевая гипотеза, предполагающая двусторонний тест, – это "эта монета справедлива". Эту нулевую гипотезу можно проверить, обращая внимание на слишком много решек или слишком много орлов в экспериментах. Результаты, которые опровергли бы эту нулевую гипотезу, – это те, которые содержат большое количество орлов или большое количество решек, и наш эксперимент с 5 орлами, по-видимому, относится к этому классу. Однако вероятность 5 подбрасываний одного и того же типа, независимо от того, являются ли они орлом или решкой, в два раза выше, чем вероятность 5 орлов, рассматриваемых по отдельности. Следовательно, при этой двусторонней нулевой гипотезе наблюдение получает значение вероятности 0,0625. Следовательно, при том же пороге значимости, используемом для одностороннего теста (0,05), тот же результат не является статистически значимым. Поэтому в этом случае двусторонняя нулевая гипотеза будет сохранена, не поддерживая вывод, сделанный на основе односторонней нулевой гипотезы, о том, что монета смещена в сторону орла. Этот пример иллюстрирует, что вывод, полученный из статистического теста, может зависеть от точной формулировки нулевой и альтернативной гипотез.

Consider the question of whether a tossed coin is fair (i. e. that on average it lands heads up 50% of the time) and an experiment where you toss the coin 5 times. A possible result of the experiment that we consider here is 5 heads. Let outcomes be considered unlikely with respect to an assumed distribution if their probability is lower than a significance threshold of 0.05. A potential null hypothesis implying a one tailed test is "this coin is not biased toward heads". Beware that, in this context, the term "one tailed" does not refer to the outcome of a single coin toss (i. e., whether or not the coin comes up "tails" instead of "heads"); the term "one tailed" refers to a specific way of testing the null hypothesis in which the critical region (also known as "region of rejection") ends up in on only one side of the probability distribution. Indeed, with a fair coin the probability of this experiment outcome is 1/25 = 0.031, which would be even lower if the coin were biased in favour of tails. Therefore, the observations are not likely enough for the null hypothesis to hold, and the test refutes it. Since the coin is ostensibly neither fair nor biased toward tails, the conclusion of the experiment is that the coin is biased towards heads. Alternatively, a null hypothesis implying a two tailed test is "this coin is fair". This one null hypothesis could be examined by looking out for either too many tails or too many heads in the experiments. The outcomes that would tend to refute this null hypothesis are those with a large number of heads or a large number of tails, and our experiment with 5 heads would seem to belong to this class. However, the probability of 5 tosses of the same kind, irrespective of whether these are head or tails, is twice as much as that of the 5 head occurrence singly considered. Hence, under this two tailed null hypothesis, the observation receives a probability value of 0.063. Hence again, with the same significance threshold used for the one tailed test (0.05), the same outcome is not statistically significant. Therefore, the two tailed null hypothesis will be preserved in this case, not supporting the conclusion reached with the single tailed null hypothesis, that the coin is biased towards heads. This example illustrates that the conclusion reached from a statistical test may depend on the precise formulation of the null and alternative hypotheses.

Обсуждение

Фишер сказал, что «нулевая гипотеза должна быть сформулирована точно, то есть быть лишена расплывчатости и неоднозначности, поскольку она должна служить основой для «проблемы распределения», решением которой является тест значимости», подразумевая более узкую область применения для H0. Согласно этой точке зрения, нулевая гипотеза должна быть численно точной — она должна утверждать, что конкретная величина или разница равна конкретному числу. В классической науке это, как правило, утверждение об отсутствии эффекта от определенного воздействия; в наблюдениях — об отсутствии различий между значением конкретной измеряемой переменной и прогнозируемым значением. Большинство статистиков считают допустимым указывать направление в составе нулевой гипотезы или в паре нулевой и альтернативной гипотез. Однако результаты не дают полного описания всех результатов эксперимента, а представляют собой лишь один результат, адаптированный к конкретной цели. Например, рассмотрим H0, утверждающую, что среднее значение для популяции при новом лечении является улучшением по сравнению с хорошо изученным лечением с известной популяцией (определенной на основе длительного опыта), при этом односторонней альтернативной гипотезой является то, что среднее значение нового лечения > 10. Если выборочные данные, полученные с помощью x̄, равны −200, а соответствующая t-статистика равна −50, то вывод из теста будет заключаться в отсутствии доказательств того, что новое лечение лучше существующего: не будет сообщено о том, что оно значительно хуже, но именно это и не является целью данного теста. Чтобы избежать возможной неоднозначности при сообщении о результатах проверки нулевой гипотезы, лучше всего указать, был ли тест двусторонним, а если односторонним — включить направление проверяемого эффекта. Статистическая теория, необходимая для работы с простыми случаями направленности, рассматриваемыми здесь, и более сложными, использует концепцию непредвзятого теста. Направленность гипотез не всегда очевидна. Явная нулевая гипотеза в примере с чаепитием леди Фишера заключалась в том, что у леди нет такой способности, что привело к симметричному распределению вероятностей. Односторонний характер теста был обусловлен односторонней альтернативной гипотезой (термин, не использовавшийся Фишером). Нулевая гипотеза стала неявно односторонней. Логическое отрицание одностороннего утверждения леди также было односторонним. (Утверждение: Способность > 0; Заявленная нулевая гипотеза: Способность = 0; Неявная нулевая гипотеза: Способность ≤ 0). Споры об использовании односторонних тестов осложняются разнообразием тестов. Некоторые тесты (например, критерий χ2 на соответствие) по своей сути являются односторонними. Некоторые распределения вероятностей асимметричны. Традиционные тесты для 3 и более групп являются двусторонними. Рекомендации по использованию односторонних гипотез были непоследовательными, а общепринятая практика варьируется в разных областях. Основное возражение против односторонних гипотез — их потенциальная субъективность. Незначимый результат иногда можно преобразовать в значимый с помощью односторонней гипотезы (как в случае с тестом на честную монету, по усмотрению аналитика). Обратная сторона аргумента: односторонние тесты с меньшей вероятностью проигнорируют реальный эффект. Односторонние тесты могут препятствовать публикации данных, которые отличаются по знаку от прогнозов. Объективность была целью разработчиков статистических тестов. Распространенной практикой является использование односторонней гипотезы по умолчанию. Однако «если у вас заранее нет четкого представления о направлении, используйте двустороннюю альтернативу. Более того, некоторые пользователи статистики утверждают, что всегда следует работать с двусторонней альтернативой». Альтернативой этому совету является использование трехрезультатных тестов. Они устраняют проблемы, связанные с направленностью гипотез, путем проведения тестирования дважды, один раз в каждом направлении, и объединения результатов для получения трех возможных исходов. Вариации этого подхода имеют историю, с 1950 года они предлагались, возможно, около 10 раз. Разногласия по поводу односторонних тестов проистекают из философии науки. В то время как Фишер был готов игнорировать маловероятный случай, когда леди неправильно угадала все чашки чая (что могло быть уместно в данных обстоятельствах), медицина считает, что предлагаемое лечение, которое убивает пациентов, является значимым во всех смыслах и должно быть сообщено и, возможно, объяснено. Недостатки в практике статистической отчетности способствовали разногласиям по поводу односторонних тестов. Статистическая значимость, полученная в результате двусторонних тестов, нечувствительна к знаку связи; сообщение только о значимости является недостаточным. «Лечение оказывает эффект» — это неинформативный результат двустороннего теста. «Лечение оказывает благоприятный эффект» — более информативный результат одностороннего теста. «Лечение оказывает эффект, сокращая среднюю продолжительность госпитализации на 1,5 дня» — наиболее информативный отчет, сочетающий результат двустороннего теста значимости с численным оценочным значением связи между лечением и эффектом. Явное указание числового результата устраняет философское преимущество одностороннего теста. Основная проблема заключается в подходящей форме экспериментальной науки без численных прогностических теорий: модель численных результатов более информативна, чем модель знаков эффектов (положительный, отрицательный или неизвестный), которая, в свою очередь, более информативна, чем модель простой значимости (ненулевой или неизвестный); в отсутствие численной теории знаки могут быть достаточными.

Fisher said, "the null hypothesis must be exact, that is free of vagueness and ambiguity, because it must supply the basis of the 'problem of distribution,' of which the test of significance is the solution", implying a more restrictive domain for H0. According to this view, the null hypothesis must be numerically exact—it must state that a particular quantity or difference is equal to a particular number. In classical science, it is most typically the statement that there is no effect of a particular treatment; in observations, it is typically that there is no difference between the value of a particular measured variable and that of a prediction. Most statisticians believe that it is valid to state direction as a part of null hypothesis, or as part of a null hypothesis/alternative hypothesis pair. However, the results are not a full description of all the results of an experiment, merely a single result tailored to one particular purpose. For example, consider an H0 that claims the population mean for a new treatment is an improvement on a well established treatment with population (known from long experience), with the one tailed alternative being that the new treatment's mean > 10. If the sample evidence obtained through x bar equals −200 and the corresponding t test statistic equals −50, the conclusion from the test would be that there is no evidence that the new treatment is better than the existing one: it would not report that it is markedly worse, but that is not what this particular test is looking for. To overcome any possible ambiguity in reporting the result of the test of a null hypothesis, it is best to indicate whether the test was two sided and, if one sided, to include the direction of the effect being tested. The statistical theory required to deal with the simple cases of directionality dealt with here, and more complicated ones, makes use of the concept of an unbiased test. The directionality of hypotheses is not always obvious. The explicit null hypothesis of Fisher's Lady tasting tea example was that the Lady had no such ability, which led to a symmetric probability distribution. The one tailed nature of the test resulted from the one tailed alternate hypothesis (a term not used by Fisher). The null hypothesis became implicitly one tailed. The logical negation of the Lady's one tailed claim was also one tailed. (Claim: Ability > 0; Stated null: Ability = 0; Implicit null: Ability ≤ 0). Pure arguments over the use of one tailed tests are complicated by the variety of tests. Some tests (for instance the χ2 goodness of fit test) are inherently one tailed. Some probability distributions are asymmetric. The traditional tests of 3 or more groups are two tailed. Advice concerning the use of one tailed hypotheses has been inconsistent and accepted practice varies among fields. The greatest objection to one tailed hypotheses is their potential subjectivity. A non significant result can sometimes be converted to a significant result by the use of a one tailed hypothesis (as the fair coin test, at the whim of the analyst). The flip side of the argument: One sided tests are less likely to ignore a real effect. One tailed tests can suppress the publication of data that differs in sign from predictions. Objectivity was a goal of the developers of statistical tests. It is a common practice to use a one tailed hypothesis by default. However, "If you do not have a specific direction firmly in mind in advance, use a two sided alternative. Moreover, some users of statistics argue that we should always work with the two sided alternative." One alternative to this advice is to use three outcome tests. It eliminates the issues surrounding directionality of hypotheses by testing twice, once in each direction and combining the results to produce three possible outcomes. Variations on this approach have a history, being suggested perhaps 10 times since 1950. Disagreements over one tailed tests flow from the philosophy of science. While Fisher was willing to ignore the unlikely case of the Lady guessing all cups of tea incorrectly (which may have been appropriate for the circumstances), medicine believes that a proposed treatment that kills patients is significant in every sense and should be reported and perhaps explained. Poor statistical reporting practices have contributed to disagreements over one tailed tests. Statistical significance resulting from two tailed tests is insensitive to the sign of the relationship; Reporting significance alone is inadequate. "The treatment has an effect" is the uninformative result of a two tailed test. "The treatment has a beneficial effect" is the more informative result of a one tailed test. "The treatment has an effect, reducing the average length of hospitalization by 1.5 days" is the most informative report, combining a two tailed significance test result with a numeric estimate of the relationship between treatment and effect. Explicitly reporting a numeric result eliminates a philosophical advantage of a one tailed test. An underlying issue is the appropriate form of an experimental science without numeric predictive theories: A model of numeric results is more informative than a model of effect signs (positive, negative or unknown) which is more informative than a model of simple significance (non zero or unknown); in the absence of numeric theory signs may suffice.

История статистических тестов

История нулевой и альтернативной гипотез тесно связана с историей статистических тестов. До 1925 года: В прошлые века изредка встречаются эпизодические следы статистических тестов, которые являлись ранними примерами нулевых гипотез. В конце XIX века было определено понятие статистической значимости. В начале XX века были определены важные распределения вероятностей. Госсетт и Пирсон работали над конкретными случаями проверки значимости. 1925 год: Фишер опубликовал первое издание книги «Статистические методы для научных работников», в которой определил тест статистической значимости и сделал его основным методом анализа для значительной части экспериментальной науки. Текст не содержал доказательств и был слаб в плане объяснений, но изобиловал реальными примерами. Он вывел статистическую практику в науках далеко вперед опубликованной статистической теории. 1933 год: В серии статей (опубликованных в течение десятилетия, начиная с 1928 года) Нейман и Пирсон определили статистический тест гипотезы как предлагаемое улучшение теста Фишера. В этих статьях была представлена большая часть терминологии для статистических тестов, включая альтернативную гипотезу и обозначение H0 для гипотезы, подлежащей проверке с использованием наблюдаемых данных (при этом H1, H2 – альтернативы). 1935 год: Фишер опубликовал первое издание книги «Планирование экспериментов», в которой была введена нулевая гипотеза (скорее на примере, чем посредством определения) и тщательно объяснена логика тестов значимости в контексте интерпретации экспериментальных результатов. Фишер и Нейман спорили о достоинствах их конкурирующих подходов до самой смерти Фишера в 1962 году. Изменения в карьере и Вторая мировая война положили конец сотрудничеству Неймана и Пирсона. Эти подходы были объединены относительно анонимными авторами учебников, экспериментаторами (редакторами журналов) и математическими статистиками без участия Фишера или Неймана. Пример из двух: один текст описывает предмет как проверку гипотез (без упоминания проверки значимости в указателе), в то время как другой говорит о проверке значимости (с разделом о выводе как о процессе принятия решения). Фишер разработал проверку значимости как гибкий инструмент для исследователей, позволяющий оценивать имеющиеся доказательства. Вместо этого проверка стала институционализированной. Статистическая значимость превратилась в жестко определенный и обязательный критерий для публикации результатов экспериментов во многих научных журналах. В некоторых областях проверка значимости стала доминирующей и практически единственной формой статистического анализа. Как следствие, ограничения этих тестов были всесторонне изучены. Книги были заполнены критикой проверки значимости.

The history of the null and alternative hypotheses has much to do with the history of statistical tests. Before 1925: There are occasional transient traces of statistical tests in past centuries, which were early examples of null hypotheses. In the late 19th century statistical significance was defined. In the early 20th century important probability distributions were defined. Gossett and Pearson worked on specific cases of significance testing. 1925: Fisher published the first edition of Statistical Methods for Research Workers, which defined the statistical significance test and made it a mainstream method of analysis for much of experimental science. The text was devoid of proofs and weak on explanations, but was filled with real examples. It placed statistical practice in the sciences well in advance of published statistical theory. 1933: In a series of papers (published over a decade starting in 1928) Neyman & Pearson defined the statistical hypothesis test as a proposed improvement on Fisher's test. The papers provided much of the terminology for statistical tests including alternative hypothesis and H0 as a hypothesis to be tested using observational data (with H1, H2 as alternatives). 1935: Fisher published the first edition of the book The Design of Experiments which introduced the null hypothesis (by example rather than by definition) and carefully explained the rationale for significance tests in the context of the interpretation of experimental results. Fisher and Neyman quarreled over the relative merits of their competing formulations until Fisher's death in 1962. Career changes and World War II ended the partnership of Neyman and Pearson. The formulations were merged by relatively anonymous textbook writers, experimenters (journal editors) and mathematical statisticians without input from either Fisher or Neyman. Sample of two: One text refers to the subject as hypothesis testing (with no mention of significance testing in the index) while another says significance testing (with a section on inference as a decision). Fisher developed significance testing as a flexible tool for researchers to weigh their evidence. Instead testing has become institutionalized. Statistical significance has become a rigidly defined and enforced criterion for the publication of experimental results in many scientific journals. In some fields significance testing has become the dominant and nearly exclusive form of statistical analysis. As a consequence the limitations of the tests have been exhaustively studied. Books have been filled with the collected criticism of significance testing.