Воспроизводимость научных исследований: история и современность

Введение

Аспект научных исследований – воспроизводимость результатов научных исследований.

Воспроизводимость, тесно связанная с реплицируемостью и повторяемостью, является одним из ключевых принципов, лежащих в основе научного метода. Воспроизводимость результатов исследования означает, что результаты, полученные в ходе эксперимента, наблюдательного исследования или статистического анализа набора данных, должны быть достигнуты вновь с высокой степенью достоверности при повторном проведении исследования. Существуют различные виды репликации, но обычно репликационные исследования проводятся другими исследователями с использованием той же методологии. Только после одной или нескольких успешных репликаций результат может быть признан научным знанием. В более узком смысле, в вычислительных науках воспроизводимость определяется как свойство, при котором результаты должны быть задокументированы путем предоставления всех данных и кода таким образом, чтобы вычисления можно было повторить и получить идентичные результаты. В последние десятилетия растет обеспокоенность тем, что многие опубликованные научные результаты не проходят проверку на воспроизводимость, что приводит к кризису воспроизводимости или репликации.

История

Первым, кто подчеркнул важность воспроизводимости в науке, был англо-ирландский химик Роберт Бойл в Англии в 17 веке. Воздушный насос Бойля был разработан для создания и изучения вакуума, который в то время был весьма спорной концепцией. Действительно, выдающиеся философы, такие как Рене Декарт и Томас Гоббс, отрицали саму возможность существования вакуума. Историки науки Стивен Шапин и Саймон Шаффер в своей книге 1985 года «Левиафан и воздушный насос» описывают дебаты между Бойлом и Гоббсом, формально касавшиеся природы вакуума, как по сути аргумент о том, каким образом следует получать достоверные знания. Бойл, пионер экспериментального метода, утверждал, что основанием для знаний должны служить факты, полученные экспериментальным путем, достоверность которых может быть подтверждена научным сообществом благодаря их воспроизводимости. Бойл полагал, что многократное повторение одного и того же эксперимента позволит установить достоверность факта. Воздушный насос, который в 17 веке был сложным и дорогостоящим аппаратом, также стал причиной одного из первых задокументированных споров о воспроизводимости конкретного научного явления. В 1660-х годах голландский ученый Кристиан Гюйгенс построил свой собственный воздушный насос в Амстердаме – первый, созданный без непосредственного участия Бойля и его ассистента Роберта Гука. Гюйгенс сообщил об эффекте, который он назвал «аномальной суспензией», при котором вода, казалось, левитировала в стеклянной банке внутри его насоса (на самом деле она была подвешена над пузырьком воздуха), однако Бойлю и Гуку не удалось воспроизвести это явление на своих насосах. Как описывают Шапин и Шаффер, «стало ясно, что если это явление не удастся воспроизвести в Англии с помощью одного из двух доступных насосов, то никто в Англии не примет утверждения Гюйгенса или его компетентность в работе с насосом». В 1663 году Гюйгенса пригласили в Англию, и под его непосредственным руководством Гуку удалось воспроизвести аномальную суспензию воды. После этого Гюйгенс был избран иностранным членом Королевского общества. Однако Шапин и Шаффер также отмечают, что «возможность воспроизведения зависела от субъективных суждений, и невозможно сформулировать правило, определяющее, когда воспроизведение было достигнуто, а когда нет». Философ науки Карл Поппер кратко упомянул в своей знаменитой книге 1934 года «Логика научного исследования», что «невоспроизводимые единичные случаи не имеют значения для науки». Статистик Рональд Фишер в своей книге 1935 года «Планирование экспериментов», заложившей основы современной научной практики проверки гипотез и статистической значимости, писал, что «мы можем сказать, что явление экспериментально доказано, когда мы знаем, как провести эксперимент, который редко не дает статистически значимых результатов». Эти утверждения выражают распространенный в современной науке догмат о том, что воспроизводимость является необходимым (хотя и не обязательно достаточным) условием для установления научного факта и, на практике, для установления научного авторитета в любой области знаний. Однако, как отмечают Шапин и Шаффер, этот догмат недостаточно четко сформулирован количественно, например, в терминах статистической значимости, и поэтому не установлено, сколько раз факт должен быть воспроизведен, чтобы считаться воспроизводимым.

The first to stress the importance of reproducibility in science was the Anglo Irish chemist Robert Boyle, in England in the 17th century. Boyle's air pump was designed to generate and study vacuum, which at the time was a very controversial concept. Indeed, distinguished philosophers such as René Descartes and Thomas Hobbes denied the very possibility of vacuum existence. Historians of science Steven Shapin and Simon Schaffer, in their 1985 book Leviathan and the Air Pump, describe the debate between Boyle and Hobbes, ostensibly over the nature of vacuum, as fundamentally an argument about how useful knowledge should be gained. Boyle, a pioneer of the experimental method, maintained that the foundations of knowledge should be constituted by experimentally produced facts, which can be made believable to a scientific community by their reproducibility. By repeating the same experiment over and over again, Boyle argued, the certainty of fact will emerge. The air pump, which in the 17th century was a complicated and expensive apparatus to build, also led to one of the first documented disputes over the reproducibility of a particular scientific phenomenon. In the 1660s, the Dutch scientist Christiaan Huygens built his own air pump in Amsterdam, the first one outside the direct management of Boyle and his assistant at the time Robert Hooke. Huygens reported an effect he termed "anomalous suspension", in which water appeared to levitate in a glass jar inside his air pump (in fact suspended over an air bubble), but Boyle and Hooke could not replicate this phenomenon in their own pumps. As Shapin and Schaffer describe, "it became clear that unless the phenomenon could be produced in England with one of the two pumps available, then no one in England would accept the claims Huygens had made, or his competence in working the pump". Huygens was finally invited to England in 1663, and under his personal guidance Hooke was able to replicate anomalous suspension of water. Following this Huygens was elected a Foreign Member of the Royal Society. However, Shapin and Schaffer also note that "the accomplishment of replication was dependent on contingent acts of judgment. One cannot write down a formula saying when replication was or was not achieved". The philosopher of science Karl Popper noted briefly in his famous 1934 book The Logic of Scientific Discovery that "non reproducible single occurrences are of no significance to science". The statistician Ronald Fisher wrote in his 1935 book The Design of Experiments, which set the foundations for the modern scientific practice of hypothesis testing and statistical significance, that "we may say that a phenomenon is experimentally demonstrable when we know how to conduct an experiment which will rarely fail to give us statistically significant results". Such assertions express a common dogma in modern science that reproducibility is a necessary condition (although not necessarily sufficient) for establishing a scientific fact, and in practice for establishing scientific authority in any field of knowledge. However, as noted above by Shapin and Schaffer, this dogma is not well formulated quantitatively, such as statistical significance for instance, and therefore it is not explicitly established how many times must a fact be replicated to be considered reproducible.

Меры воспроизводимости и повторяемости

В химии термины воспроизводимость и повторяемость используются в строгом количественном смысле. В межлабораторных экспериментах концентрация или другая величина химического вещества измеряется многократно в различных лабораториях для оценки вариабельности измерений. При этом стандартное отклонение разности между двумя значениями, полученными в одной и той же лаборатории, называется повторяемостью. Стандартное отклонение разности между двумя измерениями, выполненными в разных лабораториях, называется воспроизводимостью. Эти показатели связаны с более общей концепцией компонент дисперсии в метрологии.

Воспроизводимые исследования на практике

В психологии наблюдается возрождение внутренней обеспокоенности по поводу невоспроизводимых результатов (см. статью о кризисе воспроизводимости для эмпирических данных об успешности репликаций). Исследователи показали в исследовании 2006 года, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA), 103 (73%) не предоставили свои данные в течение шести месяцев. В последующем исследовании, опубликованном в 2015 году, было установлено, что 246 из 394 авторов статей в журналах APA не поделились своими данными по запросу (62%). В статье 2012 года было предложено, чтобы исследователи публиковали данные вместе со своими работами, и был выпущен набор данных в качестве демонстрации. В 2017 году в статье, опубликованной в Scientific Data, было предположено, что этого может быть недостаточно и что необходимо раскрывать весь контекст анализа. В экономике высказываются опасения относительно достоверности и надежности опубликованных исследований. В других науках воспроизводимость считается фундаментальной и часто является обязательным условием для публикации исследований, однако в экономических науках она не рассматривается как приоритет первостепенной важности. Большинство рецензируемых экономических журналов не предпринимают существенных мер для обеспечения воспроизводимости опубликованных результатов, однако ведущие экономические журналы переходят к обязательному архивированию данных и кода. Стимулов для исследователей делиться своими данными мало или нет совсем, и авторам придется нести расходы на приведение данных к формату, пригодному для повторного использования. Экономические исследования часто оказываются невоспроизводимыми, поскольку лишь немногие журналы имеют адекватную политику раскрытия данных для наборов данных и программного кода, и даже если такая политика существует, авторы часто ее не соблюдают или издатель не обеспечивает ее соблюдение. Исследование 599 статей, опубликованных в 37 рецензируемых журналах, показало, что хотя некоторые журналы достигли значительных показателей соответствия, значительная часть журналов соблюдает политику лишь частично или не соблюдает ее вовсе. На уровне статей средний показатель соответствия составил 47,5%, а на уровне журналов – 38%, варьируясь от 13% до 99%. Исследование 2018 года, опубликованное в журнале PLOS ONE, показало, что 14,4% исследователей из выборки специалистов по статистике общественного здравоохранения поделились своими данными, кодом или и тем, и другим. На протяжении многих лет предпринимались инициативы по улучшению отчетности и, следовательно, воспроизводимости в медицинской литературе, начиная с инициативы CONSORT, которая теперь является частью более широкой инициативы – сети EQUATOR. Эта группа недавно обратила внимание на то, как улучшение отчетности может сократить потери в исследованиях, особенно в биомедицинских исследованиях. Воспроизводимые исследования являются ключом к новым открытиям в фармакологии. За обнаружением на первой фазе последуют воспроизведения на второй фазе по мере развития лекарственного препарата к коммерческому производству. В последние десятилетия успех на второй фазе снизился с 28% до 18%. Исследование 2011 года показало, что 65% медицинских исследований были непоследовательными при повторном тестировании, и лишь 6% оказались полностью воспроизводимыми.

Psychology has seen a renewal of internal concerns about irreproducible results (see the entry on replicability crisis for empirical results on success rates of replications). Researchers showed in a 2006 study that, of 141 authors of a publication from the American Psychological Association (APA) empirical articles, 103 (73%) did not respond with their data over a six month period. In a follow up study published in 2015, it was found that 246 out of 394 contacted authors of papers in APA journals did not share their data upon request (62%). In a 2012 paper, it was suggested that researchers should publish data along with their works, and a dataset was released alongside as a demonstration. In 2017, an article published in Scientific Data suggested that this may not be sufficient and that the whole analysis context should be disclosed. In economics, concerns have been raised in relation to the credibility and reliability of published research. In other sciences, reproducibility is regarded as fundamental and is often a prerequisite to research being published, however in economic sciences it is not seen as a priority of the greatest importance. Most peer reviewed economic journals do not take any substantive measures to ensure that published results are reproducible, however, the top economics journals have been moving to adopt mandatory data and code archives. There is low or no incentives for researchers to share their data, and authors would have to bear the costs of compiling data into reusable forms. Economic research is often not reproducible as only a portion of journals have adequate disclosure policies for datasets and program code, and even if they do, authors frequently do not comply with them or they are not enforced by the publisher. A Study of 599 articles published in 37 peer reviewed journals revealed that while some journals have achieved significant compliance rates, significant portion have only partially complied, or not complied at all. On an article level, the average compliance rate was 47.5%; and on a journal level, the average compliance rate was 38%, ranging from 13% to 99%. A 2018 study published in the journal PLOS ONE found that 14.4% of a sample of public health statistics researchers had shared their data or code or both. There have been initiatives to improve reporting and hence reproducibility in the medical literature for many years, beginning with the CONSORT initiative, which is now part of a wider initiative, the EQUATOR Network. This group has recently turned its attention to how better reporting might reduce waste in research, especially biomedical research. Reproducible research is key to new discoveries in pharmacology. A Phase I discovery will be followed by Phase II reproductions as a drug develops towards commercial production. In recent decades Phase II success has fallen from 28% to 18%. A 2011 study found that 65% of medical studies were inconsistent when re tested, and only 6% were completely reproducible.