Смещение публикаций: проблема положительных результатов и «эффект ящика стола»

Введение

Более высокая вероятность публикации результатов, демонстрирующих значимые выводы

В опубликованных академических исследованиях предвзятость публикаций возникает, когда исход эксперимента или исследования влияет на решение о публикации или ином распространении результатов. Публикация только результатов, показывающих значимые выводы, нарушает баланс данных в пользу положительных результатов. Изучение предвзятости публикаций – важная тема в метанауке. Несмотря на сопоставимое качество проведения и дизайна, статьи со статистически значимыми результатами публикуются в три раза чаще, чем статьи с нулевыми результатами. Это необоснованно мотивирует исследователей манипулировать своими методами для получения статистически значимых результатов, например, путем поиска закономерностей в данных. Многие факторы способствуют предвзятости публикаций. Например, как только научный вывод хорошо установлен, публикация надежных работ, не опровергающих нулевую гипотезу, может представлять новостную ценность. Чаще всего исследователи просто отказываются отправлять результаты на рассмотрение, что приводит к предвзятости, связанной с отсутствием ответа. Исследователи также могут предполагать, что допустили ошибку, обнаруживают, что нулевой результат не подтверждает известные данные, теряют интерес к теме или опасаются, что другие не заинтересуются нулевыми результатами. Попытки найти неопубликованные исследования часто оказываются сложными или безуспешными. В целях борьбы с этой проблемой некоторые журналы требуют предварительной регистрации исследований (до сбора и анализа данных) в таких организациях, как Центр открытой науки. Другие предлагаемые стратегии направлены на выявление и контроль предвзятости публикаций, а также на неблагоприятное отношение к небольшим и нерандомизированным исследованиям из-за их высокой подверженности ошибкам и предвзятости. Впервые этот вопрос был обсужден в 1959 году статистиком Теодором Стерлингом в отношении областей, где "успешные" исследования с большей вероятностью публикуются. В результате "литература в такой области состоит в значительной степени из ложных выводов, возникающих из-за ошибок первого рода при проверке статистической значимости". В худшем случае ложные выводы могут быть признаны истинными, если частота публикации отрицательных результатов слишком низка. Предвзятость публикаций иногда называют "эффектом задвинутого файла" или "проблемой задвинутого файла". Этот термин предполагает, что результаты, не подтверждающие гипотезы исследователей, часто не выходят за пределы личных архивов исследователей, что приводит к предвзятости в опубликованных исследованиях. Термин "проблема задвинутого файла" был введен психологом Робертом Розенталем в 1979 году. Положительная предвзятость результатов, являющаяся разновидностью предвзятости публикаций, возникает, когда авторы с большей вероятностью отправляют на рассмотрение, а редакторы с большей вероятностью принимают положительные результаты, чем отрицательные или неубедительные. Предвзятость в представлении результатов возникает, когда измеряется и анализируется несколько исходов, но представление этих исходов зависит от силы и направления полученных результатов. Обобщающий термин, используемый для описания этих выборов, сделанных после получения результатов, – HARKing ("Формулирование гипотез после получения результатов").

In published academic research, publication bias occurs when the outcome of an experiment or research study biases the decision to publish or otherwise distribute it. Publishing only results that show a significant finding disturbs the balance of findings in favor of positive results. The study of publication bias is an important topic in metascience. Despite similar quality of execution and design, papers with statistically significant results are three times more likely to be published than those with null results. This unduly motivates researchers to manipulate their practices to ensure statistically significant results, such as by data dredging. Many factors contribute to publication bias. For instance, once a scientific finding is well established, it may become newsworthy to publish reliable papers that fail to reject the null hypothesis. Most commonly, investigators simply decline to submit results, leading to non response bias. Investigators may also assume they made a mistake, find that the null result fails to support a known finding, lose interest in the topic, or anticipate that others will be uninterested in the null results. Attempts to find unpublished studies often prove difficult or are unsatisfactory. In an effort to combat this problem, some journals require studies submitted for publication pre register (before data collection and analysis) with organizations like the Center for Open Science. Other proposed strategies to detect and control for publication bias and disfavoring small and non randomized studies due to high susceptibility to error and bias. The subject was first discussed in 1959 by statistician Theodore Sterling to refer to fields in which "successful" research is more likely to be published. As a result, "the literature of such a field consists in substantial part of false conclusions resulting from errors of the first kind in statistical tests of significance". In the worst case, false conclusions could canonize as being true if the publication rate of negative results is too low. Publication bias is sometimes called the file drawer effect, or file drawer problem. This term suggests that results not supporting the hypotheses of researchers often go no further than the researchers' file drawers, leading to a bias in published research. The term "file drawer problem" was coined by psychologist Robert Rosenthal in 1979. Positive results bias, a type of publication bias, occurs when authors are more likely to submit, or editors are more likely to accept, positive results than negative or inconclusive results. Outcome reporting bias occurs when multiple outcomes are measured and analyzed, but the reporting of these outcomes is dependent on the strength and direction of its results. A generic term coined to describe these post hoc choices is HARKing ("Hypothesizing After the Results are Known").

Доказательства

Существует обширное метаисследование предвзятости публикаций в биомедицинской области. Исследователи, отслеживавшие клинические испытания от момента подачи протоколов в этические комитеты (или регулирующие органы) до публикации результатов, обнаружили, что исследования с положительными результатами чаще публикуются. Кроме того, исследования часто не сообщают об отрицательных результатах при публикации, что было продемонстрировано исследованиями, сравнивающими протоколы исследований с опубликованными статьями. Наличие предвзятости публикаций изучалось в метаанализах. Крупнейший из таких анализов исследовал наличие предвзятости публикаций в систематических обзорах медицинских вмешательств из Библиотеки Кокрейна. Исследование показало, что статистически значимые положительные результаты на 27% чаще включаются в метаанализы эффективности, чем другие результаты. Результаты, не выявляющие признаков неблагоприятных эффектов, имеют на 78% более высокую вероятность включения в исследования безопасности, чем статистически значимые результаты, указывающие на неблагоприятные эффекты. Доказательства предвзятости публикаций были обнаружены в метаанализах, опубликованных в ведущих медицинских журналах. Метаанализы (обзоры) также проводились в области экологии и экологической биологии. В исследовании 100 метаанализов в области экологии только 49% проверяли наличие предвзятости публикаций. Хотя существует множество тестов для выявления предвзятости публикаций, большинство из них показывают плохие результаты в области экологии из-за высокой степени неоднородности данных и часто неполной независимости наблюдений. По состоянию на 1998 год, "Ни одно исследование, опубликованное в Китае или России/СССР, не показало неэффективности исследуемого лечения".

Влияние на метаанализ

Если существует предвзятость публикаций, опубликованные исследования перестают быть репрезентативной выборкой доступных данных. Эта предвзятость искажает результаты метаанализов и систематических обзоров. Например, доказательная медицина все больше полагается на метаанализ для оценки доказательств. Метаанализы и систематические обзоры могут учитывать предвзятость публикаций, включая данные из неопубликованных исследований и «серой» литературы. Наличие предвзятости публикаций также можно исследовать, построив воронкообразный график, на котором оценка величины сообщаемого эффекта сопоставляется с мерой точности или размером выборки. Предполагается, что рассеяние точек должно отражать форму воронки, указывая на то, что сообщение о величинах эффектов не связано с их статистической значимостью. Поскольку в интерпретации воронкообразных графиков неизбежно присутствует определенная субъективность, было предложено несколько тестов для выявления асимметрии воронкообразных графиков. Они часто основаны на линейной регрессии, включая популярный регрессионный тест Эггерса, и могут использовать мультипликативный или аддитивный параметр дисперсии для учета гетерогенности между исследованиями. Некоторые подходы могут даже пытаться компенсировать (потенциальное) наличие предвзятости публикаций, что особенно полезно для оценки потенциального влияния на результаты метаанализа. В экологии и биологии окружающей среды исследование показало, что предвзятость публикаций влияет на величину эффекта, статистическую мощность и масштаб. Распространенность предвзятости публикаций снизила доверие к результатам метаанализа: 66% изначально статистически значимых метааналитических сред стали незначимыми после корректировки на предвзятость публикаций. Экологические и эволюционные исследования последовательно демонстрировали низкую статистическую мощность (15%) со средним 4-кратным преувеличением эффектов (коэффициент ошибок типа M = 4,4). Наличие предвзятости публикаций можно выявить с помощью тестов на временной лаг, когда временной лаг возникает, когда более крупные или статистически значимые эффекты публикуются быстрее, чем меньшие или статистически незначимые эффекты. Это может проявляться как снижение величины общего эффекта с течением времени. Ключевой особенностью тестов на временной лаг является то, что по мере накопления большего количества исследований средняя величина эффекта, как ожидается, будет сходиться к своему истинному значению. и Питера Вилмшёрста. В социальных науках исследование опубликованных работ, изучающих взаимосвязь между корпоративной социальной и финансовой эффективностью, показало, что «в журналах по экономике, финансам и бухгалтерскому учету средние корреляции были примерно вдвое меньше, чем результаты, опубликованные в журналах Social Issues Management, Business Ethics или Business and Society». Одним из примеров, приведенных в качестве проявления предвзятости публикаций, является отказ журнала The Journal of Personality and Social Psychology (первоначального издателя статьи Бема) публиковать попытки воспроизведения работы Бема, которая утверждала наличие доказательств предвидения. Анализ, сравнивающий исследования ассоциаций генных заболеваний, проведенные в Китае, с исследованиями, проведенными за пределами Китая, показал, что исследования, проведенные в Китае, сообщали о более сильной ассоциации и более статистически значимом результате.

Where publication bias is present, published studies are no longer a representative sample of the available evidence. This bias distorts the results of meta analyses and systematic reviews. For example, evidence based medicine is increasingly reliant on meta analysis to assess evidence. Meta analyses and systematic reviews can account for publication bias by including evidence from unpublished studies and the grey literature. The presence of publication bias can also be explored by constructing a funnel plot in which the estimate of the reported effect size is plotted against a measure of precision or sample size. The premise is that the scatter of points should reflect a funnel shape, indicating that the reporting of effect sizes is not related to their statistical significance. Because an inevitable degree of subjectivity exists in the interpretation of funnel plots, several tests have been proposed for detecting funnel plot asymmetry. These are often based on linear regression including the popular Eggers regression test, and may adopt a multiplicative or additive dispersion parameter to adjust for the presence of between study heterogeneity. Some approaches may even attempt to compensate for the (potential) presence of publication bias, which is particularly useful to explore the potential impact on meta analysis results. In ecology and environmental biology, a study found that publication bias impacted the effect size, statistical power, and magnitude. The prevalence of publication bias distorted confidence in meta analytic results, with 66% of initially statistically significant meta analytic means becoming non significant after correcting for publication bias. Ecological and evolutionary studies consistently had low statistical power (15%) with a 4 fold exaggeration of effects on average (Type M error rates = 4.4). The presence of publication bias can be detected by Time lag bias tests, where time lag bias occurs when larger or statistically significant effects are published more quickly than smaller or non statistically significant effects. It can manifest as a decline in the magnitude of the overall effect over time. The key feature of time lag bias tests is that, as more studies accumulate, the mean effect size is expected to converge on its true value. and Peter Wilmshurst. In the social sciences, a study of published papers exploring the relationship between corporate social and financial performance found that "in economics, finance, and accounting journals, the average correlations were only about half the magnitude of the findings published in Social Issues Management, Business Ethics, or Business and Society journals". One example cited as an instance of publication bias is the refusal to publish attempted replications of Bem's work that claimed evidence for precognition by The Journal of Personality and Social Psychology (the original publisher of Bem's article). An analysis comparing studies of gene disease associations originating in China to those originating outside China found that those conducted within the country reported a stronger association and a more statistically significant result.

Риски

Джон Иоаннидис утверждает, что "заявленные научные результаты зачастую могут быть просто точным отражением господствующей предвзятости". Он перечисляет следующие факторы, повышающие вероятность публикации статьи с положительными результатами и подавления статей с отрицательными результатами: небольшие размеры выборок в исследованиях, проводимых в данной области; тенденция к небольшим величинам эффекта в данной области; большое количество протестированных взаимосвязей при слабом предварительном отборе; высокая гибкость в дизайне, определениях, измеряемых показателях и методах анализа; наличие предрассудков (финансовых, политических или иных); высокая конкуренция в "горячей" научной области, где множество исследовательских групп стремятся к публикации. К другим факторам относятся предвзятость исследователя и "благородная" предвзятость.

Лечебные средства

Склонность к публикации может быть уменьшена за счет проведения более масштабных исследований, повышения стандартов исследований и внимательного анализа как значимых, так и незначимых взаимосвязей, а также повторного подтверждения (когда это этически допустимо) установленных результатов предыдущих исследований с минимальным риском предвзятости.

Регистрация исследования

В сентябре 2004 года редакторы ведущих медицинских журналов (включая New England Journal of Medicine, The Lancet, Annals of Internal Medicine и JAMA) объявили, что больше не будут публиковать результаты исследований лекарственных препаратов, финансируемых фармацевтическими компаниями, если эти исследования не были зарегистрированы в общедоступной базе данных реестра клинических исследований с момента их начала. Более того, некоторые журналы (например, Trials) рекомендуют публиковать протоколы исследований в самих журналах. Всемирная организация здравоохранения (ВОЗ) поддержала идею о том, что базовая информация обо всех клинических испытаниях должна быть зарегистрирована на этапе планирования исследования и быть общедоступной через Платформу международного реестра клинических испытаний ВОЗ. Кроме того, всё чаще наблюдается практика предоставления в открытый доступ полных протоколов исследований наряду с отчётами об испытаниях.

Мегаисследования

В мегаисследовании одновременно тестируется большое количество методов лечения. Учитывая включение различных вмешательств в исследование, вероятность публикации мегаисследования меньше зависит от статистически значимого эффекта какого-либо конкретного метода лечения, поэтому предполагается, что мегаисследования менее подвержены предвзятости публикаций. Например, вмешательство, признанное неэффективным, было бы проще опубликовать в рамках мегаисследования как одно из многих изучаемых вмешательств, в то время как оно могло бы остаться неопубликованным из-за проблемы «закрытого ящика» (file drawer problem), если бы являлось единственным предметом исследования в отдельной статье. По той же причине, дизайн мегаисследования может стимулировать исследователей изучать не только вмешательства, которые они считают наиболее перспективными, но и те, в эффективности которых они менее уверены и которые не стали бы единственным объектом исследования из-за высокого риска получения нулевого результата.