Введение
Метод измерения влияния научных журналов и статей
Цитируемость – это показатель того, сколько раз научная статья в журнале, книга или автор упоминаются в других статьях, книгах или работах других авторов. Количество цитирований рассматривается как мера влияния или значимости научной работы и дало начало библиометрии или наукометрии – областям, специализирующимся на изучении закономерностей научного влияния посредством анализа цитирования. Важность журналов можно оценить по среднему показателю цитируемости. Аналогично, обзорные статьи цитируются чаще, чем оригинальные исследовательские работы, поскольку они обобщают результаты многих исследований. Это также может объяснять, почему статьи с более короткими названиями получают больше цитирований, так как они обычно охватывают более широкую область знаний.
Наиболее цитируемые статьи
Наиболее цитируемой статьей в истории является статья Оливера Лоури, описывающая метод определения концентрации белков. К 2014 году она набрала более 305 000 цитирований. Десять наиболее цитируемых статей имели более 40 000 цитирований. Для попадания в топ-100 статей к 2014 году требовалось 12 119 цитирований. Показатели, характеризующие журнал в целом, часто ошибочно интерпретируются как мера качества журнала или отдельной статьи. Однако использование показателей, не относящихся к конкретной статье, для оценки ее влияния статистически некорректно. Более того, исследования методологического качества и достоверности показали, что "достоверность опубликованных исследований в ряде областей может снижаться с ростом рейтинга журнала", что противоречит распространенным представлениям. Распределение цитирований в журналах неравномерно, поскольку подавляющее большинство цитирований приходится на очень небольшое число статей; поэтому некоторые журналы перестали публиковать свой импакт-фактор, например, журналы Американского общества микробиологии. Количество цитирований в основном подчиняется логнормальному распределению, за исключением "длинного хвоста", который лучше описывается степенным законом. К другим показателям, характеризующим журнал в целом, относятся Eigenfactor и SCImago Journal Rank.
Авторский уровень
Общее количество цитирований или среднее число цитирований на статью может быть представлено для отдельного автора или исследователя. Для более точной оценки цитируемости отдельного ученого предложено множество других показателей, помимо простого подсчета цитирований. Наиболее известными из них являются индекс Хирша (h-index) и индекс g. Каждый показатель имеет свои преимущества и недостатки, включая предвзятость, зависимость от области науки и ограничения источника данных о цитировании. Подсчет цитирований на одну статью также используется для выявления авторов наиболее цитируемых работ – «классик цитирования». Цитирования распределены крайне неравномерно между исследователями. В исследовании, основанном на базе данных Web of Science по 118 научным дисциплинам, 1% наиболее цитируемых авторов обеспечили 21% всех цитирований. В период с 2000 по 2015 год доля цитирований, приходящихся на эту элитную группу, возросла с 14% до 21%. Наибольшая концентрация «цитируемой элиты» наблюдалась в Нидерландах, Соединенном Королевстве, Швейцарии и Бельгии. 70% авторов, представленных в базе данных Web of Science, имеют менее 5 публикаций, поэтому наиболее цитируемые авторы среди 4 миллионов, включенных в данное исследование, составляют незначительную часть.
Альтернативы
Альтернативный подход к оценке влияния ученого основывается на данных об использовании, таких как количество загрузок с сайтов издательств и анализ показателей цитирования, часто на уровне отдельных статей. Уже в 2004 году BMJ начал публиковать количество просмотров своих статей, что оказалось в некоторой степени связано с количеством цитирований. В 2008 году Journal of Medical Internet Research стал публиковать количество просмотров и твитов. Эти "твит-упоминания" оказались хорошим индикатором статей, которые часто цитируются, что побудило автора предложить "Twimpact-фактор" – количество твитов, полученных статьей в первые семь дней после публикации, – а также Twindex, представляющий собой процентильный ранг Twimpact-фактора статьи. В ответ на растущую обеспокоенность неправомерным использованием импакт-факторов журналов при оценке научных результатов и самих ученых, Университет Монреаля, Имперский колледж Лондона, PLOS, eLife, EMBO Journal, Королевское общество, Nature и Science предложили метрики распределения цитирований как альтернативу импакт-факторам.
Публикации с открытым доступом
Публикации с открытым доступом (ОД) доступны читателям бесплатно, поэтому можно ожидать, что их будут цитировать чаще. Некоторые экспериментальные и наблюдательные исследования показали, что статьи, опубликованные в журналах открытого доступа, в среднем не получают больше цитирований, чем статьи, опубликованные в журналах по подписке, в то время как другие исследования показали обратное. Доказательства того, что статьи, самостоятельно размещенные авторами в открытом доступе ("зеленый" путь), цитируются чаще, чем статьи без открытого доступа, несколько сильнее, чем доказательства более высокой цитируемости журналов открытого доступа ("золотой" путь) по сравнению с журналами по подписке. Это связано с тем, что многие из наиболее цитируемых журналов сегодня остаются лишь гибридными (автор имеет возможность оплатить публикацию в открытом доступе), а многие журналы открытого доступа, где плату вносит автор, либо имеют низкое качество, либо являются откровенно мошенническими "хищническими журналами", эксплуатирующими стремление авторов к публикации любой ценой, что снижает среднее количество цитирований журналов открытого доступа.
Последние события
Важным недавним достижением в исследованиях влияния цитирования является открытие универсальности, то есть моделей влияния цитирования, которые сохраняются в различных дисциплинах – в естественных, социальных и гуманитарных науках. Например, было показано, что количество цитирований, полученных публикацией, после соответствующей нормализации по среднему значению для статей, опубликованных в той же дисциплине и в том же году, подчиняется универсальному логнормальному распределению, которое одинаково для всех дисциплин. Этот вывод позволил предположить создание универсальной метрики влияния цитирования, расширяющей индекс Хирша путем корректной нормализации количества цитирований и переранжирования публикаций; однако вычисление такой универсальной метрики требует сбора обширных данных и статистики цитирования для каждой дисциплины и каждого года. Для решения этой задачи были предложены инструменты социального краудсорсинга, такие как Scholarometer. Каур и др. предложили статистический метод для оценки универсальности метрик влияния цитирования, то есть их способности обеспечивать справедливое сравнение влияния в разных областях. Их анализ выявил универсальные метрики влияния, такие как индекс Хирша, нормализованный по области. Исследования показывают, что влияние статьи может быть частично объяснено поверхностными факторами, а не только научными достоинствами работы. Факторы, зависящие от области исследования, обычно рассматриваются как проблема, которую необходимо решать не только при сравнении между дисциплинами, но и при сравнении различных направлений внутри одной дисциплины. Например, в медицине на влияние, помимо прочего, влияют количество авторов, количество ссылок, длина статьи и наличие двоеточия в названии. В то время как в социологии среди влияющих факторов – количество ссылок, длина статьи и длина названия. Также установлено, что исследователи прибегают к этически сомнительным практикам с целью искусственного увеличения количества цитирований статей. Автоматизированная индексация цитирования изменила характер исследований в области анализа цитирования, позволив анализировать миллионы цитирований для выявления масштабных закономерностей и получения новых знаний. Первым примером автоматизированной индексации цитирования был CiteSeer, за которым последовал Google Scholar. В последнее время были предложены передовые модели для динамического анализа устаревания цитирования. Последняя из этих моделей даже используется в качестве прогностического инструмента для определения потенциального количества цитирований, которые могут быть получены в течение всего жизненного цикла корпуса публикаций. Некоторые исследователи также полагают, что частота цитирования журналов в Википедии, наряду с традиционными индексами цитирования, "может быть хорошим индикатором влияния работы в области психологии". По словам Марио Биагиоли: "Любые метрики научной оценки неизбежно подвержены злоупотреблениям. Закон Гудхарта гласит, что когда какой-либо показатель экономики выбирается в качестве индикатора состояния экономики, он неизбежно перестает выполнять эту функцию, поскольку люди начинают манипулировать им".