Введение

Мера относительной важности журнала, показатель влияния журнала. Фактор влияния (IF) или индекс импакт-фактора журнала (JIF) – это наукометрический показатель, рассчитываемый компанией Clarivate, который отражает среднее количество цитирований статей, опубликованных в журнале за последние два года, согласно данным Web of Science от Clarivate. Как метрика, характеризующая журнал в целом, он часто используется в качестве индикатора относительной значимости журнала в своей области; журналы с более высоким фактором влияния считаются более важными или престижными в своей области, чем журналы с более низким значением. Несмотря на то, что он часто используется университетами и финансирующими организациями при принятии решений о продвижении по службе и рассмотрении исследовательских проектов, он подвергается критике за искажение принципов добросовестной научной практики.

История

Фактор воздействия был разработан Юджином Гарфильдом, основателем Института научной информации (ISI) в Филадельфии. Расчет факторов воздействия начался ежегодно с 1975 года для журналов, включенных в Journal Citation Reports (JCR). В 1992 году ISI была приобретена компанией Thomson Scientific & Healthcare и стала известна как Thomson ISI. В 2018 году Thomson Reuters выделила и продала ISI корпорациям Onex Corporation и Baring Private Equity Asia. Они основали новую корпорацию Clarivate, которая в настоящее время является издателем JCR.

Использование

Изначально разработанный как инструмент для помощи университетским библиотекарям в выборе журналов для приобретения, импакт-фактор вскоре стал использоваться в качестве показателя академической успешности. Это использование импакт-фактора было обобщено Хоффелем в 1998 году:

«Импакт-фактор – не идеальный инструмент для оценки качества статей, но нет ничего лучше, и он имеет преимущество в том, что уже существует, что делает его хорошим методом научной оценки. Опыт показывает, что в каждой области лучшие журналы – те, в которых сложнее всего опубликовать статью, и это журналы с высоким импакт-фактором. Большинство этих журналов существовало задолго до разработки импакт-фактора. Использование импакт-фактора в качестве меры качества широко распространено, поскольку оно соответствует нашему представлению о лучших журналах в каждой области знаний. В заключение, престижные журналы публикуют работы высокого уровня. Следовательно, их импакт-фактор высок, а не наоборот. Поскольку импакт-факторы являются показателем на уровне журнала, а не статьи или отдельного исследователя, такое использование вызывает споры. Юджин Гарфилд, изобретатель JIF, согласился с Хоффелем, но предупредил о «неправильном использовании при оценке отдельных лиц», поскольку существует «значительная вариативность [цитируемости] от статьи к статье в рамках одного журнала». Несмотря на это предупреждение, использование JIF развивалось и играет ключевую роль в оценке отдельных исследователей, их заявок на работу и предложений о финансировании. В 2005 году в журнале «Журнал клеточной биологии» было отмечено:

«Данные об импакт-факторах оказывают сильное влияние на научное сообщество, определяя решения о том, где публиковать, кого продвигать или нанимать, успех заявок на гранты и даже надбавки к заработной плате. А исследование 2017 года о поведении исследователей в области наук о жизни пришло к выводу, что «повседневные методы принятия решений в значительной степени определяются давлением на публикацию в журналах с высоким импакт-фактором». Глубоко укоренившийся характер таких показателей влияет не только на оценку исследований, но и на более фундаментальный вопрос о том, какие исследования проводятся: «Учитывая современные методы оценки и признания исследований, рискованные, длительные и нетрадиционные проекты редко становятся приоритетными».

Критика

Многочисленные критические замечания были высказаны в отношении использования импакт-фактора, как с точки зрения его статистической обоснованности, так и с точки зрения последствий для организации и оценки научной деятельности. Дальнейшая критика утверждает, что акцент на импакт-факторе является результатом негативного влияния неолиберальной политики на академическую среду. Некоторые из этих аргументов требуют не только замены импакт-фактора более совершенными метриками, но и обсуждения социальной значимости оценки исследований и растущей нестабильности научной карьеры в высшем образовании.

Неприменимость фактора воздействия к отдельным людям и различия между дисциплинами

Было отмечено, что импакт-факторы, в частности, и анализ цитирования в целом подвержены влиянию отраслевых факторов, что делает недействительными сравнения не только между различными дисциплинами, но и внутри разных областей исследований одной и той же дисциплины. Процент общего числа цитирований, приходящихся на первые два года после публикации, также значительно различается в зависимости от дисциплины: от 1–3% в математических и физических науках до 5–8% в биологических науках. Таким образом, импакт-факторы нельзя использовать для сравнения журналов в разных дисциплинах. Импакт-факторы иногда используются для оценки не только журналов, но и статей в них, что приводит к снижению ценности статей в определенных областях. В 2004 году Комитет по науке и технологиям Палаты общин призвал Совет по финансированию высшего образования Англии напомнить экспертным группам по оценке исследований об их обязанности оценивать качество содержания отдельных статей, а не репутацию журнала, в котором они опубликованы. Другие исследования неоднократно подчеркивали, что импакт-фактор является метрикой для журналов и не должен использоваться для оценки отдельных исследователей или учреждений.

Вопросная редакционная политика, влияющая на фактор воздействия

Поскольку импакт-фактор обычно принимается за показатель качества исследований, некоторые журналы принимают редакционную политику и практику, некоторые приемлемые, а некоторые сомнительные, для увеличения своего импакт-фактора. Например, журналы могут публиковать больший процент обзорных статей, которые, как правило, цитируются чаще, чем исследовательские отчеты. Исследование, проведенное в 2020 году в области стоматологии, показало, что публикация «систематических обзоров оказывает значительное влияние на импакт-фактор журналов, в то время как статьи, публикующие результаты клинических испытаний, не оказывают на него влияния. Более высокий среднегодовой показатель опубликованных статей означает более высокий импакт-фактор». Журналы также могут пытаться ограничить количество «цитируемых элементов» – то есть знаменатель уравнения импакт-фактора – либо отказываясь публиковать статьи, которые вряд ли будут цитироваться (например, клинические случаи в медицинских журналах), либо изменяя статьи (например, не допуская аннотацию или библиографию в надежде, что Journal Citation Reports не сочтет их «цитируемым элементом»). В результате переговоров о том, какие элементы являются «цитируемыми», наблюдались колебания импакт-фактора более чем на 300%. Элементы, которые считаются нецитируемыми и, следовательно, не включаются в расчет импакт-фактора, могут, в случае цитирования, все равно входить в числитель уравнения, несмотря на легкость, с которой такие цитаты можно было бы исключить. Этот эффект трудно оценить, поскольку различие между редакционным комментарием и краткими оригинальными статьями не всегда очевидно. Например, письма в редакцию могут относиться к обоим типам. Другая, менее злонамеренная тактика, используемая журналами, – это публикация значительной части своих статей, или, по крайней мере, статей, которые, как ожидается, будут широко цитироваться, в начале календарного года. Это дает этим статьям больше времени для накопления цитирований. Существует несколько методов, не обязательно с недобрыми намерениями, с помощью которых журнал может цитировать статьи из того же журнала, что увеличит его импакт-фактор. Помимо редакционной политики, которая может искажать импакт-фактор, журналы могут предпринимать прямые шаги для манипулирования системой. Например, в 2007 году специализированный журнал Folia Phoniatrica et Logopaedica с импакт-фактором 0,66 опубликовал редакционную статью, в которой цитировал все свои статьи за 2005–2006 годы в знак протеста против «абсурдной научной ситуации в некоторых странах», связанной с использованием импакт-фактора. Большое количество цитирований привело к увеличению импакт-фактора этого журнала до 1,44. В результате этого увеличения журнал не был включен в отчеты Journal Citation Reports за 2008 и 2009 годы. Принудительное цитирование – это практика, при которой редактор заставляет автора добавить ненужные цитаты в статью, прежде чем журнал согласится ее опубликовать, чтобы завысить импакт-фактор журнала. Опрос, опубликованный в 2012 году, показал, что принудительное цитирование испытывали один из пяти исследователей, работающих в области экономики, социологии, психологии и различных бизнес-дисциплин, и оно более распространено в бизнесе и в журналах с более низким импакт-фактором. Редакторы ведущих бизнес-журналов объединились, чтобы осудить эту практику. Однако о случаях принудительного цитирования иногда сообщалось и в других областях.

Предполагаемая корреляция между фактором воздействия и качеством

Фактор влияния журналов был первоначально разработан Юджином Гарфильдом как метрика, чтобы помочь библиотекарям принимать решения о том, какие журналы стоит индексировать, поскольку JIF агрегирует количество цитирований статей, опубликованных в каждом журнале. С тех пор JIF стал ассоциироваться с понятием «качества» журнала и получил широкое распространение для оценки исследований и исследователей, вплоть до институционального уровня. Таким образом, он оказывает значительное влияние на формирование исследовательской практики и поведения. К 2010 году национальные и международные организации, финансирующие исследования, уже начали указывать на то, что количественные показатели, такие как JIF, не следует рассматривать как меру качества. Фактически, исследования показали, что JIF – это легко манипулируемый показатель, и оправдание его дальнейшего широкого использования за пределами первоначального узкого назначения, по-видимому, связано с его простотой (легко вычисляемое и сопоставимое число), а не с реальной связью с качеством исследований. Эмпирические данные свидетельствуют о том, что ненадлежащее использование JIF – и метрик ранжирования журналов в целом – имеет ряд негативных последствий для системы научной коммуникации. К ним относятся расхождения между охватом журнала и качеством отдельных статей, недостаточное представительство социальных и гуманитарных наук, а также результатов исследований из Латинской Америки, Африки и Юго-Восточной Азии. Дополнительные недостатки включают маргинализацию исследований, проводимых на местных языках и посвященных локально значимым темам, и стимулирование неэтичных авторских и цитирований. В более широком смысле, фактор влияния способствует формированию экономики репутации, где научный успех определяется публикацией в престижных журналах, а не реальными качествами исследования, такими как строгость методологии, воспроизводимость и социальное воздействие. Использование престижа журнала и JIF для создания конкурентной среды в науке оказывает негативное влияние на качество исследований. В настоящее время ряд региональных и международных инициатив предлагают и рекомендуют альтернативные системы оценки исследований, включая ключевые документы, такие как Лейденский манифест и Сан-Францисская декларация об оценке исследований (DORA). План S призывает к более широкому внедрению и реализации этих инициатив наряду с фундаментальными изменениями в системе научной коммуникации. В качестве адекватных мер оценки качества для авторов и исследований, концепции исследовательского превосходства должны быть переосмыслены на основе прозрачных рабочих процессов и доступных результатов исследований.

Переговорные ценности

Результаты импакт-фактора могут резко меняться в зависимости от того, какие публикации считаются "цитируемыми" и, следовательно, включаются в знаменатель. Яркий пример этого произошел в 1988 году, когда было решено, что тезисы докладов, опубликованные в журнале FASEB, больше не будут учитываться в знаменателе. Импакт-фактор журнала вырос с 0,24 в 1988 году до 18,3 в 1989 году. Издатели регулярно обсуждают с Clarivate, как повысить "точность" импакт-фактора своих журналов и, таким образом, получить более высокие показатели.

Склонность распределения

Поскольку количество цитирований имеет сильно скошенные распределения, например, около 90% импакт-фактора Nature за 2004 год было основано только на четверти ее публикаций. Таким образом, фактическое число цитирований отдельной статьи в журнале в большинстве случаев значительно ниже среднего числа цитирований по всем статьям. Более того, связь между импакт-факторами журналов и частотой цитирования статей в них неуклонно ослабевает с момента появления статей в цифровом формате. Влияние выбросов можно увидеть на примере статьи "Краткая история SHELX", которая содержала следующее предложение: "Эта статья может служить общей литературной ссылкой при использовании одной или нескольких программ SHELX с открытым исходным кодом (и версии Bruker AXS SHELXTL) в процессе определения кристаллической структуры". Эта статья получила более 6600 цитирований. Как следствие, импакт-фактор журнала Acta Crystallographica Section A вырос с 2,051 в 2008 году до 49,926 в 2009 году, что превышает показатели Nature (31,434) и Science (28,103). Вторая по цитируемости статья в Acta Crystallographica Section A в 2008 году имела всего 28 цитирований. Критики JIF утверждают, что использование среднего арифметического при его расчете проблематично, поскольку распределение цитирований скошено, и в качестве альтернативы импакт-факторам предлагаются метрики распределения цитирований. Однако также высказывались призывы к более тонкому подходу к оценке степени скошенности распределения импакт-фактора. Уолтман и Трааг в своей статье 2021 года провели множество симуляций и пришли к выводу, что "статистические возражения против использования ИФ на уровне отдельных статей не являются убедительными", и что "ИФ может быть более точным индикатором ценности статьи, чем количество ее цитирований". Исследование 2020 года пошло еще дальше, указав, что путем запроса баз данных открытого или частично открытого доступа, таких как Google Scholar, ResearchGate и Scopus, можно рассчитать приблизительные импакт-факторы без необходимости приобретения Web of Science / JCR.

Более широкое негативное влияние на науку

Так же как фактор воздействия вызвал критику за различные непосредственные проблемы, связанные с его применением, так же была и критика, что его применение подрывает более широкий процесс науки. Исследования показали, что библиометрические показатели, особенно фактор влияния, снижают качество рецензирования статьи, вызывают нежелание делиться данными и сужают область публикуемых исследований. «Для многих исследователей единственными жизнеспособными исследовательскими вопросами и проектами являются те, которые могут соответствовать требованиям высоких баллов по показателям эффективности, и в первую очередь – по коэффициенту воздействия журнала». В феврале 2010 года Deutsche Forschungsgemeinschaft (Немецкий исследовательский фонд) опубликовал новые рекомендации по сокращению количества публикаций, которые можно представлять при подаче заявки на финансирование: «Внимание сместилось с того, какие исследования были проведены, на то, сколько статей было опубликовано и в каких изданиях». Они отметили, что при принятии решений о «распределении финансирования на основе результатов, квалификации постдокторантов, назначениях на должности или рассмотрении заявок на финансирование, все большее значение придается количественным показателям, таким как индекс Хирша и фактор воздействия». Исследование, проведенное в Великобритании в 2014 году, также запретило использование коэффициента воздействия журналов, хотя имелись свидетельства того, что этот запрет часто игнорировался. В ответ на растущую обеспокоенность по поводу ненадлежащего использования коэффициентов воздействия журналов при оценке научных результатов и самих ученых, Американское общество клеточной биологии совместно с группой редакторов и издателей научных журналов разработали Сан-Францисскую декларацию об оценке исследований (DORA). Опубликованная в мае 2013 года, DORA получила поддержку тысяч людей и сотен учреждений, которые поддержали документ на веб-сайте DORA. Издатели, даже те, у кого высокий фактор воздействия, также признали недостатки. Журнал Nature критиковал чрезмерную зависимость от JIF, указывая не только на его статистические недостатки, но и на негативные последствия для науки: «Возникающее давление и разочарование не что иное, как деморализующие, а в плохо организованных лабораториях могут поощрять небрежные исследования, которые, например, не проверяют предположения тщательно или не учитывают все данные перед публикацией громких заявлений». Различные издатели теперь используют комбинацию показателей на своих веб-сайтах; серия журналов PLOS не отображает фактор воздействия. Microsoft Academic придерживается аналогичной точки зрения, заявляя, что индекс Хирша, EI/SCI и факторы воздействия журналов не отображаются, поскольку «научная литература предоставила множество доказательств того, что эти показатели в лучшем случае являются лишь приблизительной оценкой влияния исследований и научной значимости». В 2021 году Утрехтский университет пообещал отказаться от всех количественных библиометрических показателей, включая фактор воздействия. Университет заявил, что «это превратилось в крайне нездоровую модель, которая выходит за рамки того, что действительно важно для науки и ее развития». Это последовало за решением 2018 года главного голландского органа финансирования исследований, NWO, удалить все ссылки на факторы воздействия журналов и индекс Хирша из всех текстов приглашений и форм заявок. Решение Утрехта встретило некоторое сопротивление. В открытом письме, подписанном более чем 150 голландскими учеными, утверждалось, что, хотя JIF и несовершенен, он все еще полезен, и его исключение «приведет к произволу и снижению качества научных исследований».

Другие меры научного воздействия

Дополнительные показатели на уровне журналов доступны от других организаций. Например, CiteScore – это метрика для серийных изданий в Scopus, запущенная в декабре 2016 года компанией Elsevier. Хотя эти метрики применимы только к журналам, существуют также показатели на уровне автора, такие как индекс Хирша (h-index), которые применяются к отдельным исследователям. Помимо этого, показатели на уровне статей измеряют влияние на уровне отдельных статей, а не журналов. Другие, более общие альтернативные метрики, или "альтметрики", включающие просмотры статей, скачивания или упоминания в социальных сетях, предлагают иной взгляд на влияние исследований, фокусируясь больше на немедленном социальном воздействии как внутри, так и за пределами академической среды.

Факторы воздействия контрафакции

Поддельные или фиктивные импакт-факторы создаются определенными компаниями или отдельными лицами. Согласно статье, опубликованной в журнале Electronic Physician, к ним относятся Global Impact Factor, Citefactor и Universal Impact Factor. Другой обманчивой практикой является представление "альтернативных импакт-факторов", рассчитываемых как среднее число цитирований на статью с использованием индексов цитирования, отличных от JCR, таких как Google Scholar (например, "Google based Journal Impact Factor") или Microsoft Academic. Ложные импакт-факторы часто используются недобросовестными издателями. Проверка в главном списке журналов Journal Citation Reports позволяет убедиться, индексируется ли публикация в Journal Citation Reports. Использование поддельных метрик импакта считается тревожным сигналом.