Журналның ықпалдық көрсеткіші және маңызы

Кіріспе

Журналдың салыстырмалы маңыздылығын және ықпалын өлшеу. Академиялық журналдың әсер коэффициенті (IF) немесе журналдың әсер коэффициенті (JIF) – Clarivate компаниясы есептейтін және Clarivate Web of Science дерекқоры бойынша тіркелген журналдағы соңғы екі жылда жарияланған мақалалардың жылдық орташа цитаталану санын көрсететін ғылыми метрика. Журнал деңгейіндегі өлшем ретінде, ол өз саласындағы журналдың салыстырмалы маңыздылығын бағалау үшін жиі қолданылады; әсер коэффициенті жоғары журналдар төменгі көрсеткіштерге ие журналдарға қарағанда олардың салаларында маңыздырақ және беделдірек деп есептеледі. Университеттер мен қаржыландыру ұйымдары оны кадрлық тағайындау және ғылыми-зерттеу жобаларын бағалау үшін жиі пайдаланса да, бұл көрсеткіштің ғылыми тәжірибені бұрмалауы мүмкін деген сын айтылады.

Тарих

Импакт-факторды Филадельфиядағы Ғылыми ақпарат институтының (ISI) негізін қалаушы Юджин Гарфилд жасады. 1975 жылдан бастап «Journal Citation Reports» (JCR) тізіміндегі журналдар үшін әсер факторлары жыл сайын есептеліп келеді. 1992 жылы ISI компаниясын Thomson Scientific & Healthcare сатып алды, ол Thomson ISI деп аталды. 2018 жылы Thomson Reuters ISI-ді Onex Corporation және Baring Private Equity Asia компанияларына бөліп сатты. Олар «Clarivate» деген жаңа корпорация құрды, ол қазір JCR-ді шығарушы болып табылады.

Қолдану

Бастапқыда университет кітапханашыларына қай журналдарды сатып алуға шешім қабылдауға көмектесу үшін құрал ретінде ойлап табылған импакт-фактор, көп ұзамай академиялық жетістікті бағалау өлшемі ретінде қолданыла бастады. 1998 жылы Хоффель импакт-факторларды қолдануды былай қорытындылады:

Импакт-фактор мақалалардың сапасын өлшеу үшін мінсіз құрал емес, бірақ одан жақсырақ ештеңе жоқ, және ол қазірдің өзінде бар болғандықтан, ғылыми бағалау үшін тиімді әдіс болып табылады. Тәжірибе көрсеткендей, әр мамандық бойынша ең жақсы журналдар – мақалаларды қабылдау қиын болған журналдар, және олардың импакт-факторы жоғары. Осы журналдардың көпшілігі импакт-фактор ойлап табылмас бұрын-ақ пайда болған. Импакт-факторды сапа өлшемі ретінде қолдану кең таралған, себебі ол әр сала бойынша ең жақсы журналдар туралы біздің пікірімізбен сәйкес келеді. Қорытындылай келе, беделді журналдар жоғары деңгейдегі мақалалар жариялайды. Сондықтан олардың импакт-факторы жоғары, ал керісінше емес. Импакт-факторлар мақала немесе жеке тұлға деңгейіндегі өлшем емес, журнал деңгейіндегі өлшем болғандықтан, мұндай қолдану даулы. JIF-тің авторы Евгений Гарфилд Хоффельмен келісті, бірақ «бір журналда мақаладан мақалаға сілтемелердің үлкен айырмашылығы бар екендігіне» байланысты «жеке тұлғаларды бағалауда дұрыс емес пайдалану» туралы ескертті. Осы ескертуге қарамастан, JIF қолданысы дамыды және жеке зерттеушілерді, олардың жұмысқа өтініштерін және қаржыландыру ұсыныстарын бағалау процесінде маңызды рөл атқарады. 2005 жылы «The Journal of Cell Biology» журналы мынаны атап өтті:

«Импакт-фактор деректері ғылыми қауымдастыққа күшті әсер етеді, қайда жариялауға, кімді жұмысқа алуға немесе жоғарылатуға, грант өтініштерінің табыстылығына және тіпті жалақы бонустарына қатысты шешімдерге әсер етеді. 2017 жылы жасалған зерттеуде, өмір ғылымдарындағы зерттеушілердің мінез-құлқы «күнделікті шешім қабылдау практикасы жоғары импакт-факторлы журналдарда жариялауға байланысты қысыммен күшті реттеледі» деген қорытындыға келді. Мұндай көрсеткіштердің терең тамырлануы зерттеулерді бағалауға ғана емес, сонымен қатар қандай зерттеулер жүргізілетінінің өзекті мәселесіне де әсер етеді: «Зерттеулерді бағалау мен құндылық берудің қазіргі әдістерін ескере отырып, тәуекелді, ұзақ және дәстүрлі емес жобалар көбінесе назар орталығында болмайды».

Сын

Импакт-факторларды қолдануға қатысты көптеген сын-пікірлер айтылды, олардың статистикалық дұрыстығы және ғылымның қалай жүргізіліп, бағалануына тигізетін әсері тұрғысынан. Тағы да сыншылар импакт-факторға артық көңіл бөлудің себебі академиялық ортаға неолибералдық саясаттың теріс ықпалы екенін айтады. Осы пікірлердің кейбіреулері тек импакт-факторды күрделірек көрсеткіштермен алмастыруды ғана емес, сонымен қатар зерттеулерді бағалаудың қоғамдық құндылығы және жоғары білім берудегі ғылыми карьераның нашарлауы туралы әңгіме қозғауды қажет етеді.

Импакт фактордың жеке адамдарға қолданылмауы және пәндер арасындағы айырмашылықтар

Әсіресе әсер факторлары және жалпы цитаталық талдау салалық факторлардың ықпалына түседі, бұл пәндер арасындағы және тіпті бір пәннің әртүрлі зерттеу салаларындағы салыстыруларды дұрыс емес етеді. Жарияланғаннан кейінгі алғашқы екі жылдағы жалпы цитаталардың үлесі пәндерге қарай кең ауқымда өзгереді: математика және физика ғылымдарында 1–3% болса, биология ғылымдарында 5–8% құрайды. Сондықтан әсер факторларын пәндер арасындағы журналдарды салыстыру үшін пайдалануға болмайды. Кейде әсер факторлары журналдарды ғана емес, сонымен қатар ондағы мақалаларды бағалау үшін қолданылады, бұл кейбір тақырыптардағы мақалалардың құнын төмендетеді. 2004 жылы Англияның Жоғары білім беруді қаржыландыру кеңесіне Парламенттің Ғылым және технология жөніндегі комитеті Research Assessment Exercise комиссияларын жеке мақалалардың мазмұнының сапасын бағалауға міндетті екендерін еске салуға ұсыныс жасады, журналдың беделін емес. Басқа зерттеулер әсер факторы журналдарды бағалауға арналған өлшем екенін және жеке зерттеушілерді немесе мекемелерді бағалау үшін қолданылмауы керек екенін бірнеше рет көрсетті.

Импакт-факторға әсер ететін редакциялық саясаттың күмәнділігі

Импакт-фактор ғылыми зерттеу сапасының көрсеткіші ретінде қабылдануы себепті, кейбір журналдар оның әсерін арттыру үшін редакциялық саясат пен тәжірибені қабылдайды, олардың кейбіреуі тиімді, ал кейбіреуі күмәнді мақсаттарға бағытталған. Мысалы, журналдар зерттеу есептеріне қарағанда көбірек сілтеме алатын шолу мақалаларын жариялауға баса назар бөлуі мүмкін. 2020 жылы стоматологиялық журналдар бойынша жүргізілген зерттеулер «системалық шолулардың» жариялануы журналдың импакт-факторына елеулі әсер етеді, ал клиникалық сынақтарды жариялаған мақалалар бұл көрсеткішке әсер етпейді деген қорытындыға келді. Жарияланған мақалалардың жылдық орташа санының артуы – жоғары импакт-фактордың көрсеткіші. Журналдар «цитатаға ие элементтердің» санын шектеуге тырысуы мүмкін, яғни импакт-фактор теңдеуінің бөлімін – цитаталануы екіталай мақалаларды (мысалы, медициналық журналдардағы жағдай туралы есептерді) жариялаудан бас тарту арқылы немесе мақалаларды өңдеу арқылы (мысалы, Journal Citation Reports оны «цитаталанатын элемент» деп санамауы үшін мақалаға түсіндірме немесе сілтемелер тізімін қоспау арқылы) азайтуға тырысады. Элементтердің «цитатаға ие» болуы туралы келіссөздердің нәтижесінде импакт-фактордың 300%-дан астам ауытқуы байқалған. Цитаталанбауға тиіс элементтер, егер цитаталанса, тіпті оларды оңай алып тастауға болатын жағдайда да, теңдеудің бөлігіне енуі мүмкін. Бұл әсерді бағалау қиын, себебі редакциялық түсініктеме мен қысқа ғылыми мақалалар арасындағы шекара әрдайым анық болмайды. Мысалы, редакторға жолданған хаттар екі түрдің біріне жатуы мүмкін. Журналдар қолданатын тағы бір тәсіл – жылдың басында көптеген мақалаларды немесе жоғары цитаталануы күтілетін мақалаларды жариялау. Бұл мақалаларға цитаталар жинау үшін көбірек уақыт береді. Журналдар өз мақалаларын бір-біріне сілтеу арқылы импакт-факторын арттыруға бағытталған бірнеше әдістер бар, бұл әдістер міндетті түрде жаман ниетпен жасалмайды. Редакциялық саясаттың импакт-факторды бұрмалауынан өзге, журналдар жүйемен күресу үшін белсенді қадамдар жасауы мүмкін. Мысалы, 2007 жылы 0,66 импакт-факторына ие Folia Phoniatrica et Logopaedica журналы «кейбір елдердегі ғылыми жағдайдың абсурдтылығына» наразылық білдіре отырып, 2005-2006 жылдардағы барлық мақалаларын сілтеме еткен редакциялық мақала жариялады. Көптеген сілтемелердің нәтижесінде журналдың импакт-факторы 1,44-ке дейін өсті. Осының салдарынан журнал 2008 және 2009 жылдарғы Journal Citation Reports-қа енбеді. Мәжбүрлеп сілтеме жасау – редактор авторды журналдың импакт-факторын арттыру үшін мақалаға қатысы жоқ сілтемелерді қосуға мәжбүрлейтін тәжірибе. 2012 жылы жарияланған сауалнамаға сәйкес, экономика, социология, психология және бизнес салаларындағы әрбір бес зерттеушінің бірі мәжбүрлеп сілтеме жасауға тап болған, бұл бизнес саласында және импакт-факторы төмен журналдарда жиі кездеседі. Жетекші бизнес журналдарының редакторлары бірлесіп, бұл тәжірибені жоққа шығарды. Алайда, басқа ғылым салаларында да мәжбүрлеп сілтеме жасау туралы хабарлар келіп түседі.

Because impact factor is commonly accepted as a proxy for research quality, some journals adopt editorial policies and practices, some acceptable and some of dubious purpose, to increase its impact factor. For example, journals may publish a larger percentage of review articles which generally are cited more than research reports. Research undertaken in 2020 on dentistry journals concluded that the publication of "systematic reviews have significant effect on the Journal Impact Factor while papers publishing clinical trials bear no influence on this factor. Greater yearly average of published papers means a higher impact factor." Journals may also attempt to limit the number of "citable items"—i. e., the denominator of the impact factor equation—either by declining to publish articles that are unlikely to be cited (such as case reports in medical journals) or by altering articles (e. g., by not allowing an abstract or bibliography in hopes that Journal Citation Reports will not deem it a "citable item"). As a result of negotiations over whether items are "citable", impact factor variations of more than 300% have been observed. Items considered to be uncitable—and thus are not incorporated in impact factor calculations—can, if cited, still enter into the numerator part of the equation despite the ease with which such citations could be excluded. This effect is hard to evaluate, for the distinction between editorial comment and short original articles is not always obvious. For example, letters to the editor may be part of either class. Another less insidious tactic journals employ is to publish a large portion of its papers, or at least the papers expected to be highly cited, early in the calendar year. This gives those papers more time to gather citations. Several methods, not necessarily with nefarious intent, exist for a journal to cite articles in the same journal which will increase the journal's impact factor. Beyond editorial policies that may skew the impact factor, journals can take overt steps to game the system. For example, in 2007, the specialist journal Folia Phoniatrica et Logopaedica, with an impact factor of 0.66, published an editorial that cited all its articles from 2005 to 2006 in a protest against the "absurd scientific situation in some countries" related to use of the impact factor. The large number of citations meant that the impact factor for that journal increased to 1.44. As a result of the increase, the journal was not included in the 2008 and 2009 Journal Citation Reports. Coercive citation is a practice in which an editor forces an author to add extraneous citations to an article before the journal will agree to publish it, in order to inflate the journal's impact factor. A survey published in 2012 indicates that coercive citation has been experienced by one in five researchers working in economics, sociology, psychology, and multiple business disciplines, and it is more common in business and in journals with a lower impact factor. Editors of leading business journals banded together to disavow the practice. However, cases of coercive citation have occasionally been reported for other disciplines.

Импакт-фактор мен сапа арасындағы болжамды байланыстылық

Журналдың әсер ету факторын Юджин Гарфилд бастапқыда кітапханашыларға қай журналдарды индекстеуге тұрарлық екендігі туралы шешім қабылдауға көмектесетін өлшем ретінде әзірлеген, себебі JIF әр журналда жарияланған мақалаларға сілтемелердің санын жинақтайды. Содан бері JIF журналдың «сапалы» екендігінің белгісі ретінде қабылданып, ғылыми зерттеулер мен зерттеушілерді бағалау үшін, тіпті институционалдық деңгейде кеңінен қолданыла бастады. Осылайша, ол зерттеу тәжірибесі мен мінез-құлқына елеулі әсер етеді. 2010 жылға қарай ұлттық және халықаралық ғылыми-зерттеуді қаржыландыру ұйымдары JIF сияқты сандық көрсеткіштерді сапаны бағалаудың өлшемі ретінде қарастыруға болмайтынын айта бастады. Шындығында, зерттеулер JIF-тің жоғары манипуляцияланған көрсеткіш екенін көрсетті және оның бастапқы шектеулі мақсатынан тыс кеңінен қолданылуының себебі оның қарапайымдылығында (оңай есептелетін және салыстыруға болатын сан) жатыр, ал емес зерттеу сапасымен байланысында. Эмпирикалық деректер JIF-тің және жалпы журналдар рейтингісінің дұрыс қолданылмауы ғылыми коммуникация жүйесіне бірқатар теріс салдарлар әкелетінін көрсетеді. Оларға журналдың таралуы мен оның жеке мақалаларының сапасы арасындағы айырмашылықтар, әлеуметтік және гуманитарлық ғылымдарды, сондай-ақ Латын Америкасы, Африка және Оңтүстік-Шығыс Азиядан түсетін зерттеу нәтижелерін жеткіліксіз қамту кіреді. Қосымша кемшіліктерге жергілікті тілдерде және жергілікті маңызы бар тақырыптардағы зерттеулерді маргинализациялау, авторлық және сілтеме жасау этикасын бұзу кіреді. Жалпы алғанда, әсер ету факторлары бедел экономикасын қалыптастырады, онда ғылыми жетістік қатаң әдістер, қайталанатындық және әлеуметтік әсер сияқты нақты зерттеу сапасынан гөрі беделді журналдарда жариялауға негізделеді. Журналдың беделін және JIF-ті академиялық ортада бәсекелестік жүйесін дамыту үшін пайдалану зерттеу сапасына зиянды әсер ететіні дәлелденді. Қазіргі уақытта көптеген өңірлік және халықаралық бастамалар ғылыми зерттеулерді бағалаудың баламалы жүйелерін ұсынады, соның ішінде Лейден манифесті және Сан-Франциско зерттеулерді бағалау туралы декларациясы (DORA) сияқты маңызды құжаттар бар. Plan S мұндай бастамаларды кеңінен қабылдауды және іске асыруды, сондай-ақ ғылыми коммуникация жүйесінде түбегейлі өзгерістерді талап етеді. Авторлар мен зерттеулердің сапасын бағалау үшін зерттеулердің үздік тұжырымдамалары ашық процестер мен қолжетімді зерттеу нәтижелеріне негізделген жаңа модельде болуы керек.

The journal impact factor was originally designed by Eugene Garfield as a metric to help librarians make decisions about which journals were worth indexing, as the JIF aggregates the number of citations to articles published in each journal. Since then, the JIF has become associated as a mark of journal "quality", and gained widespread use for evaluation of research and researchers instead, even at the institutional level. It thus has significant impact on steering research practices and behaviours. By 2010, national and international research funding institutions were already starting to point out that numerical indicators such as the JIF should not be considered as a measure of quality. In fact, research was indicating that the JIF is a highly manipulated metric, and the justification for its continued widespread use beyond its original narrow purpose seems due to its simplicity (easily calculable and comparable number), rather than any actual relationship to research quality. Empirical evidence shows that the misuse of the JIF—and journal ranking metrics in general—has a number of negative consequences for the scholarly communication system. These include gaps between the reach of a journal and the quality of its individual papers and insufficient coverage of social sciences and humanities as well as research outputs from across Latin America, Africa, and South East Asia. Additional drawbacks include the marginalization of research in vernacular languages and on locally relevant topics and inducement to unethical authorship and citation practices. More generally, the impact factors fosters a reputation economy, where scientific success is based on publishing in prestigious journals ahead of actual research qualities such as rigorous methods, replicability and social impact. Using journal prestige and the JIF to cultivate a competition regime in academia has been shown to have deleterious effects on research quality. A number of regional and international initiatives are now providing and suggesting alternative research assessment systems, including key documents such as the Leiden Manifesto and the San Francisco Declaration on Research Assessment (DORA). Plan S calls for a broader adoption and implementation of such initiatives alongside fundamental changes in the scholarly communication system. As appropriate measures of quality for authors and research, concepts of research excellence should be remodelled around transparent workflows and accessible research results.

Келісілген бағалар

Импакт фактордың нәтижелері қандай материалдар "цитатталатын" деп есептеліп, сол арқылы бөліміне енгізілетініне байланысты күрт өзгеріп қалуы мүмкін. Мұның бір айқын мысалы 1988 жылы болды, ол кезде FASEB журналында жарияланған конференция тезистері енді бөліміне қосылмайды деген шешім қабылданды. Осы шешімнен кейін журналдың импакт факторы 1988 жылы 0,24-тен 1989 жылы 18,3-ке дейін өсті. Баспагерлер Clarivate компаниясымен журналдарының импакт факторының "дәлдігін" қалай арттыруға болатынын үнемі талқылайды, соның арқасында жоғары балл алуға тырысады.

Таралудың ауытқуы

Цитированиелар санының таралуы өте қисық болғандықтан, мысалы, Nature журналының 2004 жылғы әсер факторының шамамен 90% оның басылымдарының тек төрттен біріне негізделген. Осылайша, журналдағы бір мақалаға жасалған цитированиелердің нақты саны, мақалалар бойынша цитированиелердің орташа санынан көп жағдайда әлдеқайда төмен болады. Бұған қоса, журналдардың әсер факторлары мен олардағы мақалалардың цитирование деңгейлері арасындағы байланыс, мақалалар цифрлық форматта қолжетімді бола бастағаннан бері үнемі азайып келеді. "SHELX тарихының қысқаша шолуы" мақаласының мысалында ерекше жағдайлардың әсерін көруге болады, онда былай делінген: "Бұл мақала, кристалл құрылымын анықтау барысында ашық кодты SHELX бағдарламаларының (және Bruker AXS нұсқасы SHELXTL) бірі немесе бірнешеуі қолданылған кезде, жалпы әдебиеттік сілтеме ретінде пайдаланылуы мүмкін". Бұл мақала 6600-нан астам цитирование алған. Осының салдарынан Acta Crystallographica журналының A бөлімінің әсер факторы 2008 жылы 2,051-ден 2009 жылы 49,926-ға дейін өсті, бұл Nature (31,434) және Science (28,103) көрсеткіштерінен жоғары. 2008 жылы Acta Crystallographica журналының A бөліміндегі ең көп цитирование алған екінші мақала тек 28 цитирование алған. JIF-тің сыншылары оның есептеуінде арифметикалық орташаның қолданылуының қиындықтарын атап көрсетеді, себебі цитирование таралу үлгісі қисық және цитирование таралу көрсеткіштері әсер факторларына балама ретінде ұсынылған. Дегенмен, әсер факторының таралу қисықтығын бағалауда көбірек ескерерлік тұстар болуы керек деген пікірлер де айтылды. Уолтман мен Траг 2021 жылғы зерттемелерінде көптеген модельдеулер жүргізіп, "жеке мақалалар деңгейінде ИФ-ті қолдануға қарсы статистикалық қарсылықтар сенімді емес" деген және "ИФ мақаланың цитирование санына қарағанда оның құндылығын дәлмеу көрсеткіші болуы мүмкін" деген қорытындыға келді. 2020 жылғы зерттеу жұмысы одан да әрі барып, Google Scholar, ResearchGate және Scopus сияқты ашық немесе жартылай ашық дерекқорларға сұраныс жіберу арқылы Web of Science / JCR сатып алу қажеттілігінсіз шамамен әсер факторларын есептеуге болатынын көрсетті.

Because citation counts have highly skewed distributions, For example, about 90% of Natures 2004 impact factor was based on only a quarter of its publications. Thus the actual number of citations for a single article in the journal is in most cases much lower than the mean number of citations across articles. Furthermore, the strength of the relationship between impact factors of journals and the citation rates of the papers therein has been steadily decreasing since articles began to be available digitally. The effect of outliers can be seen in the case of the article "A short history of SHELX", which included this sentence: "This paper could serve as a general literature citation when one or more of the open source SHELX programs (and the Bruker AXS version SHELXTL) are employed in the course of a crystal structure determination". This article received more than 6,600 citations. As a consequence, the impact factor of the journal Acta Crystallographica Section A rose from 2.051 in 2008 to 49.926 in 2009, more than Nature (at 31.434) and Science (at 28.103). The second most cited article in Acta Crystallographica Section A in 2008 had only 28 citations. Critics of the JIF state that use of the arithmetic mean in its calculation is problematic because the pattern of citation distribution is skewed and citation distributions metrics have been proposed as an alternative to impact factors. However, there have also been pleas to take a more nuanced approach to judging the distribution skewness of the impact factor. Waltman and Traag, in their 2021 paper, ran numerous simulations and concluded that "statistical objections against the use of the IF at the level of individual articles are not convincing", and that "the IF may be a more accurate indicator of the value of an article than the number of citations of the article". A 2020 research paper went further. It indicated that by querying open access or partly open access databases, like Google Scholar, ResearchGate, and Scopus, it is possible to calculate approximate impact factors without the need to purchase Web of Science / JCR.

Ғылымға кері әсері

Импакт-фактордың қолданылуымен байланысты түрлі мәселелерге сынға ұшырағандай, оның қолданылуы ғылымның өркендеу процесін құлдыратады деген сын да айтылды. Зерттеулер көрсеткендей, библиометриялық көрсеткіштер, әсіресе импакт-фактор, мақалаға жасалатын рецензия сапасын төмендетіп, деректерді бөлісуге қарсылық тудырады және жариялануға болатын зерттеулердің ауқымын тарылтады. "Көптеген зерттеушілер үшін қолжетімді көрінетін зерттеу сұрақтары мен жобалары – бұл көрсеткіштер бойынша жақсы нәтижелерге қол жеткізуге мүмкіндік беретін және, ең алдымен, журналдың импакт-факторына сай келетін талаптарды қанағаттандыру ғана". 2010 жылдың ақпан айында Deutsche Forschungsgemeinschaft (Германия зерттеу қоры) қаржыландыруға өтініш берген кезде ұсынылатын жарияланымдар санын азайтуға бағытталған жаңа нұсқаулықтарды жариялады: "Көбінесе қандай зерттеулер жүргізілгеніне емес, қанша мақала жарияланды және қайда жарияланды дегенге назар аударылады". Олар "қаржыландыруды бөлу, докторантурадан кейінгі біліктілік, тағайындау немесе қаржыландыру ұсыныстарын қарау шешімдерінде h-индексі және импакт-фактор сияқты сандық көрсеткіштерге маңыздылық артқан" дерін атап өтті. Ұлыбританияның 2014 жылғы зерттеулерді бағалау жүйесі журналдың импакт-факторына тыйым салды, бірақ бұл тыйым көбінесе сақталмағаны анықталды. Ғылыми нәтижелерді және ғалымдарды бағалауда журналдың импакт-факторларын орынсыз пайдалану туралы артып келе жатқан алаңдаушылыққа жауап ретінде Америкалық жасуша биология қоғамы, ғылыми журналдардың редакторлары мен баспагерлерінің тобымен бірлесіп, зерттеулерді бағалау жөніндегі Сан-Франциско декларациясын (DORA) жасады. 2013 жылдың мамырында жарияланған DORA құжатын мыңдаған адамдар мен жүздеген мекемелер мақұлдады және DORA веб-сайтында қолдауларын білдірді. Баспагерлер, тіпті жоғары импакт-факторы барлар да, бұл кемшіліктерді мойындады. Nature журналы JIF-ке артық сенім артуды сынға алып, оның статистикалық кемшіліктеріне ғана емес, ғылымға тигізетін теріс әсерлеріне де назар аударды: "Осыдан туындайтын қысым мен көңілсіздік адамдарды әлсіретеді, ал нашар басқарылатын зертханаларда, мысалы, үлкен мәлімдемелер жасамас бұрын болжамдарды мұқият тексермеуге немесе барлық деректерді ескермеуге мүмкіндік беретін салмақты емес зерттеулерді ынталандыруы мүмкін". Әртүрлі баспагерлер өз веб-сайттарында әртүрлі көрсеткіштерді пайдаланады; PLOS журналдары сериясы импакт-факторын көрсетпейді. Microsoft Academic осыған ұқсас көзқарас білдірді, h-индексі, EI/SCI және журналдың импакт-факторлары көрсетілмейтінін, өйткені "зерттеу әдебиеттері бұл көрсеткіштер зерттеу әсерінің және ғылыми ықпалдың ең жақсы жағдайда жуық шамасы екенін дәлелдеді". 2021 жылы Утрехт университеті барлық сандық библиометриядан, соның ішінде импакт-факторынан бас тартуға уәде берді. Университет "бұл ғылымды дамытуға және ғылым үшін маңызды нәрселерге емес, ауруға шаққан модельге айналды" деді. Бұл голланд зерттеулерін қаржыландырудың негізгі органы NWO-ның 2018 жылғы шешімінен кейін жасалды, онда барлық шақыру мәтіндері мен өтінім нысандарында журналдың импакт-факторларына және h-индексіне барлық сілтемелер алынып тасталды. Утрехт университетінің шешімі кейбір қарсылықтарға тап болды. 150-ден астам голланд ғалымдары қол қойған ашық хатта, бұл кемшілік болғанымен, JIF әлі де пайдалы екендігі және оны алып тастау "көптеген жағдайларға және ғылыми сапаның төмендеуіне әкелуі мүмкін" делінген.

Just as the impact factor has attracted criticism for various immediate problems associated with its application, so has there also been criticism that its application undermines the broader process of science. Research has indicated that bibliometrics figures, particularly the impact factor, decrease the quality of peer review an article receives, cause a reluctance to share data, and a reduce the scope in of publishable research. "For many researchers the only research questions and projects that appear viable are those that can meet the demand of scoring well in terms of metric performance indicators – and chiefly the journal impact factor.". In February 2010, the Deutsche Forschungsgemeinschaft (German Research Foundation) published new guidelines to reduce the number of publications that could be submitted when applying for funding: "The focus has not been on what research someone has done but rather how many papers have been published and where." They noted that for decisions concerning "performance based funding allocations, postdoctoral qualifications, appointments, or reviewing funding proposals, [where] increasing importance has been given to numerical indicators such as the h index and the impact factor". The UK's Research Assessment Exercise for 2014 also banned the journal impact factor although evidence suggested that this ban was often ignored. In response to growing concerns over the inappropriate use of journal impact factors in evaluating scientific outputs and scientists themselves, the American Society for Cell Biology together with a group of editors and publishers of scholarly journals created the San Francisco Declaration on Research Assessment (DORA). Released in May 2013, DORA has garnered support from thousands of individuals and hundreds of institutions, who have endorsed the document on the DORA website. Publishers, even those with high impact factors, also recognised the flaws. Nature magazine criticised the over reliance on JIF, pointing not just to its statistical flaws but to negative effects on science: "The resulting pressures and disappointments are nothing but demoralizing, and in badly run labs can encourage sloppy research that, for example, fails to test assumptions thoroughly or to take all the data into account before submitting big claims." Various publishers now use a mixture of metrics on their website; the PLOS series of journals does not display the impact factor. Microsoft Academic took a similar view, stating that h index, EI/SCI and journal impact factors are not shown because "the research literature has provided abundant evidence that these metrics are at best a rough approximation of research impact and scholarly influence." In 2021, Utrecht University promised to abandon all quantitative bibliometrics, including the impact factor. The university stated that "it has become a very sick model that goes beyond what is really relevant for science and putting science forward". This followed a 2018 decision by the main Dutch funding body for research, NWO, to remove all references to journal impact factors and the h index in all call texts and application forms. Utrecht's decision met with some resistance. An open letter signed by over 150 Dutch academics argued that, while imperfect, the JIF is still useful, and that omitting it "will lead to randomness and a compromising of scientific quality".

Ғылыми әсердің басқа шаралары

Журнал деңгейіндегі қосымша көрсеткіштер басқа ұйымдардан да қолжетімді. Мысалы, CiteScore – Elsevier компаниясы 2016 жылдың желтоқсанында Scopus жүйесінде іске қосқан сериялық басылымдардың көрсеткіші. Бұл көрсеткіштер тек журналдарға ғана қатысты болғанымен, жеке зерттеушілерге арналған h-индексі сияқты автор деңгейіндегі көрсеткіштер де бар. Сонымен қатар, мақала деңгейіндегі көрсеткіштер журнал деңгейі орнына мақала деңгейіндегі әсерді өлшейді. Басқа да жалпылама альтернативті көрсеткіштер, немесе "алтметриялар" мақалалардың қаралымдары, жүктемелері немесе әлеуметтік желілердегі айтылуларын қамтиды, зерттеу әсеріне өзгеше көзқарас ұсынады, академиялық ортаның ішінде де, сыртында да дереу әлеуметтік әсерге көбірек назар аударады.

Жалған өнімнің әсер ету факторлары

Кейбір компаниялар немесе жеке тұлғалар жалған әсер факторларын немесе қотару әсер факторларын жасап шығарады. Electronic Physician журналында жарияланған мақалада көрсетілгендей, олардың қатарында Global Impact Factor, Citefactor және Universal Impact Factor бар. Тағы бір алдаушылық амал – JCR-ден өзге цитата индекстерін, мысалы Google Scholar (мәселен, "Google негізіндегі журнал әсер факторы") немесе Microsoft Academic қолданып, мақалаға шақырған цитаталардың орташа санын есептеу арқылы "балама әсер факторларын" көрсету. Қотару әсер факторларын көбінесе қанаушы баспагерлер пайдаланады. Басылымның Журнал цитаталары есебінде тіркелгенін анықтау үшін Журнал цитаталары есебінің негізгі журнал тізіміне жүгінуге болады. Жалған әсер көрсеткіштерін пайдалану – ескерту белгісі саналады.