W jaki sposób trzy lipne czasopisma filozoficzne znalazły się w czołówce uznanego rankingu?

Niedawno nasz Wydział Filozoficzny Uniwersytetu Jagiellońskiego, podobnie jak wiele innych placówek na całym świecie, zaczął stosować ranking czasopism oparty na prowadzonej przez wydawnictwo Elsevier bazie Scopus. Ranking jest wykorzystywany do oceny wyników działalności naukowej pracowników stanowiącej podstawę przyznawania nagród i awansów. Z bazy tej korzystamy również w procesie rekrutacji.

Baza Scopus dostarcza trzy główne wskaźniki: CiteScore, SJR oraz SNIP. CiteScore zlicza otrzymane w czteroletnich okresach (np. 2020-2023) cytowania opublikowanych w tym samym czasie artykułów i dzieli tę liczbę przez sumę wszystkich prac opublikowanych w odnośnych interwałach. Wskaźniki SJR oraz SNIP – których używa nasz Wydział – są bardziej skomplikowane, a kompletny mechanizm obliczających je algorytmów nie jest publicznie dostępny. 

Przeglądając stworzoną przez Scopus listę dla kategorii filozofia zauważyliśmy, że w pierwszej dziesiątce rankingu wg CiteScore za 2023 rok znalazły się wydawane przez Addleton Academic Publishers – wydawnictwo, o którym nigdy wcześniej nie słyszeliśmy – trzy czasopisma: Linguistic and Philosophical Investigations (trzecie na liście 806 czasopism filozoficznych indeksowanych w Scopus w 2023 roku), Review of Contemporary Philosophy (5/806) oraz Analysis and Metaphysics (6/806). Wszystkie trzy weszły także do pierwszej setki rankingu wg SJR za 2023. 

Addleton wydaje także dwa inne czasopisma indeksowane w Scopus: Knowledge Cultures (67/806 wg CiteScore w kategorii filozofia, 8/1106 w kategorii literatura i teoria literatury) oraz Contemporary Readings in Law and Social Justice indeksowane w naukach społecznych (33/1025 w kategorii prawo). Początkowo w Scopus widniało dziewięć czasopism tego wydawcy, jednak cztery z nich zostały usunięte ze względu na „wątpliwości wydawnicze” zgodnie z najnowszą aktualizacją bazy z 5 maja 2024 r. Z początkiem maja 2024 r. na stronie internetowej Addleton ogłoszono, że Linguistic and Philosophical Investigations, Review of Contemporary Philosophy oraz Contemporary Readings in Law and Social Justice będą miały nowego wydawcę: Auricle Global Society of Education and Research, z siedzibą w Indiach. 

Jak wspomnianej wcześniej trójce udało się wejść do pierwszej dziesiątki w kategorii filozofia? Sztuczka jest tu dość prosta: wydawane przez Addleton periodyki obszernie się nawzajem cytują. I tak na przykład, z użytych w ustalaniu CiteScore za 2023 rok 541 cytowań odsyłających do Linguistic and Philosophical Investigations, 208 pochodziło z czasopism publikowanych przez Addleton, pozostałe głównie z periodyków wydawanych przez Frontiers oraz MDPI. 

Czasopisma, o których mowa, wypełnione są artykułami wygenerowanymi automatycznie, opartymi każdorazowo na takim samym szablonie, nagminnie nadużywającymi modnych terminów jak blockchain, metaverse, deep learning, immersive visualization, neuro-engineering technologies czy internet of things. Większość tych prac zapewnia, że bada najnowsze publikacje poświęcone owym tematom poprzez dokonanie „ilościowego przeglądu literatury” z wiodących baz danych oraz poddanie wstępnej analizie (zawsze!) od 170 do 180 artykułów spełniających przyjęte – lecz nieujawnione – „kryteria włączenia”. 

W artykułach tych twierdzi się, że po kontroli jakościowej dokonanej z użyciem narzędzi o nazwach AMSTAR, AXIS, MMAT, ROBIS itp. autorzy postanowili skoncentrować się na (zawsze!) 30-35 pracach. Znamienne są tu sformułowania takie jak „ocena ryzyka zniekształceń w przeglądach systematycznych dokonana przez ROBIS”, „ocena jakości badań intersekcjonalnych dokonana przez AXIS”, czy „ustalenie jakości artykułów akademickich oraz pomiar ryzyka zniekształceń przy użyciu MMAT” – pojawiające się w Google Scholar (w angielskim oryginale, stan na początek maja 2024 r.) 270 razy, wyłącznie w czasopismach opublikowanych przez Addleton.   

Choć po szybkim sprawdzeniu widać, że część autorów posiada rzeczywiste afiliacje, głównie w Rumuni, na Słowacji i w Czechach, niebagatelna liczba publikujących oraz ich akademickie referencje wyglądają na fałszywe – jak w przypadku autorów afiliowanych w “The Cognitive Labor Institute in New York,” “The Sustainable Industrial Networks Research Unit at CLI in Springfield, IL, USA,” czy “The Center for Sensing and Computing Technologies, Bradford at ISBDA, England” i posiadających adresy e-mail w domenie „aa-er.org”. Domena ta – używana także przez niektórych redaktorów naczelnych – należy do „the American Association for Economic Research”, które zgodnie z informacjami podanymi na swojej stronie internetowej zlokalizowane jest w tym samym miejscu, co Addleton (30-18 50th Street, Woodside, New York, NY, 11377), pod adresem zdającym się odsyłać do przypadkowego domku szeregowego w nowojorskiej dzielnicy Queens. 

Autorzy posługują się również fałszywymi numerami grantów przyznanych przez naszym zdaniem zmyślone instytucje – “Grant GE-1420897 from the Internet of Things Sensing Infrastructures Research Unit, Newport, Wales;” “Grant GE-1764317 from the Cyber-Physical Process Monitoring Systems Laboratory, Norwich, England;” “Grant GE-1823847 from the Internet of Things Sensing Networks Research Unit, Plymouth, England.” Jedna i ta sama rada redakcyjna obsługuje trzy czasopisma, dziesięcioro spośród jej członków to osoby zmarłe. 

Gdy nieformalnie zwróciliśmy na ten fakt uwagę niektórych kolegów i koleżanek zaangażowanych we wdrażanie rankingów czasopism na naszym Wydziale, spotkaliśmy się z obojętnością. Obecność nieistniejących czasopism na odnośnych listach jest najwidoczniej uznawana za nieniosąca ze sobą żadnych poważniejszych skutków. Lecz listy te, z punktu widzenia procesu oceny pracowników – na przykład przy nominacji do nagród rocznych – są uporządkowane według percentyli. A zatem fakt, że w rankingach opartych o Scopus widnieją trzy fałszywe czasopisma, może mieć praktyczne konsekwencje w postaci zepchnięcia do niższej kategorii trzech innych, rzetelnych periodyków, które na potrzeby naszej instytucjonalnej oceny powinny otrzymać wyższe notowania.  

Podjęliśmy próbę kontaktu z trzema „autorami” używającymi adresów w domenie „aa-er.org” z prośbą o przesłanie ich artykułów, nie otrzymaliśmy jednak odpowiedzi. Napisaliśmy również do przedstawicieli rad redakcyjnych odnośnych czasopism. Jedna osoba – Liz Jackson z Hong Kongu – potwierdziła, że została zaproszona do zespołu, lecz od tego czasu o nic ją nie proszono; zapowiedziała też, że zwróci się o usunięcie jej nazwiska ze składu redakcji. Jeden z nas (LW) wysłał także wiadomości do niektórych spośród na pierwszy rzut oka prawdziwych autorów z rumuńskiego Uniwersytetu w Krajowie z zaproszeniem do dyskusji na temat ich artykułów. Nikt nie odpowiedział. 

Rankingi tworzone w oparciu o bazę Scopus często służą uniwersytetom i grantodawcom za wskaźniki jakości prowadzonych badań, w tym również w dziedzinie filozofii. Pełnią one kluczową rolę przy podejmowaniu decyzji o przyznawaniu nagród akademickich, zatrudnianiu czy awansach i tym samym mogą kształtować strategie publikacyjne badaczy. W niedawnym artykule dotyczącym meta-rankingu czasopism filozoficznych pada stwierdzenie, że „CiteScore jest tym [wskaźnikiem], który najsilniej koreluje ze wszystkimi czterema meta-rankingami. Na tej podstawie można roboczo zasugerować preferencję dla CiteScore jako źródła informacji o czasopiśmie, jeżeli nie pojawia się ono w innych rankingach.” Nasze ustalenia pokazują, że instytucje badawcze powinny powstrzymać się przed automatycznym poleganiem na tego rodzaju klasyfikacjach. 

Tłumaczenie: Izabela Zwiech

Artykuł był pierwotnie opublikowany w języku angielskim na portalu Retraction Watch 12 czerwca 2024 r.: https://retractionwatch.com/2024/06/12/how-a-widely-used-ranking-system-ended-up-with-three-fake-journals-in-its-top-10-philosophy-list/

This research has received funding from the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement No 805498).

Bibliografia

de Bruin, B. (2023). Ranking philosophy journals: a meta-ranking and a new survey ranking. Synthese 202, 188. DOI: https://doi.org/10.1007/s11229-023-04342-9.