Ewaluacja jednostek naukowych 2017-2020

Wraz z projektem ustawy prawo o szkolnictwie wyższym i nauce – zwanej szumnie Konstytucją dla Nauki – pojawił się także cały pakiet projektów rozporządzeń (do ściągnięcia pod tym linkiem). Wśród nich – rozporządzenie w sprawie ewaluacji jakości działalności naukowej (do pobrania tu). Czy tak będzie wyglądać ocena parametryczna jednostek naukowych za lata 2017-2020? I tak i nie. Z jednej strony nie spodziewam się, by ostatecznie obowiązujące rozporządzenie było diametralnie różne od tego projektu. Z drugiej strony ogłoszenie projektu to początek lobbowania za wprowadzeniem poprawek, korekt, przywrócenia poprzednich rozwiązań. A że zmian jest wiele, dyskusja może być dość intensywna. Z uwagi na to, że to tylko projekt, ograniczę się do zreferowania zmian, a komentarz zredukuję do minimum.

Pierwsza zmiana, na którą natrafiłem, to zastąpienie KEJNu … Komisją Ewaluacji Nauki, a więc KENem. Kolejne zapisy przynoszą już zmiany bardziej znaczące. Ocena będzie przeprowadzona zatem w trzech obszarach (kryteriach), a nie jak do tej pory – czterech. Są to:

1. Ocena poziomu naukowego prowadzonej działalności naukowej
2. Ocena efektów finansowych badań naukowych
3. Ocena wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki

Ad. 1. Ocena poziomu naukowego prowadzonej działalności naukowej

Jeśli chodzi o ocenę poziomu naukowego, to brane będą pod uwagę publikacje oraz udzielone patenty na wynalazki. Nadal obowiązuje liczba 3N ograniczająca ilość zgłoszonych publikacji, ale prawdziwa rewolucja wiąże się z tym, z jakiej puli czerpane są te publikacje. Otóż upraszczając, każdy pracownik może zgłosić maksymalnie 4 publikacje (jeśli pracuje tylko w jednej dyscyplinie). Oznacza to że kończymy z systemem, w którym grupa często publikujących pracowników mogła ‘pociągnąć’ całą jednostkę. Oprócz osiągnięć pracowników wchodzących do liczby N, uwzględnia się także publikacje doktorantów kształcących się w szkole doktorskiej. Jeśli w jednostce są pracownicy, którzy nie opublikowali żadnej pracy, to liczbę 3N zmniejsza się o 3 na każdego takiego pracownika.

Co to wszystko oznacza? Otóż można sobie wyobrazić sytuację, w której dana jednostka nie będzie w stanie wypełnić limitu 3N … Wystarczy że spora grupa pracowników opublikuje 2 lub mniej prac w okresie sprawozdawczym. W tej sytuacji ‘kara’ za pracowników niepublikujących może być umowna, bo zmniejszy się limit prac, którego jednostka i tak nie była w stanie wypełnić (lub wypełniła bardzo nisko punktowanymi publikacjami).

Punktacja publikacji jest zupełnie nowa, dodatkowo zależna jest od wykazów czasopism i wydawców, których jeszcze nie ma. Zwłaszcza zawartość tego drugiego wykazu jest wielką niewiadomą i będzie miała kluczowe znaczenie dla nauk humanistycznych.

Artykuły w czasopiśmie z wykazu będą punktowane od 20 do 200 punktów. Artykuł z czasopisma poza wykazem to 5 pkt. Punktacja czasopism z wykazu zależna jest od ich pozycji: 20 (dolne 25% wykazu), 40 (górne 75%), 70 (górne 50%), l00 (górne 25%), 140 (górne 10%) albo 200 pkt (górne 1% wykazu). Wykaz będzie obejmował wyłącznie czasopisma umieszczone w bazach Web of Science oraz Scopus, co oznacza pełne dowartościowanie tej drugiej bazy (w poprzednim systemie premię za Scopusa otrzymywały jedynie czasopisma z listy C). UWAGA – znika lista B (ciekawe jaka będzie skala protestów w odniesieniu do tego rozwiązania!), co oznacza punktową degradację dla tych czasopism, które w porę nie ‘załapią’ się do baz. Ministerstwo zapowiada program wsparcia dla 250 czasopism, które nie są jeszcze w bazach międzynarodowych. Artykuły w nich opublikowane punktowane będą tak, jakby czasopismo było w bazie – czyli za 20 pkt.

Wykaz wydawców wg którego oceniane będą monografie będzie miał dwa poziomy – poziom I, przygotowany we współpracy z Biblioteką Narodową, obejmować ma uznane krajowe wydawnictwa o zasięgu krajowym i zagranicznym, natomiast poziom II stworzony będzie w oparciu o istniejące i używane w wielu krajach międzynarodowe zestawienia najbardziej prestiżowych wydawców międzynarodowych. O ocenie monografii poprzez wydawnictwa w których się ukazują, czyli taki system jaki obowiązuje dla oceny konkretnych artykułów w czasopismach, pisałem już tu. Monografie wydane przez oficyny z poziomu I wyceniane są na 80 pkt, te z poziomu II na 250 pkt. Monografie spoza wykazu to 20 pkt.

Uproszczono system punktacji monografii, redakcji i rozdziałów. W poprzednim rozporządzeniu dużo zależało od ilości autorów, oznaczenia autorstwa, ilości arkuszy autorstwa pracowników jednostki, itp., itd. Teraz mamy punktowane monografie, ich redakcję (odpowiednio 10, 40 i 125 pkt) oraz rozdziały – 5, 20 oraz 70 pkt.

Nowe rozwiązania dotyczą także kwestii współautorstwa. Punkty za zarówno najwyżej punktowane artykuły (140 i 200 pkt) jaki i monografie (250 pkt) nie będą dzielone. Niżej punktowane prace współautorskie mnożone są przez pierwiastek stosunku ilości autorów z jednostki do wszystkich autorów, a te najniżej punktowane przez tenże stosunek (ale w obu przypadkach nie może to być mniej niż 10% punktów za artykuł/monografię). Co więcej, te najwyżej punktowane prace mogą być uwzględnione w danym podmiocie więcej niż raz – w różnych dyscyplinach.

W naukach społecznych i humanistycznych łączna ilość monografii, redakcji i rozdziałów nie może przekroczyć 40% liczby 3N. To także zmiana, bo wcześniej ten limit dotyczył wyłącznie monografii i rozdziałów, które i tak raczej nie wchodziły do oceny z uwagi na bardzo niską punktację.

Podsumowując tę część rozporządzenia, należy podkreślić znaczną inflację punktacji, co utrudnia ocenę nowych rozwiązań. Porównanie z poprzednią punktacją nie jest proste, bo zasady jej ustalania są inne (np. progi punktacji czasopism), ale można wychwycić pewne zależności. Jeśli chodzi o artykuły, to im wyżej czasopismo w rankingu, tym większy wzrost punktacji. Od mnożnika 1,3 (15 vs 20 pkt) do 4 (od 50 do 200 pkt, choć przedziały są – jak wspomniałem – różne). Bardzo mocno zyskują monografie (pod warunkiem znalezienia się wydawcy w wykazie) – mnożnik od 3,2 do nawet 10 (czy też 5, jeśli porównamy punktację monografii wybitnej z tą z II poziomu). Rozdziały też są mocno docenione = mnożnik 4, nie wspominając już o rozdziałach w monografiach z II poziomu. Te zmiany spotkają się zapewne z akceptacją części środowiska.

Ad 2. Ocena efektów finansowych badań naukowych

Tu zasady są bardzo proste, bo punkty przyznawane są za pozyskanie określonych środków na realizację projektów:

< 200 000 zł – 10 pkt

200 000 – 2 000 000 zł – 40 pkt

Powyżej 2 000 000 zł – 80 pkt.

Liczbę punktów mnoży się przez dwa jeśli środki przyznane są przez ERC. Ostateczny wynik w tym kryterium uzyskuje się przez podzielenie sumy punktów przez liczbę N.

Ad. 3. Ocena wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki

Tę ocenę przeprowadza się „na podstawie opisów zawierających udowodniony, w szczególności w formie artykułów naukowych, monografii naukowych, raportów, cytowań w innych dokumentach lub publikacjach, związek między najważniejszymi wynikami badań naukowych lub prac rozwojowych albo działalności naukowej w zakresie twórczości artystycznej a gospodarką, ochroną zdrowia, kulturą i sztuką, ochroną środowiska przyrodniczego lub innymi czynnikami wpływającymi na rozwój cywilizacyjny społeczeństwa, zwanych dalej „opisami wpływu”.

Jednostki o N<50 zgłaszają dwa ‘opisy wpływu’, pozostałe maksymalnie 5.

Kategorie

Przypisanie do konkretnej kategorii odbywać się ma podobnie jak to było poprzednio – na podstawie wyniku porównania z jednostką referencyjną A, B+ oraz B. Zgodnie z zapowiedziami, pojawia się zatem nowa kategoria B+.

Kategoria A+ wyłaniana będzie na podstawie dodatkowej eksperckiej oceny działalności, która przeprowadzana jest dla jednostek które zostały zaliczone do kategorii A oraz w kryterium I uzyskały ocenę nie mniejszą niż 80% najwyższej oceny w danej dyscyplinie.

Uwagi na koniec

Tak jak pisałem we wstępie, jest to jedynie projekt rozporządzenia, co oznacza że być może największą korzyścią z tego wpisu będzie łatwe wychwycenie zmian w kolejnych projektach. Czytając tekst tego projektu trudno oprzeć się wrażeniu, że powstawał on w pośpiechu. Mimo wielokrotnej lektury, nadal nie jestem w stanie pojąć istoty zapisu w § 6 ust. 7:

Nie mniej niż 80% artykułów naukowych, o których mowa w § 4 ust. l pkt l, uwzględnia się w dyscyplinie naukowej wskazanej w oświadczeniu, o którym mowa w art. 266 ust. 11 ustawy, jeżeli artykuł został opublikowany w czasopiśmie naukowym, którego obszar tematyczny określony według klasyfikacji All Science Journal Classifłcation (ASJC) jest zgodny z tą dyscypliną.

Natomiast samo uzasadnienie to nic więcej jak … streszczenie rozporządzenia. Cóż, pozostaje czekać na kolejny projekt, w nadziei że pod koniec 2020 wszystko i tak nie zostanie zdefiniowane na nowo.