Koska tieteen eri aloilla impaktilukujen skaala vaihtelee suuresti, suoraa vertailua ei yleensä tule tehdä edes eksaktien luonnontieteiden omassa piirissä ilman normeerausta. Esimerkiksi matematiikan ja fysiikan laitosten keskinäistä arviointia varten on otettava huomioon ainekohtaiset erot, kuten olen tehnyt (kts. jakso 7.4.). Sensijaan eri yliopistojen matematiikan laitosten keskinäinen suora vertailu on mahdollista. Joillakin erikoisaloilla tapana on ollut käyttää pääasiallisena julkaisufoorumina suppean levikin omaavia spesiaalilehtiä, joiden impaktiluvut ovat pieniä tai niitä ei lasketa ollenkaan. Minusta tämä käytäntö ei ole tieteen yleisen edistämisen kannalta suotava. Julkaisusarja voi tietenkin olla niin uusi, ettei se vielä ole mukana impaktilukujen listauksissa.
Suomalaisten yliopistojen usein käyttämä menettely jakaa julkaisusarjat kahteen ryhmään, referoidut lehdet ja muut, ei riitä, sillä monissa peer review -systeemiä käyttävissä sarjoissa julkaisukynnys on sangen matala; löytyy myös referoituja sarjoja, jotka potevat tieteellisten artikkelien puutetta. Lehtien jakaminen tavallisiin ja huippusarjoihin kirjoittajan oman harkinnan mukaan on liian karkea asteikko ja johtaa aina subjektiivisiin yliarviointeihin.
Huippukorkean impaktiluvun (noin 20) omaavat lehdet Nature ja Science julkaisevat artikkeleita kaikilta luonnontieteiden aloilta. Jokaiselle tutkijalle on mielenkiintoinen ja opettava kokemus yrittää saada oma työnsä hyväksytyksi näihin lehtiin. On suorastaan jännittävää odottaa asiantuntijoiden arviota tutkimuksesta ja yrittää puolustaa omia tuloksiaan. Kritiikistä saatu oppi on arvokasta heti ja myös vastaisuudessa. Jos kiihkeän kirjeenvaihdon jälkeen artikkeli menee läpi, juodaan shampanjaa, jos ei, lähetetään työ hieman vähemmän vaativaan lehteen!
Aikaisempi suomalainen tapa. Parikymmentä vuotta sitten meillä pidettiin tärkeänä, että suomalaiset tutkijat julkaisevat työnsä kotimaisissa tieteellisissä sarjoissa. Uskottiin, että Suomen tiede tulee parhaiten maailmalla tunnetuksi, kun sen tulokset ilmestyvät lehdissä, joiden nimessä on mukana sana Fennica! Mitään huomiota ei kiinnitetty siihen, että näiden sarjojen painosmäärät olivat pieniä ja että ne levisivät enimmäkseen vaihtokappaleina ulkomaisten tiedeakatemioiden kirjastoihin, joissa ne eivät olleet tutkijoiden helposti saatavilla. Sama virheellinen käytäntö on eräillä tieteen aloilla edelleen meillä voimassa. Kotimaisia sarjoja ei haluta lakkauttaa pieteetti- tms. syistä. Julkaisukäytäntö on kuitenkin saatava muuttumaan kaikilla tieteen sektoreilla.
Luonnollisesti on tärkeää huomata, että osa hyvätasoisista kansainvälisistä tieteellisistä lehdistä ilmestyy meillä suomalaisen päätoimittajan alaisena. Kritiikkini ei tietenkään koske näitä lehtiä. Suomalaisen Tiedeakatemian julkaiseman Mathematica -sarjan (Annales Academiae Scientiarum Fennicae, Series A I) impaktiluku on 0,203, siis matematiikan lehdelle varsin hyvä. Tärkeä korkean tieteellisen tason ja kansainvälisyyden tunnusmerkki on, että lehdellä on arvovaltainen, eri maiden tutkijoista koostuva toimituskunta ja että julkaisujen arvioinneissa käytetään kansainvälisiä asiantuntijoita peer review -systeemin mukaan. Nämä kriteerit tulisi asettaa Suomen Akatemian myöntämien julkaisuavustusten ehdoksi. Tukea saavat lehdet on muutenkin arvioitava niiden impaktiluvun perusteella.
Prof. Tapio Nikkari julkisti joulukuussa 1995 korkeakouluneuvoston toimeksiannosta laatimansa selvityksen Suomen lääketieteen tutkimus bibliometrian valossa (Korkeakouluneuvoston julkaisuja 5/1995). Alustavat tulokset olivat käytettävissäni jo aikaisemmin. Impaktilukuun perustuvassa analyysissä on otettu huomioon vain Science Citation Indexissä mukana olevat lehdet. Yhteisjulkaisuista jokainen tutkimukseen osallistunut yksikkö sai täydet pisteet tekijöitten keskinäisestä järjestyksestä riippumatta. Letter -tyyppiset julkaisut karsittiin pois. Huipulle nousivat teoreettiset aineet ja alimmaksi jäivät eräät kliiniset alat. Sekä julkaisujen kokonaisimpaktien että sitaattien määrän perusteella HY:n lääketieteellisen tiedekunnan tulos opettajaa kohti on lähes kaksi kertaa parempi kuin KuY:n ja TY:n, joiden produktiviteetti taas on selvästi korkeampi kuin OY:n ja TaY:n lääketieteellisten tiedekuntien. Samanlaisella menettelyllä arvioituina kolme ruotsalaista lääketieteellistä tiedekuntaa menestyi suomalaisten kanssa keskimäärin yhtä hyvin. Mielenkiintoista on, että impaktit antoivat hyvin samanlaisia tuloksia kuin viiteanalyysi.
Suomalaisia eksaktien luonnontieteiden laitoksia koskevan analyysini kannalta olisi ollut luonnollisesti eduksi, jos vertailukohteeksi olisi otettu edes muutamia vastaavia laitoksia ulkomaisista korkeakouluista. Ajattelin valita Princetonin yliopiston Yhdysvalloista, Cambridge'in yliopiston Englannista ja Uppsalan yliopiston Ruotsista, mutta resurssini eivät valitettavasti riittäneet arviointityön suorittamiseen.
Professorin virkojen täyttö. Impaktiluvun etuna tieteellistä työtä arvioitaessa on mm. se, että kerroin on tärkeiden julkaisusarjojen kohdalta helposti kirjastoista saatavissa ja pidetään ajan tasalla. Tutkijan oma subjektiivinen käsitys työnsä tieteellisestä tasosta jää kokonaan pois. Impaktiluku soveltuu sekä laitosten että yksityisten tutkijoiden tieteellisen työn arviointiin ja sitä on, de facto, yhä useammin ruvettu käyttämään professorin viroista annettujen asiantuntijalausuntojen pohjana. Tavallisesti hakijoiden määrä on niin suuri, että jyvät on ennen varsinaista arviointia erotettava akanoista suhteellisen nopealla menetelmällä. Toinen paljon käytetty mittari, Science Citation Index soveltuu yksityisen tutkijan työn evaluointiin, mutta se laahaa perässä, koska viittaukset tulevat pääosin vasta 1 -- 5 vuotta julkaisun ilmestymisen jälkeen. Tämä on vakava puute erityisesti silloin, kun hyvyysluokitusta halutaan käyttää jatkettavien tai uusien tutkimusohjelmien valitsemiseen.