4. Vertailulukujen ja pisteiden laskeminen tutkimuksessa 4. Vertailulukujen ja pisteiden laskeminen tutkimuksessa Impaktiluku kertoo, kuinka paljon kyseisessä sarjassa ilmestyneisiin julkaisuihin keskimäärin referoidaan myöhemmissä tieteellisissä tutkimuksissa. Mitä enemmän viittauksia tehdään, sitä tärkeämpi kyseinen julkaisusarja on tieteen kehitykselle, sitä innokkaammin tutkijat pyrkivät saamaan tuloksensa julkaistuiksi juuri tässä lehdessä, sitä korkeammaksi muodostuu julkaisukynnys ja sitä parempi on sarjassa ilmestyneiden artikkelien keskimääräinen tieteellinen taso. Lehtien toimittajien ja heidän hankkimiensa asiantuntijoiden suuri ja arvokas työpanos saadaan näin maksutta arviointityön käyttöön. Impact factor antaa julkaisujen laadusta vaivattomasti eräänlaisen peer review -evaluaation.
Työni kohteena olevissa laboratorioissa suoritetun tutkimuksen pisteet olen laskenut niin, että yksikön kaikkien tieteellisten julkaisujen impaktilukujen I neliöjuuret on summattu, jolloin saadaan tutkimuksen pisteluku neliöjuurien summana ja tästä edelleen tutkimuksen vertailuluku
Normeerauskerroin d tarvitaan, kuten perustutkimuksessakin, sillä tieteellisten julkaisusarjojen keskimääräiset impaktiluvut vaihtelevat eri aloilla suuresti. Kertoimien määräämiseksi laskin taulukosta 7 julkaisujen impaktilukujen neliöjuuren keskiarvot eri ryhmissä. Tämän perusteella otin käyttöön seuraavat normeerauskertoimet: F- ja K-ryhmissä d = 1.0, E-ryhmässä d = 1,5, M-ryhmässä d = 4,5 ja T-ryhmässä d = 10,0. Eri ryhmien julkaisutulokset on näin saatu likimäärin yhteismitallisiksi; d:n korkea arvo tietojenkäsittelytieteessä kuitenkin osoittaa, että alan julkaisukulttuuri on muista ryhmistä poikkeava. M-ryhmän d = 4,5 johtuu osaksi myös siitä, että matemaatikot julkaisevat vähemmän kuin fyysikot tai kemistit. Tutkimuksen normeeratut vertailuluvut on kirjattu T -sarakkeeseen taulukossa 7.
Impaktiluvun käyttö ottaa julkaisutuotannon määrän lisäksi huomioon myös sen laadun. Fysiikassa impaktiluvut I vaihtelevat rajoissa 0,1 -- 20, mikä ainakin tässä vaiheessa olisi liian raju kerroin julkaisujen laadun arvioimiseksi. Juuri sen vuoksi otin käyttöön suureen ÷I, sillä näin vaihteluväliksi muodostuu kohtuullisempi 0,3 -- 4,5. Esimerkiksi Physical Review Letters'in impaktiluku 7,11 (kts. SCI Journal Citation Reports, 1993) laskee arvoon 2,67, Journal of Low Temperature Physics'in 1,01 säilyy samana ja Canadian Journal of Physics'in 0,33 nousee arvoon 0,57. Eräiden tavallisimpien tieteellisten julkaisusarjojen impaktiluvut näkyvät taulukosta 6.
Tutkimuksen tulosta laskiessani olen ottanut huomioon ne referoiduissa sarjoissa ilmestyneet tieteelliset artikkelit, joissa laitoksen nimi on mukana julkaisun otsikko-osassa (ns. byline), mutta sen sijaan en niitä, joissa laitoksen tutkija on tehnyt työn muualla, esimerkiksi ulkomailla, ja joissa suomalaiseen laboratorioon viitataan tyypillisesti vain sanonnalla 'on leave of absence from' tai 'permanent address'. Muistettakoon, että hyvyysluokitukseni koskee primaarisesti laitoksia, ei yksittäisiä tutkijoita. Heidän julkaisupisteensä on kuitenkin laskettu ja niitä käytetään silloin, kun laitoksen poikkeuksellisen tuotteliaat tutkijat on haluttu erikseen mainita (kts. jakso 19.5.). Konferenssiabstraktit ja korkeakoulujen tai laitosten omissa sarjoissa painetut työt, joiden impaktiluku = 0, eivät kuulu hyvyysluokituksen piiriin. Jos konferenssin proceedings on ilmestynyt referoidussa tieteellisessä lehdessä, julkaisut tulevat mukaan. Ne artikkelit, jotka on tehty yhteistyössä muiden laitosten kanssa, ovat laskelmassa koko painollaan. Erilaisten laajojen kollaboraatioiden julkaisut on otettu mukaan, jos työstä käy ilmi, että asianomainen laitos tai laboraatio on kollaboraation aktiivinen jäsen. Review-artikkelit eivät vaadi erityistä käsittelyä, sillä monilla niitä julkaisevilla sarjoilla on korkea impaktiluku.
Oppikirjojen tapaan (kts. jakso 7.3.) tieteelliset monografiat ja kirjoissa ilmestyneet tieteelliset artikkelit on arvioitu erikseen. Ne olen ottanut mukaan antamalla kullekin teokselle impaktiluvun, jonka olen itse päättänyt tutustuttuani minulle lähetettyyn materiaaliin. Pistemäärät vaihtelevat neljäsosasta kahteen artikkeliin alan huippulehdissä (esimerkiksi Reviews of Modern Physics fysiikassa). Tieteellisiä kirjoja lähetettiin arvioitaviksi yhteensä 40, mutta niiden merkitys kokonaistuloksessa, muutamia laitoksia lukuun ottamatta, on pieni.
Impaktiluku ei ota huomioon artikkelin pituutta, joka myös heijastuu työn tieteelliseen merkitykseen. Tekijöiden lukumäärä vaikuttaa ansioiden jakautumiseen, mutta sitäkään en ole ottanut huomioon asiaan liittyvien vaikeuksien takia. Esimerkiksi hiukkasfysiikan alaan kuuluvissa töissä saattaa olla mukana jopa 200 tekijää ja yli 50 laboratoriota. Jos ensimmäinen tekijä ratkaisisi, syntyisi vinoumia ja helposti kiistaa nimien järjestyksestä; tieteellinen yhteistyö eri laboratorioiden ja tutkijoiden välillä kärsisi pahasti.
Esimerkkejä impaktiluvun vaikutuksesta. Kuvan 1 diagrammeissa matematiikan ja kemian tutkimuksen korkeakoulukohtaiset vertailuluvut (jokaisen yliopiston kaikkien M- ja kaikkien K-ryhmän laitosten tulokset on yhdistetty) on asetettu paremmuusjärjestykseen keskimmäisen pylväsrivin mukaan, joka on laskettu käyttämällä impaktilukujen neliöjuurien summaa jaettuna panostuksella, 
, kuten olen arvioinneissa kaikkialla muutenkin tehnyt. Valkoisissa pylväsriveissä pystyakselilla on käytetty referoiduissa lehdissä julkaistujen artikkelien lukumäärää N/P ja mustissa pylväiköissä impaktilukua sellaisenaan eli lauseketta 
. Kuvasta näkyy impact factorin vaikutus tutkimuksen vertailulukuun. Esimerkiksi JY:n ja TKK:n tutkimustulokset matematiikassa on julkaistu yleensä korkean impaktiluvun lehdissä, sillä mustassa pylväikössä, jossa nämä korkeakoulut pärjäävät erityisen hyvin, impact factorin vaikutus on suurin. ÅA:n ja TY:n matemaatikkojen käyttämillä lehdillä taas on matalammat impaktiluvut, koska nämä korkeakoulut menestyvät parhaiten valkoisessa pylväikössä, jossa impaktiluku ei vaikuta tulokseen, kunhan julkaisu on ilmestynyt referoidussa lehdessä. Kuvan 1 alaosassa analysoidaan impaktilukujen merkitystä kemian laitosten tieteelliseen tuotoksen arvioinnissa. OY:n ja KuY:n tutkimustulokset on julkaistu korkean impaktiluvun lehdissä. TKK:n ja JY:n suosimilla lehdillä taas on matalat impaktiluvut.
Kuvasta 1 selviää, että impaktiluvulla on vaikutusta matematiikan ja kemian laitosten paremmuusjärjestykseen; sama pitää paikkansa muidenkin aineryhmien kohdalla. Impaktiluvun merkitys on kuitenkin pienempi kuin etukäteen olisi ehkä voinut odottaa. Tämä johtuu siitä, että parhaatkaan laboratoriot eivät läheskään aina onnistu julkaisemaan tutkimustuloksiaan korkean impaktiluvun lehdissä. Tekemäni kompromissi, impaktilukujen neliöjuuren käyttö tutkimuksen arvioinnissa, on mielestäni onnistunut. Kohtuullisen usein korkeakoulujen matematiikan ja kemian laitosten marssijärjestys muuttuu. Artikkelit referoimattomissa lehdissä putoavat kokonaan pois. Lisää kommentteja eri laitosten julkaisujen impaktiluvuista on jaksossa 19.4.