2. Arvioinnin toteuttaminen 2. Arvioinnin toteuttaminen Panostus. Vertailuluku, josta hyvyysluokka määräytyy, on siis output/input. Kohdeyksikön saaman panostuksen eli inputin olen laskenut hyvin yksinkertaisesti. Pidin oikeana ottaa mukaan ainoastaan korkeakoulun suoran rahoituksen P (toimintamenoraha) tarkastelun kohteena olevaan laitokseen, siis siellä työskentelevän oman henkilökunnan palkat, laitehankintabudjetin ja muut kulut, vastaisuudessa myös vuokrat. Poikkeuksellisen suuret kertaluontoiset ostot, kuten Jyväskylän syklotroni, on vähennetty kokonaan. Samaa P:n arvoa on käytetty kaikissa indikaattoriluokissa (perusopetus, jatkokoulutus, tutkimus). Ulkopuolisista lähteistä saatuja tuloja ei ole laskettu panostukseen, sillä ne on laitos omalla työllään ansainnut eikä ole oikein, että ne laskentakaavan nimittäjässä huonontaisivat tulosta. Tällaisia varoja ovat esimerkiksi Suomen Akatemian, SITRA:n tai TEKES:in tutkimusrahat, EU:lta saadut varat, sekä koti- tai ulkomaisten säätiöiden stipendit. Opetusministeriön antaman huippuyksikköstatuksen myötä omalta korkeakoululta saadut lisämäärärahat ovat myös ansaittuja varoja, eikä niitä sen vuoksi tule ottaa mukaan panostukseen. Sama koskee korkeakoulujen itsensä myöntämää 'keihäänkärkirahaa'. Muutenhan voisi käydä niin, että menestyksekkäästä työstä saadut palkinnot automaattisesti pudottaisivat yksikön hyvyysluokitusta portaan tai kaksi!
Palvelututkimuksen tuotto sensijaan tulee mukaan panostukseen, mikäli varat on kanavoitu laitokselle korkeakoulun budjetin kautta. Jos toiminta perustuu yksikön erikoislaitteilla tehtyihin rutiininomaisiin töihin, tulo on epäilemättä syytä laskea panostukseen.
Koska olen ottanut huomioon ainoastaan korkeakoulun itsensä antamat budjettivarat, panoksen laskeminen tulosvastuullisille yksiköille oli suhteellisen yksinkertaista, mutta työ vaati vaivaa ja huolellisuutta. Luonnollisesti esimerkiksi silloin, kun Suomen Akatemia haluaa tietää tukemansa tutkimusryhmän hyvyysluokan, panokseen pitää ottaa mukaan ainakin Akatemian itsensä antama rahoitus.
Laskutyö. Arviointini koskee kolmivuotiskautta 1992 -- 94. Jotta työni perustuisi oikeaan informaatioon, pyysin arviointini kohteina olevia yksiköitä lähettämään ensimmäisen sivun referoiduissa tieteellisissä sarjoissa ilmestyneistä julkaisuistaan em. kolmivuotiskaudella. Kirjoista pyysin näytteeksi yhden kappaleen, jonka palautin otettuani sen huomioon arviointityössä. Muut numerotiedot ovat pääpiirteissään peräisin kyselylomakkeesta (kts. taulukko 5), jonka lähetin kaikille arviointini kohteille. Olen kiitollinen laitosten ja laboratorioiden johtajille siitä, että sain tarvitsemani materiaalin helposti ja nopeasti.
Tämän jälkeen kaikki hyvyysluokat laskettiin johdollani. Työn tekivät pääosin Jani Jalkala ja Anita Rautamäki. Arvokasta ja asiantuntevaa apua sain dosentti Peter Berglundilta ja varsinkin dosentti Hannu I. Miettiseltä, joka teki paljon arvokasta työtä. Avustajani suorittivat tulosten tarkistuksen ja monia niihin liittyviä analyysejä, jotka käsittivät erilaisia taulukoita ja graafisia esityksiä. Erityistilanteet pyrittiin ottamaan huomioon. Lopuksi kävin kertyneen informaation perusteella itse läpi kaikki arviointini kohteena olleet laitokset ja laboratoriot, jolloin korjasin muutamia ilmeisen virheellisiä luokituksia.
Opetusministeriön ylläpitämästä KOTA-tietokannasta oli vain vähän apua. Nykyisessä muodossaan tietokanta ei sovellu tutkimusaktiviteetin evaluointiin edes tiedekuntatasolla, puhumattakaan laitos- tai laboratoriokohtaisista arvioinneista. Jotta professorikuntaa ei tulevaisuudessa tarvitsisi vaivata monilla erilaisilla kyselyillä, opetusministeriöön perustetun arviointineuvoston tulisikin suunnitella KOTA uudelleen opetuksen ja tutkimuksen kvantitatiivis-kvalitatiivista evaluointia varten. Tulosten luotettavuus on samalla huolellisesti varmistettava. Uusi KOTA on laadittava niin, että korkeakoulujen keskinäiset vertailut ovat mahdollisia, ja myös siten, että kansainvälisille arviointiryhmille tiedot voidaan antaa sellaisinaan.