Måling af forskningsproduktivitet og -kvalitet

Publiceret April 2005

Øget politisk pres for evalueringer på universitets- og sektorforskningsområdet sætter fokus på, hvordan der kan udvikles værktøjer, som hjælper forskningsinstitutionerne med at give et retvisende billede af deres aktiviteter. Registreringen af aktiviteterne skal bl.a. bruges til fremadrettede diskussioner om prioriteringer på centrale og decentrale niveauer. Men definitioner og anvendelse af indikatorer på de forskellige aktiviteter giver anledning til forskellige vanskeligheder betinget af analysens detaljeringsgrad og formål. Artiklen her giver et indblik i de problemstillinger, der arbejdes med nationalt og international i forbindelse med de såkaldte performancevurderinger.

I dag findes der ingen internationale standarder for rating af universiteter og andre forskningsinstitutioner. Det metodiske grundlag for universiteternes performancevurderinger er ofte stærkt varierende fra undersøgelse til undersøgelse. men selv om mange af metoderne kan anfægtes, har disse ratings en omdømmeskabende effekt, når medierne gengiver dem, og universiteterne må derfor forholde sig konkret og aktivt til dem. Det enkelte universitet har derfor en interesse i at synliggøre sin performance målt i forhold til andre universiteter på en retvisende måde og udnytte effekten positivt.

Universiteter og andre forskningsinstitutioner skal i stadig større grad være i stand til at gøre rede for deres aktiviteter, og for deres forvaltning af de tildelte ressourcer. Udover dette bagudrettede sigte er det mindst lige så vigtigt at registreringen skal kunne bruges til fremadrettede diskussioner om prioriteringer mv. på centrale og decentrale niveauer.

Performance-vurderinger af universiteter er blevet gennemført på nationalt og internationalt niveau i mange år. De har primært været udført af nationale forskningspolitiske og universitetskoordinerende centre i Mellemeuropa, Storbritannien og USA samt EU og OECD.

I de senere år har der været et stærkt øget fokus på ranking af universiteterne. Initiativet kommer ofte fra aviser og nyhedsmagasiner og bestilles hos konsulentfirmaer (som i tilfældet The Times Higher Education Supplement, bilag til The Times, november 2004), men kan også komme fra universiteter (som Shanghai Jiao Tong University i 2003 og 2004). Ser man på omtalen i medierne imødekommer undersøgelserne tilsyneladende en interesse hos en bred offentlighed. Det metodiske grundlag er ofte stærkt varierende fra undersøgelse til undersøgelse, men bygger typisk på input- og output-indikatorer for forskning og uddannelse, der findes tilgængelige på universiteternes hjemmesider eller via standardkilder som Thomson Scientific’s Science Citation Index. Rangordningerne er således mere et udtryk for analytikernes valg og vægtning af indikatorer, end for institutionernes relative kvalitative placering.

De overordnede valg af metoder og data giver ikke overraskende forskellige placeringer af de enkelte universiteter i de forskellige rankings, hvilket illustreres nedenfor.

Vurdering af forskellige metoder

Definitioner og anvendelse af kvantitative indikatorer til brug for performance-målinger giver anledning til forskellige vanskeligheder betinget af analysens detaljeringsgrad og formål.

Der arbejdes både nationalt og internationalt med disse problemstillinger. Et eksempel på det første er undersøgelser fra TheCenter, der udvikler metoder og data for især økonomiske analyser af universiteter i USA. TheCenter har bl.a. påvist effekten af et normaliseret faculty-begreb ud fra forskellige optællingsmetoder (all full-time ranked/ all full-time tenure/ ranked faculty who teach 50%) på måling af forskningsproduktivitet(1).

Et eksempel på det andet er EUA (European University Association), der i 2003 lod udarbejde en grundig rapport: Quality Assurance - A Reference System for Indicators and Evaluation Procedures(2). Ud over at påpege de generelle problemer forbundet med at sammenligne institutioner med varierende forskningsmæsig profil, størrelse og strukturelle forhold, fremhæves især, at de data, der er til rådighed, ofte har tvivlsom værdi som indikatorer, eksempelvis fordi de reflekterer forskellige organisatoriske strukturer.

EU-Kommissionen udarbejder løbende rapporter, hvor performance-målinger indgår, fx Third European Report on Science & Technology Indicators, 20033. Ud over omhyggeligt at redegøre for det metodiske grundlag, påpeges også, hvorledes forskellige faktorer kan påvirke den videnskabelige produktivitet og gennemslagskraft og dermed også antallet af publikationer og citationers validitet som indikator for videnskabelig aktivitet og produktivitet.

Eksempelvis påvirker tidligere års investeringer i forbindelse med forskningsmæssige indsatsområder artikelproduktionen og nogle forskningsfelter vil komme bedre ud i målingerne end andre. Der er stærkt varierende publikationshastigheder - på nogle områder sker publiceringen inden for et år, på andre kan der gå flere år med at gennemføre processen således, at det ikke er den nyeste forskning, der afspejles.

Typiske performance indicators

Publikationsopgørelser optræder næsten i alle rankings. Antallet af publikationer siger i sig selv ikke noget om forskningens kvalitet eller nytte, kun noget om volumen og produktivitet, hvor man skal tage højde for de traditionelle forskelle mellem forskningsområder. Der er kun i få lande nationale forskningsdatabaser, der checker indberettede publikationer på det forskningsmæssige niveau. Derfor er der en udbredt anvendelse af data fra det private firma Thompson Scientific og specielt databasen Science Citation Index (SCI), der muliggør en vurdering af graden af benyttelsen af den enkelte artikel. SCI har dog afgjorte svagheder, eksempelvis bias i forhold til det engelske sprog og til bio-forskningen.

Det er vigtigt at gøre sig klart, at et citationstal ikke kun afhænger af artiklens kvalitet i sig selv, fx vurderet af en ekspertgruppe, peer review, men også af andre forhold. Forskellige forskningsområders artikler citeres ”pr. tradition” vidt forskelligt. Medicinske forskere, kemikere, biologer og fysikere publicerer mange artikler pr. person, og ”deres” tidsskrifter har lange referencelister og bringer mange artikler pr. år, hvorved antallet af potentielle citerende artikler er højt. Som eksempel kan nævnes, at tidsskriftet Journal of Biological Chemistry bringer mere end 6.300 artikler pr. år og at tidsskrifterne Physical review Letters i alt bringer mere end 14.000 artikler pr. år. Matematikere og forskere indenfor fx bygningsteknik publicerer sjældnere og med kortere referencelister.

OECD og EUROSTAT modtager data om dansk forskning fra Dansk Center for Forskningsanalyse ved Århus Universitet indhentet via spørgeskemaer til universiteter og sektorforskningsinstitutioner. Indberetningen sker i henhold til OECD’s retningslinier, som de fremgår af Frascati Manualen (Proposed standard practice for surveys of research and experimental development) seneste udgave fra 2002. Mhp. en vurdering af produktiviteten er antallet af ansatte en væsentlig parameter.  ”Forskningspersonalets omfang” opgives på 2 måder:

I antal hoveder svarende til det antal personer, der har brugt mindst 5% af arbejdstiden på forskning. Dette indebærer, at deltidsansatte medregnes som fuldtidsansatte, hvis forskningen har udgjort mindst 5%.

I antal årsværk som summen af den tid de ansatte har brugt til forskning.

I praksis (fx på universiteternes hjemmesider) ses en 3. variant, hvorefter ansatte forskere opgøres som fuldtidsansatte, dvs. efter en omregning af deltidsansatte til fuldtidsansatte.

Yderligere er det et grundprincip for de nationale/internationale statistikker at forskningspersonalet registreres dér, hvor aktiviteten udføres rent fysisk. Det betyder, at man ikke kan medregne en universitetsansat, der udfører hovedparten af sin forskning fx ved et hospital til den givne universitetsafdeling.

Et andet problem knytter sig til ”kategoriseringen af stillinger”. I visse opgørelser medregnes TAP-personale til forskningspersonalet i det omfang, de medvirker i konkrete forskningsprojekter, fx laboratorieanalyser. Denne metodik synes også at ligge i forslaget til Rektorkollegiets nøgletal, men ikke i Ministeriet for Videnskab, Teknologi og Udviklings model for afrapportering i forbindelse med udviklingskontakterne, hvor VIP-årsværk opgøres på hhv. forskning og undervisning og TAP-årsværk ligger i ”øvrige”.

Endelig kategoriseres personalet i statistikkerne ud fra aflønningsform: 1) Aflønning baseret på ordinære bevillinger og 2) På eksterne midler - sidstnævnte kategori er underdelt afhængig af, om aflønningen sker inden for eller uden for institutionen.

Nogle internationale analyser udvælger de medtagne universiteter ud fra størrelse eller akkreditering. Ud over en ren kvantitativ vurdering af den enkelte institutions succesniveau, vurderes også på ”omdømme”, både internt (studerende og forskere) og eksternt (virksomheder, alumner, andre forskere mv.). Sådanne kriterier kan yderligere kategoriseres i forhold til, hvad der måles på, fx resultater (output), processer eller strukturer (input). Til output hører ud over de standardmæssige opgørelser af publikationer og citationer også resultater i form af gennemførelsesprocent, kandidaternes beskæftigelsesprocent, deres lønniveau, mv. Til input kategorien hører fx studiernes organisering, adgang til teknologi og information og campus miljøet.

I mange internationale analyser benyttes awards, priser etc. som en indikator. Eksempelvis er antal nobelpristagere i Shanghai 2003- og 2004-analyserne en ikke uvæsentlig indikator.  I USA er der en udbredt tradition for tildeling af akademiske awards og priser, og ofte vil disse indgå som indikatorer i forskellige rankings, fx de rankings der udarbejdes af TheCenter4. Der er ikke den samme tradition på de europæiske universiteter, og derfor vil denne type indikatorer vanskeliggøre en sammenligning mellem Europa og USA.

Rankings relative upålidelighed

En afhandling fra Uppsala Universitet5 om internationale rankings med fokus på business schools og MBA-programmer konstaterer, at 5 af de væsentligste analyser på området er helt usammenlignelige pga. det forskellige valg af kriterier og metoder. Et kritisk punkt er, at sammensætningen af panelerne til ”omdømme”-vurderingen ofte er uoplyst. Det er dog et gennemgående element at fokus er på aftagerne (primært studerende og erhvervslivet) og, at analyserne overvejende er resultatorienterede (altså i mindre grad ser på processer og strukturer). En anden konstatering er, at målingerne ikke har megen værdi for institutionerne som input til faglige kursjusteringer.

Brugbarheden af den enkelte indikator hænger sammen med, hvor godt den afspejler den målte aktivitets input eller output uden at kræve institutionel indsigt eller supplerende tolkning. Men selv en i denne sammenhæng valid indikator vil ikke isoleret kunne afspejle en institutions performance, bl.a. fordi de fleste indikatorer vil kunne tolkes på flere modsatrettede måder. Skyldes en høj gennemførelsesprocent excellent undervisning og vejledning eller at for mange studerende slipper for let gennem eksamen?

I tabel 1 er vist hvor forskelligt seks danske universiteter er placeret på fire internationale rankings:

 

Shanghai 2004 (1)

THES The Times (2)

CEST (3)

EU 3rd (4)

AU

gr. 101 - 152

127

213

-

DFU

-

-

178

-

DTU

gr. 153 - 201

145

74

18

KU

59

63

201

-

KVL

gr. 302 - 403

-

   86

-

SDU

gr. 202 - 301

-

  129

-

Tabel 1. Danske universiteters placering efter internationale rankings (1 Shanghai Jiao Tong University, 2 The Times Higher Education Supplement, 3 Center for Science and Technology Studies, Schweiz, 4 EU, Third European Report on Science & Technology Indicators).

Fx er DTU placeret som nr. 18, nr. 74, nr. 145 og i gruppen 153-201 det er derfor helt afgørende at kende grundlaget for de enkelte rankings for at kunne fortolke og forklare disse placeringer.

Kvantitative indikatorer kan derfor aldrig stå alene og betragtes som objektive facts, ligesom det er meningsløst at vurdere mangefacetterede institutioner på få basale data, men det sker rent faktisk hyppigt.

Noter

  1. Using National Data in University Rankings and Comparisons. TheCenter Reports (June 2003) http://thecenter.ufl.edu
  2. rapporten er elektronisk tilgængelig via www.eua.be
  3. ftp://ftp.cordis.lu/pub/indicators/docs/3rd_report.pdf
  4. http://www.thecenter.ufl.edu
  5. Playing the Ranking Game, Företagsekonomiska institutionen, 2004