Scientometri og dens begrænsninger

Publiceret April 2005

I en global tid er det ikke nok for et samfund at være informeret, dvs. at være et informationssamfund. Ikke hvis det skal klare sig godt i international konkurrence og sikre sit velfærd. Den udfordring kræver et vidensamfund. Vidensamfundet adskiller sig fra informationssamfundet ved bl.a. at kunne generere ny viden. Det er ikke nok blot at være informeret om tilgængelig viden. Innovativ og konkurrencedygtig produktion kræver nye idéer og ny viden – enten fra universiteterne eller fra erhvervslivets egen forskning og udvikling. Forskning er videngeneratoren. Forskere er derfor blevet krumtappen, der skal sikre samfundets udvikling i den rigtige retning.

Sådan har det egentlig altid været. Det nye er, at politikerne har fattet det. I valgkampen i vinter overgik de regeringsbærende partier hinanden i bedyring af forskningens nødvendighed for at klare den globale udfordring. Nu gælder det om at realisere valgparolerne. Barcelona-målet på 3 % af BNP til forskning skal være opfyldt 2010. Og det ville ikke skade at nå målstregen før sidste udkald. Tiden er knap, vejen lang og forskningen må have flere resurser.

I den forbindelse er det ønskeligt at kunne måle virkningen af flere resurser. Det kan gøres på mange måder. Men sikre målinger kræver tid. Forskning og implementering af dens resultater er i sagens natur en langsigtet affære. Pålidelige svar på politikeres spørgsmål om det forskningsmæssige udgangspunkt, og om forskningens udvikling er ikke nemme at levere. I det omfang det drejer sig om ”science”, dvs. naturvidenskabelig forskning, er der i de seneste årtier udviklet scientometriske metoder, der har slået an blandt forskningspolitikere, embedsmænd og – ikke mindst – blandt forskerne selv. Scientometri har imidlertid betragtelige faldgruber og mange begrænsninger. De begrænsninger overses i dag i en sådan grad at fortolkningen af mange scientometriske resultater er meningsløse og – afhængigt af deres brug –direkte skadelige. Derfor vil denne artikel gennemgå de mest kendte scientometriske metoder med vægt på misbrug og begrænsninger.

Bibliometri og scientometri

Scientometriske eller bibliometriske metoder bruges til at måle antallet af bøger og andre dokumenter i fx tidsskrifter publiceret over en given periode. Anvendelse af bibliometriske metoder på naturvidenskabelige (”scientific”) publikationer kaldes nu scientometri, en disciplin der har fået sine egne specialtidsskrifter og forskningsinstitutter (1, 2). Scientometriske metoder anvendes i dag vidt og bredt i international og national forskningspolitik til at vurdere forskningsindsats og gennemslagskraft i naturvidenskab, lægevidenskab og tekniske videnskaber. Metoderne kan i et vist omfang også anvendes i humaniora og samfundsvidenskab. Scientometriske metoder er med til at bestemme forskningens vilkår ved at placere lande, universiteter og forskergrupper i rangorden som i foldboldturneringer.

Det oprindelige og generelle begreb bag scientometrien, bibliometri, betyder blot bogmåling. I sin oprindelige og trivielle form kunne bogmåling anvendes til at konstatere, at fx Grundtvigs samlede værker fylder flere boghyldemetre, at Kierkegaard og Rifbjerg også fylder en del, mens lyrikere ofte begrænser sig til en centimeter eller tre på boghylderne. Det kan ikke ophidse mange. Men i de seneste årtier har bogmåling udviklet sig radikalt. Bibliometri i form af scientometri er nu en raffineret disciplin, der ikke alene måler omfang, men også har begivet sig ud i at måle kvalitet (3). Indsats og gennemslagskraft i videnskaben kan nu udtrykkes i tal med adskillige decimaler, som var det turneringssport eller økonomi. Det aspekt har vakt interesse i forskningspolitiske og administrative cirkler. Internationale forskningsorganisationers og nationale ministeriers embedsmænd har taget de bibliometriske metoder til sig. Herhjemme har Danmarks Biblioteksskole oprettet en afdeling for bibliometriske informationsstudier med et professorat. Mange forskerne har også taget de nye metoder til sig. Nogle med kyshånd, andre med skepsis. Imidlertid er der også forskere, der vender sig mod scientometri, - specielt mod forsøgene på at kvantitere kvalitet.

Snarere end emotionelt krudt kræver scientometri imidlertid køligt overblik. De scientometriske metoder er kommet for at blive, hvad enten vi kan lide det eller ej. Adskillige varianter er under udvikling og flere vil komme til. Men som nævnt rummer alle metoderne afgørende begrænsninger og fejlmuligheder. Indsamling og fortolkning af scientometriske resultater kræver stor indføling og betydelige gran af salt. Det er med scientometriske metoder som med andre metoder i videnskaben – det er ikke tilstrækkeligt blot at kende teknikken. Den kan mange tilegne sig. Mindst ligeså vigtigt er indsigt i metodernes forudsætninger og evne til at vurdere deres pålidelighed. Ellers ender fortolkningerne i misforståelser og vås.

Moderne scientometri forudsætter kendskab til hvordan forskningsresultater formidles. Det første punkt er, at næsten alle resultater af et natur- eller lægevidenskabeligt projekt beskrives i originalartikler. Originalartiklerne er i en vis forstand forskningens primære produkt, et produkt der kan vejes og måles. Originalartiklerne sendes til internationale videnskabelige tidsskrifter. Her bedømmes manuskripterne af eksperter på det pågældende forskningsområde (”peer review”). Hvis bedømmerne siger god for artiklen, publiceres den som regel i det pågældende tidsskrift. Ikke i bøger eller lokale rapporter. Det næste punkt er, at der blandt videnskabelige tidsskrifter er et betydeligt hierarki. Nogle tidsskrifter af ofte generel videnskabelig karakter er højt estimerede og udkommer i store oplag, der spredes over hele kloden (”high impact” tidsskrifter som fx ”Nature” og ”Science”). Andre er nyttige specialtidsskrifter, der dog ikke læses meget uden for deres særlige område og hvor store videnskabelige gennembrud ikke så ofte offentliggøres (”medium impact” tidsskrifter). Endelig er der en syndflod af mindre kendte tidsskrifter med beskeden udbredelse og læserkreds, men ofte med pompøse navne, der kan imponere udenforstående (”low impact” tidsskrifter). I sidstnævnte kategori kan næsten alt trykkes.

Selvsagt ønsker alle at få deres resultater i de bedste og mest udbredte tidsskrifter. Men konkurrencen er barsk med kritiske vurderinger af førende eksperter. Tidsskrifthierarkiet kan imidlertid ændre sig, så dygtigt redigerede tidsskrifter på få år kan blande sig med noble klassikere (jf. ”EMBO Journal” og ”Molecular Psychiatry”), mens andre rutscher fra superliga til fjerde division. For at publicere sine resultater optimalt, er det derfor nødvendigt at kende hierarkiet og dets dynamik. Det er for natur- og lægevidenskabelige forskere som for aktionærer og børsspekulanter, at rettidig omhu med kendskab til markedet er nødvendig for at maksimere udbyttet af sin indsats.

De scientometriske grundmetoder

Scientometri bruger i princippet tre metoder. Den første er den oprindelige bogmåling: Sammentælling af publikationer. Den udtrykkes i årligt antal per forsker, per forskergruppe, per institut, per universitet eller per nation. Det lyder simpelt. Og selve optællingen er da også simpel. Men det kræver professionel, videnskabelig indsigt at vurdere, hvad der skal tælle med, og hvor meget den enkelte publikation skal tælle. En forskergruppe på et universitet kan i tidens løb udsende mange slags tryksager, som ikke beror på egen forskning. Det kan være lærebøger og lærebogsbidrag, ledere, rapporter, artikler i håndbøger og leksika, kommentarer, anmeldelser af fagbøger og fagartikler i faglige tidsskrifter (fx Biozoom) og for den sags skyld artikler i aviser. De medtages ofte i listen over publikationer fra gruppen. Men de kan ikke bruges til at vurdere forskningsindsatsen. Derfor er det nødvendigt at begrænse sammentællingen til tidsskriftpublikationer, som rummer originale forskningsresultater, og til systematiske oversigtsartikler, der bygger herpå.

Men også korte meddelelser på kongresser, der publiceres i tidsskrifter (”abstracts”), kan rumme nye originaldata, hvilket også gælder bøger, der udgives i forbindelse med videnskabelige symposier (”symposie-proceedings”). Forskellen er imidlertid, at kun de egentlige originalartikler og de systematiske oversigtsartikler i tidsskrifter har været underkastet en kritisk vurdering af eksperter på området. En scientometrisk optælling af publikationer, der skal afspejle den egentlige forskning i gruppen, på afdelingen eller på instituttet, må derfor begrænses til de original- og oversigtsartikler, der har været underkastet ”peer review”. Inden for natur- og lægevidenskab vil det i praksis sige originalartikler skrevet på engelsk (natur- og lægevidenskabens sprog), der er  trykt i internationale tidsskrifter.

Et andet problem i sammentællingen er den vægt, hvormed en artikel kan tælle for den enkelte forsker eller forskergruppe. Det simpleste og mest anvendte er blot at tælle hver publikation med en faktor én. Men i vore dages forskning er der flere og flere medforfattere på den enkelte artikel. Og ofte er forskerne/forfatterne fra forskellige institutioner og forskellige lande. Spørgsmålet er, om en enkelt forsker fra en dansk gruppes deltagelse i et projekt og dermed en publikation med fx ni forskere fra en udenlandsk gruppe berettiger danskeren til at medregne publikationen med fuld valør? Eller skal den kun tælle med en tiendedel? I flere lande arbejdes der med systemer, hvor førsteforfatteren tilskrives den halve værdi af artiklen, mens de øvrige medforfattere må deles om resten. Der er lanceret forskellige varianter over det tema, men ingen har endnu opnået konsensus. Fremgangsmåden for den i sig selv simple sammentælling afventer stadig generelt accepterede internationale regler, og nuancerne bag et givet publikationstal er betydelige.

Den næste scientometrisk metode er citationsanalysen. En videnskabelig artikel citeres af andre forskere på området, hvis den har bidraget med en væsentlig ny erkendelse eller fx en ny metode. Der er derfor almindelig enighed om, at jo mere betydningsfuld en videnskabelig artikel er, des mere citeres den. Antallet af citationer angiver på den måde artiklens gennemslagskraft, hvilket – ikke ganske korrekt – tages som udtryk for kvaliteten. De sjældne undtagelser er publikationer baseret på kontroversiel og/eller dårlig forskning, der trods almindelig kvalitetsvurdering alligevel vækker opsigt (jf. den kolde fusion i Utah og Bjørn Lomborgs miljøartikler og bøger). De citeres selvsagt i de undersøgelser, der må til for at tilbagevise dem. Derfor kan dårlige og kontroversielle artikler opnå et vist omfang af citationer.

Citationstal har imidlertid i sig selv store begrænsninger. Den største er tallenes manglende aktualitet. Citationstal er per definition svært bagudrettede. Det betyder, at antallet af citationer for en forsker, en gruppe eller for et institut måske nok kan bidrage til at vurdere betydning og gennemslagskraft af tidligere forskning – men ikke af den nuværende! Det skal uddybes, for det er især på dette punkt der begås fejl. Hovedfejlen er, at man tager de senere års citationstal som udtryk for gennemslagskraften eller kvaliteten af de senere års forskning. De to ting behøver nemlig ikke at have meget med hinanden at gøre. Det skyldes tidsforløbet – eller rettere tidsforskydningen. Et projekt tager måneder eller år at udføre. Bearbejdning af resultater og sammenskrivning til et færdigt manuskript tager almindeligvis også flere måneder. Herefter kommer måneder til redaktionel vurdering og publicering, en proces der ofte øges til ét eller flere år, hvis der kræves yderligere undersøgelser og/eller hvis artiklen forkastes og må gennem flere redaktionsmøller. Dvs. fra det tidspunkt hvor undersøgelsen er udført på et institut til den foreligger offentliggjort, dvs. trykt i et internationalt anerkendt tidsskrift, går der som regel ét til flere år. Og først på det tidspunkt kan andre forskere begynde at citere artiklen. Men andre forskeres artikler skal også igennem bearbejdnings- og publiceringsmøllen. Så igen går der flere år fra artiklen er trykt til citationerne kan registreres. Og jo mere grundlæggende og væsentlige resultaterne er, des længere vedbliver den pågældende artikel at blive citeret. Eksempelvis viste en citationsundersøgelse fra år 2000 for nogle senior forskere, at en stor del af deres citationer sidst i 1990erne stammer fra artikler publiceret i 1970erne og begyndelsen af 1980erne, dvs. forskning, der ligger 20-25 år tilbage (4). Meget tyder derfor på, at citationer i væsentligt omfang afspejler forskning, der er udført ti eller flere år tidligere. Under alle omstændigheder er citationsanalyser ubrugelige til at vurdere et lands eller en institutions aktuelle forskning. Og de der fremturer hermed begår en stor og skadelig fejl. Men det ændrer ikke ved, at citationsanalyser kan være udmærkede til at belyse en enkelt forskers eller forskergruppes gennemslagskraft over en længere periode. Citationsanalyser kan fx anvendes som et nyttigt bidrag ved sammenligning af kandidater til større forskerpriser, hvor det netop er den tidligere indsats der skal vurderes.

Den sidste scientometriske metode tilsigter også at måle kvalitet. Den hedder ”journal impact factor score”. Metoden bygger på citationsanalyser i hierarkiet af videnskabelige tidsskrifter. Spektret har man nu udtrykt i tal, idet hvert af de ca. 5000 engelsksprogede natur- og lægevidenskabelige tidsskrifter, der indgår i systemet, er blevet udstyret med en ”impact factor”. Et tidsskrifts ”impact factor” udregnes som forholdet mellem antal citationer og antal publikationer i tidsskriftet i de forudgående to år. Den udregnes hvert år af det private analyseinstitut, Institute for Scientific Information i Philadelphia i USA. ”Impact factor” kan variere kolossalt mellem tidsskrifter, fx fra 0,002 (”Biotechnology Law Report”) til 47,564 (”Annual Review of Immunology”). Dvs. der skal næsten 24000 artikler i det første tidsskrift til at opnå samme betydning (”impact”) som en enkelt artikel i det sidste. Nu dækker de nævnte tidsskrifter forskellige områder og er derfor vanskelige at sammenligne. Men også på samme område er variationen betydelig, og kan nemt variere med en faktor 50-100. Betydningen af en forskergruppes eller et forskningsinstituts indsats udregnes ved at addere ”impact factors” for de tidsskrifter, hvori man har publiceret videnskabelige artikler i det pågældende år. Man kan så sammenligne sig selv med tidligere år og med andre grupper på området i samme år. For en god ordens skyld skal det understreges, at hverken BioZoom eller fx Ugeskrift for Læger er udstyret med ”impact factor” – bl.a. fordi de ikke udgives på engelsk og derfor kun er tilgængelige for skandinaviske forskere.

”Impact factor” systemet er blevet populært, fordi det giver et let tilgængeligt slags mål for forskningsindsatsen, både kvalitet og kvantitet. Og selv om det også peger bagud er det mindre bagudrettet end citationsanalyserne. Men brugen af ”impact factor” forudsætter også kendskab til metodens begrænsninger. Og de begrænsninger respekteres langtfra. Forudsætningerne for ”impact factor”-systemet er bl.a. mange publikationer (n > 100) for at sikre en rimelig sammenhæng med det underliggende mål, citationerne (5). ”Impact factor”-systemet tager ikke højde for forskelle i citationspraksis på forskellige forskningsområder. Systemet omfatter kun en mindre gruppe engelsksprogede tidsskrifter (ganske vist de mere betydningsfulde), men udelukker alt i alt de fleste videnskabelige tidsskrifter og bøger. Systemet er desuden retrospektivt og belastes ofte af fejlregistreringer. Endelig er det vigtigt at gøre sig klart, at ”impact factors” afspejler gennemsnitstal, altså tal for hvad man i gennemsnit kan forvente af citationer i to år for en given artikel publiceret i et bestemt tidsskrift. Det korte af det lange er, at meningsfuld brug af ”impact factor”-systemet kræver et nøje kendskab til systemet og dets forudsætninger. Hertil hører også en overordnet erkendelse af, at ”impact factor scores” aldrig kan stå alene i vurderingen af en forskningsindsats. Men når forudsætningerne er opfyldt, kan ”impact factor” yde et bidrag til billedet.

Konklusion

På mange af tilværelsens områder er det en fordel grænsende til det nødvendige at have indsigt i det man skal håndtere. Professionalitet er mere påkrævet end nogensinde. Ikke mindst i vidensamfundet. Bibliometri eller scientometri var for få årtier siden en simpel disciplin enhver forsker kunne forholde sig umiddelbart til. Raffineringen med de nye metoder har gjort scientometri til en selvstændig disciplin. I dag kan meningsfuld scientometri kun udøves af professionelle med nært kendskab til de områder der underkastes scientometri, og med kendskab til metodernes problemer, fejlkilder og begrænsninger (1). Dvs. scientometri kan i sidste instans kun udøves af eller i samarbejde med erfarne videnskabsmænd/-kvinder på de respektive områder. Det duer ikke at administratorer, embedsmænd eller journalister uden specifik indsigt, begynder at fortolke scientometriske resultater.

Til sidst kan man spørge, hvordan man kan tage temperaturen på den nuværende danske forskning, når scientometriske metoder kun afspejler svundne tider. Svaret er, at det kræver andre metoder. Det kræver, at centrale institutioner med forstand på forskning som fx Statens Forskningsråd ved besøg hos forskergrupper, danner sig direkte indtryk af situationen: af resurser; af fremskridt; og af de problemer, der findes. Statens Forskningsråd kan hyre udenlandske forskere til besøgene, så der bliver tale om et objektivt ”peer review”. Sådanne ”peer reviews” af den aktuelle tilstand kan i kombination med professionelt håndterede scientometriske målinger give et reelt billede af, hvordan forskningen udvikler sig, og hvordan tilstanden er nu. Det ville hjælpe samfundet mere end tvivlsomme skønmalerier baseret på fx bagudrettede citationsanalyser.

Tak til sekretær Christina B. Fleischer for renskrivning af manuskriptet. Elementer af dette har været trykt i Politikens bogsektion (8. juni 2002, pp. 8-9) og Bibliotek for Læger (2002;194:270-8).

Litteratur

Ingwersen P. Bogmåling – en sag for viderekomne! Danmarks Biblioteksskoles interne ugeavis. http://www.db.dk/nyt/ugeavisen/02/25/2525.htm, 21 juni 2002.

Ingwersen P. Visibility and impact of research in psychiatry for North European countries in EU, US and world contexts. Scientometrics 2002; 54: 131-44.

Rehfeld JF. Kvantitering af kvalitet. Ugeskr f Læger 1995; 157: 6111-4.

Jørgensen HL, Larsen B, Ingwersen P, Rehfeld JF. Forskningsaktiviteten for kandidater med ph.d. – eller dr.med.-grad fra de sundhedsvidenskabelige fakulteter 1995-1997. Ugeskr f Læger 2004;166:479-84.

Seglen PO. Causal relationship between article citedness and journal impact. J Am Soc Inform Sci 1994; 45: 1-11.