Single-blind eller double-blind peer review af videnskabelige artikler. Skal forskerne være anonyme?

Publiceret Juli 2012

Peer review er fundamentet i bedømmelsen af forskningresultaters kvalitet inden offentliggørelse. I det mest anvendte "single-blind peer review" kan redaktør og bedømmer ("reviewer") se forfatternes navne og tilhørsforhold, mens bedømmernes navne holdes skjulte overfor forfatterne. Ved "double-blind peer review" bliver forfatter- og bedømmer-informationerne holdt skjult for hinanden. Der er en livlig diskussion i tidsskrifter og blogs om fordele og ulemper ved single-blind og double-blind peer review. De fleste foretrækker single-blind peer review. Fortalere for double-blind peer review fremfører, at det skaber en følelse af retfærdighed og lighed i den videnskabelige publicering. Et argument imod double-blind peer review er, at bedømmere genkender forfatterne uanset at identiteten er skjult.

Forskernes offentliggørelse af resultater

Forskere tænker meget over deres valg af tidsskrift til publicering af forskningsresultater. Valget traffes ud fra flere betragtninger: tidsskriftets fagområde, omdømme og impact factor, hvor lang tid der bruges på bedømmelse og publicering, og ikke mindst den erfaring som kolleger har haft med tidsskriftet. Ifølge en rapport fra "The Publishing Research Consortium (PRC)" fra 2008 bliver 21% af artiklerne afvist af redaktørerne pga. manglende kvalitet eller fordi emnet i artiklen ikke passer i tidsskriftet. Derefter bliver 30 % afvist efter peer review, 41% bliver accepteret med ændringer, mens de resterende 8% bliver accepteret uden ændringer (1).

Der bruges mange ressourcer på peer review systemet. Kristian H. Nielsen har estimeret, at forskere og tidsskrifternes redaktioner bruger ca. 1000 arbejdsår per uge på bedømmelse af artikler (2). Afvisning af videnskabelige artikler har negative konsekvenser for forskerne. I bedste fald vil en afvisning forsinke publicering af forskningsresultater og i værste fald forhindre publicering. Manglende publikationer vanskeliggør muligheden for at opnå bevillinger og dermed for at forsætte forskningen indenfor området. I sidste ende har det betydning for forfatternes karriere. Afvisning af artikler er altid forbundet med frustrationer for forskerne.

Artiklernes publicering og ikke mindst peer review diskuteres ofte blandt forskere. Ifølge rapporten fra PRC (1) er peer review med til at forbedre kvaliteten af de publicerede artikler, til at selektere artikler til fordel for læserne, og til at give "et stempel", som viser at de publicerede artikler opfylder kvalitetskrav. Flertallet (64%) af de videnskabelige medarbejdere i PRC undersøgelsen var tilfredse med de gængse peer review som bruges af tidsskrifterne og kun 12% tilkendegav at de var utilfredse (1). Det er interessant, at i samme undersøgelse var 32% af de adspurgte enige om at peer review i tidsskrifterne har brug for et eftersyn, mens 35% var uenige.

Flere måder at udføre peer review

Der findes flere former for peer review. Den mest anvendte metode er single-blind peer review med anonyme bedømmere, derefter double-blind peer review, hvor både bedømmere og forfattere er anonyme. Andre mindre brugte alternativer er "open peer review" og "post publication review". Ved open peer review kender forfatterne og bedømmere hinandens identitet og nogle gange bliver bedømmelserne publiceret sammen med artiklerne. Publicering on-line har gjort det muligt at gennemføre post publication review, hvor læsere kan kommentere og rangordne artiklerne efter offentliggørelse.

Anvendelsen af de forskellige typer af peer review varierer mellem de videnskabelige områder. I de naturvidenskabelige tidsskrifter er single-blind peer review den mest anvendte metode, mens samfundsvidenskabelige tidsskrifter er mere tilbøjelige til at anvende double-blind peer review (1). Af de ca. 3000 akademikere som blev adspurgt i PRC undersøgelsen har 85% af forfattere oplevet single-blind, mens 45% har oplevet double-blind peer review. Kun 23% og 8% af forfatterne har oplevet henholdsvis open peer review og post publication review. Flertallet af de adspurgte (56%) foretrækker double-blind, mens kun 25% foretrækker single-blind peer review. Endvidere har 71% af de adspurgte tillid til double-blind review. Der var flest tilhængere af double-blind review blandt dem, som havde prøvet det. Endvidere, mente en stor del af bedømmere (49%), at de ville være mindre tilbøjelige til at bedømme, hvis deres navne blev videregivet til forfatterne.

Fordele og ulemper af double-blind peer review blev diskuteret i en Nature Editorial efter offentliggørelsen af PRC rapporten i 2008 (3). I lederen omtales studier, som har vist at double-blind review reducerer diskrimination af forfattere med kvindelige fornavne, men disse studier blev reeksamineret, og der blev ikke fundet nok beviser til at bekræfte denne intolerance. På trods af den generelle tillid til double-blind metoden, er det ikke så let at finde naturvidenskabelige tidsskrifter, som tilbyder denne form for peer review. Selvom en undersøgelse viste at double-blind peer review gav en mindre forbedring af kvaliteten af bedømmelserne (4), er der flere studier som peger på at double-blind review ikke forbedrer kvaliteten (5-7). Det er værd at bemærke, at i flere af disse studier vidste bedømmere, at de deltog i en undersøgelse af peer review, hvilket kunne have betydning for hvor omhyggeligt deres bedømmelse blev foretaget. I PCR rapporten blev det også nævnt at en stor del af peer review bliver udført af en mindre kerne af meget aktive bedømmere, som ofte er overbelastede (1).

2012-3 peer sml

.

Nature undersøgte i 2006 om der var interesse for open peer review (8) blandt forfatterne til de indsendte manuskripter. Kun 5% af forfattere gik med til bedømmelse af deres artikler med ikke-anonyme kommentarer. I et forsøg med open peer review af 71 artikler fik 33 ingen kommentarer, mens 38 fik overvejende tekniske kommentarer. Forsøget stoppede på grund af den manglende deltagelse. Resultatet er i overensstemmelse med en anden undersøgelse, som viste at antallet af bedømmere, som var villige til at bedømme en artikel faldt hvis deres navne blev offentliggjort efter open peer review (9).

Skal flere naturvidenskabelige tidsskrifter afprøve double-blind peer review?

På nettet findes flere blogs hvor fordele og ulemper ved single-blind og double-blind peer review bliver diskuteret (10-12). Blandt ulemperne ved double-blind review kan nævnes at bedømmere ikke vil være i stand til at tjekke om artiklerne er en del af en bestemt forskningslinje, men som modargument fremhæves, at forfatterne bør gøre rede for sammenhængen med egen andres forskning i artiklens introduktion og diskussion.

Den stærkeste argument imod double-blind peer review er, at bedømmere vil være i stand til at genkende forfatterne udfra forskningsområde, formål, metoder, apparatur og referenceliste uanset forfatternavne og tilhørsforholdet bliver skjult. Det er svært for forfatterne at skrive en anonym version af manuskriptet og fjerne ethvert spor, som kan identificere forskerne. Dette blev bekræftet i en undersøgelse med fem deltagende tidsskrifter (7). Et af tidsskrifterne lykkedes at skjule forfatternes identitet, så at de ikke blev genkendt i 90% af artiklerne til peer review, mens antallet var 58% i gennemsnit for de øvrige fire tidsskrifter, som deltog i forsøget. Bedømmerne kunne især genkende forfattere, som de var fortrolige med. Det betyder at double-blind peer review er så effektiv til at fjerne bias, som opstår når bedømmere kender forfatternes navne.

En tredje argument imod double-blind peer review er, at det vil kræve en mere omhyggelig bedømmelse af de videnskabelige resultater, da man ikke er i stand til at bedømme arbejdet baseret på forfatternes omdømme. Det kan både være en fordel og ulempe.

Blandt de forskellige former for peer review er single-blind peer review stadig den mest anvendte, mens double-blind peer review er værdsat, men ikke meget anvendt. Opbakning til bedømmelsen hvor både forfattere og bedømmere er anonyme, er størst hos dem, der har oplevet den (humaniora og samfundsvidenskab), og blandt dem som kan have fordel af den (kvindelige forfattere). Den mindst entusiastiske gruppe er redaktører af tidsskrifter. Er det på tide at redaktørerne genovervejer deres holdning?

Kendskab til forfatterne opmuntrer bedømmerne til at stille relevante spørgsmål til metoder og resultater i lyset af deres tidligere arbejder. Det gør det også lettere at sammenligne det nye manuskript med forfatternes tidligere arbejder, for at sikre at det repræsenterer et sandt fremskridt. Endelig kan viden om forfatternes identitet i stedet for gætteri sikre, at bedømmerne melder potentielle interessekonflikter til redaktionen. Taler det for at bevare peer review, hvor kun bedømmerne er anonyme?

Referencer

1. Ware, M. Peer review: benefits, perceptions and alternatives. Publishing Research Consortium (2008). Great Britain. http://www.publishingresearch.net/documents/PRCsummary4Warefinal.pdf

2. Nielsen KH. Når forskere bedømmer forskere. Videnskab.dk (2009). http://videnskab.dk/blog/nar-forskere-bedommer-forskere

3. Editorial. Working double-blind. Should there be author anonymity in peer review? Nature (2008) 451: 605-6. http://www.nature.com/nature/journal/v451/n7179/full/451605b.html og den rettede version på http://blogs.nature.com/peer-to-peer/2008/02/working_doubleblind.html

4. McNutt RA, Evans AT, Fletcher RH, Fletcher SW. The effects of blinding on the quality of peer review. A randomized trial. JAMA (1990) 263(10): 1371-6

5. van Rooyen S, Godlee F, Evans S, Smith R, Black N. Effect of blinding and unmasking on the quality of peer review. J Gen Intern Med (1999) 14(10): 622-4. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1496750/

6. Alam M, Kim NA, Havey J, Rademaker A, Ratner D, Tregre B, West DP, Coleman WP. Blinded vs. unblinded peer review of manuscripts submitted to a dermatology journal: a randomized multi-rater study. Br J Dermatol (2011) 165(3):563-7

7. Justice AC, Cho MK, Winker MA, Berlin JA, Rennie D. Does Masking Author Identity Improve Peer Review Quality?A Randomized Controlled Trial. JAMA (1998) 280(3): 240-2

8. Overview: Nature's peer review trial. Nature (2006) | doi:10.1038/nature05535. http://www.nature.com/nature/peerreview/debate/nature05535.html

9. van Rooyen S, Delamothe T, Evans SJW. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ. 2010; 341:c5729

10. Michael Tobis. Is Peer Review Double Blind? http://init.planet3.org/2011/06/peer-review-double-blind.html

11. Daniel Lemire. The case against double-blind peer review. http://lemire.me/blog/archives/2011/04/28/the-case-against-double-blind-peer-review/

12. Alexander Refsum Jensenius. Double blind peer review. http://www.arj.no/2010/09/04/double-blind-peer-review/