Tanker om peer-review prosessen

[Amateur2]

Innesnødd som jeg er, vandrer jeg i stedet rundt på nette. Der dukket det opp en lenke som førte meg til en nettside av en som heter Curt Rice, curt-rice.com

Introduksjonen han gir av seg selv er:

I work as the Vice President for Research & Development (prorektor for forskning og utvikling) at the University of Tromsø. My primary interests all relate to leadership development at academic institutions; they range from the improvement of research funding to working on gender balance issues to developing policies about Open Access.

Han tar opp svakehetene med peer-review prosessen og de tradisjonelle publiseringsmåtene for forskning. Jeg har såvidt skummet igjennom og finner tankene hans i utgangspunktet interessante, men jeg har ikke fått tenkt grundig igjennom dette.

Oppfordringen er les og kommenter. Har tankene hans noe for seg? Eller er det fullstendig skivebom?

Innenfor "klimavitenskapen" er det i hvert fall et åpenbart behov for alternative måter å publisere forskningsresultater og kunnskap på enn det som er mulig gjennom de tradisjonelle kanalene.

[Amatør1]

Ved rask gjennomlesning slår det meg at han beskriver status rimelig godt, men peker ikke på særlig mange løsninger (om ikke det er noe jeg har oversett i min raske lesning).

Men det er klart at et skritt på veien til å løse probleme består i å anerkjenne at det eksisterer, noe Rice jo bidrar til. Om vi tar et fugleperspektiv på dette: Snakker egentlig Rice om vitenskapen, eller snakker han mest om systemet for publisering, karrierer og politikk? Såvidt jeg kan se er det vel helst det siste.

Selv om klimaforskerne innbitt forsøker å fortelle oss at vitenskapen er avhengig av peer-review systemet, er dette langt på vei en forfalskning. Peer review i betydningen av "formaliserte" prosesser i forbindelse med publisering i journaler har vel ikke så lang historie (midten av det 20 århundrede?), og vitenskapen har klart seg utmerket i hundrevis av år før den tid, Einsteins arbeider var vel såvidt vites ikke "peer reviewed".

Selv om peer review kan fungere godt når alle spiller på lag, med omtrent samme mål, er det vel nesten like ofte unntaket som regelen, og det er vel Rice sitt poeng, om jeg forstår det rett. Peer review i den snevre betydningen gitt over  er vel egentlig like mye et uttrykk for en teknologisk og kulturell situasjon som et utrykk for noe grunnleggende ved den vitenskapelige metode. For hundrevis av år siden var det ikke spesielt praktisk å kopiere et arbeid og sende det rund til peers for review. Midt i forrige århundrede var trykkekunsten etablert og vel så det, og kommunikasjonene enklere, men journalene var i praksis eneste måte å publisere arbeider på, altså et uttrykk for den teknologiske situasjonen, som skapte monopol og dermed makt.

Idag har teknologien endret seg, men tradisjonene henger fast (eller man ønsker at de skal henge fast). Istedet for å benytte teknologien på andre måter henger man fast i det gamle systemet og perverterer det istedet for å forbedre det, ved å søke å skaffe seg så mange referanser og sitater som mulig etc., altså karrierebygging, som har lite med egentlig vitenskap å gjøre.

Allikevel, påstanden i forrige avsnitt om at teknologien ikke utnyttes er selvsagt feil. Teknologien benyttes jo idag effektivt til å etterprøve vitenskapen (den påståtte hensikten med peer review) gjennom helt åpne prosesser som hvem som helst kan delta i. Et strålende eksempel er jo den velkjente bloggen Climate Audit som framstår som en moderne form for peer review, og som er nærmere vitenskapens egentlige vesen og metode enn de mer sensur-pregede prosessene i journalene.


the history of peer review

"On the one hand, peer review has its deep origins in state censorship, as developed through the establishment and membership practices of state-supported academies, and, on the other, peer review was intended to augment the authority of a journal's editor rather than assure the quality of a journal's products. Given those two disruptions in our contemporary notions about the purposes of peer review, it may be less surprising to find that the mode of formalized review that we now value in the academy seems not to have become a universal part of the scientific method, and thus of the scholarly publishing process, until as late as the middle of the twentieth century; Science and The Journal of the American Medical Association, for instance, did not vet manuscripts through outside reviewers until the 1940s."


Peer review prosessen er under rask endring slik jeg ser det. Nye former for publisering har fjernet monopolet som journalene hadde, og derfor vil arbeidene i større grad bli selv-publisert på web, dvs. omtrent som i klassisk tid, bare det at vi når hele verden over natten, og hele verden kan være våre peers, ikke bare dem autoritetene utpeker.

[Bebben]

Enig med deg i det meste her amatør1. Moderne publiseringsteknologi og internett har endret forutsetningene for vitenskapelig publisering - en revolusjon minst like stor som Gutenberg.

Frontene i "kampen" for en endring synes å være innen medisin og klimavitenskap. Det er kanskje ikke så rart, siden begge disse involverer haugevis av penger, prestisje, politiske implikasjoner osv.

Rice tar opp svakheten med at replikasjon ikke gir prestisje og som regel ikke blir publisert. Dette er jo velkjent fra klimadebatten, i og med McIntyre og McKitricks, og senere O'Donnell et als "krig" for å få publisert sine resultater/sin kritikk av hhv Mann og Steig. (Så vidt jeg vet, er Manns og Klimapanelets elskede hockeykølle fortsatt ikke replikerbar - 15 år etter den opprinnelige publiseringen.)

McIntyres bitende kritikk av fagfellevurderingen er at den aldeles ikke er det han kaller "due diligence" - altså en reell etterprøving av data og metoder - altså replikasjon, som Rice snakker om. I en del tilfeller har det jo til og med kommet fram at ikke en gang medforfattere har sett dataene - eller vet hva de er eller hvor de er!

I mange tilfeller viser det seg at den oppskrytte fagfellevurderingen ikke er stort mer enn en kursorisk gjennomlesning, og enkelte steder i Klimaland knapt nok det, men en "pal review" eller "kompisvurdering".

Og så videre... Rice peker på en del forhold ved måten forskningen er organisert på rundt journaler og det velkjente publiseringspresset. At dette går ut over kvaliteten, er åpenbart gitt alle artiklene som trekkes. Det ser ut til at han mener at rangeringssystemet for tidsskrifter er sentralt. Dette vet jeg ikke nok om til å kommentere.

Men Rice er ikke alene om å peke på disse og beslektede problemer ved forskningsindustrien. For det er jo en svær industri - det publiseres vel nå over 5000 forskningsartikler per dag? I farten husker jeg ikke sikkert, men det finnes et nettsted som heter "retraction watch" eller lignende? Og som har fått problemer på grunn av trusler om søksmål osv.?

Uansett er den nåværende utviklingen neppe bærekraftig  , og deler av det som går som "forskning" er jo allerede en vits. Riktige tanker vil trekke makt til seg heter det, og min (noe overflatiske) innsikt tilsier at reformer vil tvinge seg fram.

Men det vil gjenstå å se hva anarkiet (i egentlig betydning) på Internett vil kunne stelle i stand i tidens løp - det er ikke sikkert at de akademiske autoritetene vil være dem som avgjør hvilken form fremtidens vitenskapspublisering får... trur eg. 

[Jostemikk]

Etter de to foregående glimrende analysene har jeg bare litt å legge til. Selv i det Pål Prestrud kaller de mest prestisjefylte magasinene har forskning sluppet gjennom fagfelleprosessen til tross for at datagrunnlaget hele forskningen er bygget på ikke er vedlagt. Dette gjelder tvilsomt kun klimaforskningen, selv om jeg ikke kan legge fram dokumentasjon på slikt på stående fot.

Det blir nesten som å arbeide som journalist i bladet Motor, og anbefale en bil til leserne fordi du likte den så godt under prøvekjøringen, selv om du aldri prøvekjørte den. Kanskje er dette en god sammenligning?

[ebye]

I den norske utgaven til Donna Laframboise diskuteres fagfelle-systemet på sidene 42 - 55. Hun levner ikke sine "IPCC-oppdagelser" mht. peer-review mye ære.

Selv har jeg ikke direkte vært i noe virkelig kokende, sydende forskningsfelt. Men har hatt to spesielle opplevelser:

En gang var det en reviewer som påsto at jeg ikke hadde studert én optisk aktiv forbindelse (som jeg vitterlig hadde), men en blanding av de to formene (racemat som det heter). Det var lett å tilbakevise. Han hadde ikke oppfattet mye av artikkelen, nei. Det handlet om metadon, så det var litt viktig å få det publisert.

Neste gang var en reviewer som hadde 2-3 sider med meningsløse kommentarer. Det var modellering med PCA, for å klassifisere muskelfibre. Dataene var 10 år gamle, og vårt arbeid skulle vise hvordan mer moderne metoder kunne brukes. Jeg henvendte meg redaktøren og han svarte: Den revieweren har alltid en masse kommentarer, noen viktige, noen helt uviktige og meningsløse. Ta hensyn til de du finner viktige, avvis resten! Paperet ble omgående publisert.

Så har jeg et eksempel (ikke mitt arbeid) der reviewerne forståelig nok hadde vansker med å se feilen. Det gjaldt strukturen av Met-enkefalin.  Det var helt essensielt å vise at signalstoffet passet til samme receptor som morphin. Det gjorde det, problemet var at det var noe ugreie i strukturen, to H-atomer lå nærmest inne i hverandre!  Dette ble påpekt av andre forskere etter at artikkelen var publiset, og strukturen kom på nytt, noen år senere. I hovedsak var strukturen den samm. Hjernens morphin var fastslått! Meget hot stoff.

Vel, Laframboise gir et reelt skemmebilde av hvordan dette systemet funker. Her er det mange aspekter som kan diskuteres, men det får vente til CO2 er frikjent.         
   

[Amateur2]

Joanne Nova tar tak i dette temaet på bloggen sin. Det er særlig Science og Nature som får gjennomgå i denne artikkelen:

Peer Review failure: Science and Nature journals reject papers because they "have to be wrong"

Sitat fra ingressen:

The peer review system has decayed to the point where the culture of the two "top" science journals virtually  guarantees they will reject the most important research done today. It is the exact opposite of what we need to further human knowledge the fastest. Science and Nature are prestigious journals, yet they are now so conservative about ideas that challenge dominant assumptions, that they reject ground-breaking papers because those papers challenge the dominant meme, not because the evidence or the reasoning is suspect or weak.

Det er grunn til bekymring med hensyn til både kvaliteten på forskningen og innovasjonstakten når slike tendendser vinner fram.

[Bebben]

Fra Climategate går det klart fram hvordan The Team og deres allierte har samarbeidet for å utestenge artikler de ikke liker fra publisering.

Et relativt nytt skrekkeksempel på hvordan dette funker, var jo redaktør Wagner i tidsskriftet Remote Sensing som måtte gå av etter at de hadde publisert en artikkel av Roy Spencer et al om skyers innvirkning på klimaet, og som "Dear Kev" Trenberth ikke likte. Men Spencers artikkel var fagfellevurdert etter alle kunstens regler og ingen kunne påvise at noen feil var gjort.

Likevel måtte redaktøren foreta en offentlig avslikking av Dear Kevs støvler og gå av som redaktør.

Det tok den fryktede bloggosfæren et døgns tid eller så å avdekke at Dear Kev satt i en svært god posisjon med hensyn til å avgjøre Wagners søknad om forskningsmidler.

Slike tilfeller er sikkert ikke unike for klimaforskningen, men vi som får regningen, har i det minste krav på at den vitenskapelige prosessen foregår på ærlig, redelig og ryddig vis.

[Bebben]

Her er forresten en svært lesverdig og fornøyelig artikkel, kanskje spesielt for ebye (hvis du ikke har lest den) men også for oss andre:

How to Publish a Scientific Comment in 123 Easy Steps
Prof. Rick Trebino
Georgia Institute of Technology

... god fornøyelse!