Zapruder Inc.

Wat is wetenschap dan wel? Wetenschap is veel maar ook geformaliseerde kokerkijkerij, geremde creativiteit en, door toenemende politieke en corporatistische belangenverstrengeling, steeds meer een marketing-instrument van corporaties en regeringen. Undercover propaganda. Datgene dat wetenschap boven alles zou moeten zijn -objectief- is het in toenemende mate steeds minder. Wetenschappelijke resultaten lijken steeds vaker te worden verkregen door naar de gewenste uitkomsten toe te werken. Uitkomsten die bijvoorbeeld een sponsor goed uitkomen. Onderzoeken die worden gesponsord door een pharmaceutische fabrikant hebben meer dan vier maal zoveel kans op een gunstige uitkomst voor die fabrikant dan onderzoeken met een neutrale financiering.

Hoe kan dit? Er zijn voor zuivere wetenschapsbelijding toch juist mechanismen bedacht die kwaliteit en objectiviteit moeten waarborgen, zoals wetenschappelijke methode en peer-review ? De meeste van die onderzoeken zijn toch volgens ‘de regels uitgevoerd’ en toch maakt het uit wie het onderzoek heeft gesponsord?

Maar al te vaak wordt in discussies geschermd met peer-review als zou dat een keurmerk zijn voor kwaliteit (laten we objectiviteit maar even één van de belangrijkste kwaliteitskenmerken noemen van wetenschap). In theorie zou dat misschien zo kunnen zijn, de praktijk is anders. Peer-review is precies daar waar objectiviteit het meest in geding is meer een manipulatie-instrument dan wat anders. Denk daarbij dan vooral aan controversiele onderwerpen in extreem politieke omgevingen zoals 9/11 (terrorisme), HIV als oorzaak van AIDS (pharmacie), CO2 als oorzaak van global warming (klimaatwetenschap) of gentech (genetrische manipulatie, foodtech). Peer-review lijkt standpunten die ongunstig zijn voor invloedsfeer van regeringen of de winsten van corporaties te onderdrukken en dat is allerminst objectief. Dat is censuur.

Peer-review heeft daarnaast tot gevolg gehad dat wetenschap aan het intelen is geraakt door steeds minder instroom van de hoognodige creatieve, controversiele of gewoon radicaal andere theorieën en denkbeelden. Peer-review lijkt middelmaat en bestaande consensus te stimuleren.

Is peer-review eigenlijk wel een betrouwbaar hulpmiddel en geeft het enige garantie tot kwaliteit en correctheid?

Hoe werkt peer-review?

Peer-review is een mechanisme waarbij gelijken van de auteur van een wetenschappelijk artikel (zijn ‘peers’) het stuk beoordelen (‘reviewen’) om ervoor te zorgen dat het uiteindelijk te publiceren artikelen geen (minder) dwalingen of fouten bevat. Nieuwe wetenschappelijke bedenkselen worden aan de wereld geopenbaard door ze te publiceren in een wetenschappelijk tijdschrift, een journal (spreek uit: ‘djurnol’). Zonder een dergelijke publicatie wordt het al snel weer vergeten of gewoon niet serieus genomen. Publicatie is daarom belangrijk. Iedereen kan zijn werk aanbieden aan het journal van zijn keuze. Het is de redacteur van het journal die uit alle aangeboden werken een selectie maakt. De geselecteerde werken worden vervolgens aan - door de redacteur gekozen - ‘peers’ aangeboden waarbij de namen van deze peer-reviewers voor de auteur van het werk in principe geheim blijven; net als de naam van de auteur in principe geheim is voor de reviewers. Elk vakgebied en journal kan echter eigen procedures hebben. In de praktijk is de naam van de auteur bij de reviewers vaak wel bekend en vaak kunnen de reviewers aan de hand van hun (typerende) reacties ook vrij gemakkelijk worden achterhaald. Na eventueel wat herschrijvingen naar aanleiding van de reviews en uiteindelijk hopelijk een gunstige aanbeveling van de reviewers zal de redacteur overgaan tot publicatie in zijn journal en kan het werk onderwerp worden van openbare wetenschappelijke discussie.

Hoe werkt peer-review ook?

Zo nu en dan gebeurt het dat de peer-review van hetzelfde ‘paper’ door twee verschillende journals een totaal verschillende uitkomst geven. Nature publiceerde ooit over een zaak waar de zes van de zes reviewers van de ‘Philosophical Transactions of the Royal Society of London ‘ een artikel over de effecten van gen-voedsel op ratten afwezen vanwege fouten maar vijf van de zes reviewers van The Lancet het artikel gepubliceerd wilden zien en dus vonden dat het artikel geen fouten bevatte.

In 2003 publiceerde het journal Geophysical Research Letters een aantoonbare corrupt artikel. Het stuk claimde op basis van een in 1841 door kapitein sir James Clark Ross aangebracht merkteken, ergens op een rots in Port Arthur in Tasmani, dat het zeeniveau de 20e eeuwse gemiddeld met een centimeter per jaar stijgt. Geheel in lijn met de (vervalste) rapporten van het IPCC, op basis waarvan onze regeringen een CO2 bangmaak-campagne zijn begonnen. Het standpunt waarmee gevestigde wetenschappers het gemakkelijkst nieuwe budgetten kunnen bemachtigen. Het artikel deed die schattingen echter op basis van aantoonbaar vervalste en niet-bestaande gegevens. Wanneer daar op gewezen middels een uitgebreide reactie weigerde het journal dit echter te corrigeren en gaf daarvoor geen goede redenen. 

Dit kunnen uitzonderingen zijn. Er zijn extreem veel journals (>150.000) en er worden nog meer papers gepubliceerd. Eén zwaluw maakt nog geen zomer. Of beter gesteld: één sneeuwvlok maakt nog geen winter. Maar het kan ook gewoon zijn dat peer-review gewoon niet goed werkt. Laten we zelf gewoon eens nadenken. Wat denkt u dat er zou gebeuren wanneer wetenschapper A compleet tegen de consensus in is gaan theoretiseren dat een bepaald virus niet bestaat en zijn werk ter peer-review wordt aangeboden aan wetenschapper B die extreem goed gesponsored onderzoek doet aan juist dat virus? Er zijn (ook in in Nederland!) onderzoekers die jaarlijks budgetten van meer dan 100 miljoen (!) krijgen toegeschoven voor onderzoek aan specifieke virussen. Wat denkt u? Zou wetenschapper B zijn fondsen en reputatie op het spel zetten door ook maar te overwegen het werk van zijn nog niet zo gereputeerde collega A met zijn ‘gevaarlijke’ theorie gunstig te reviewen? Wat voor nut zou dat hebben voor wetenschapper B zeker als zijn denkbeelden inmiddels ook zo mainstream zijn dat mocht ooit het tegendeel blijken, niemand hem dat zal kwalijk nemen? De keuze is dan tussen 1. de review negatief laten uitkomen en volgend jaar weer 120 miljoen incasseren of, 2. een volkomen onbekende of toch al controversiële wetenschappers met een evenzo controversiele (want: niet main-stream) theorie steunen en de komende jaren niet alleen ander werk voor jezelf en nog 100 medewerkers moeten zoeken maar ook nog eens een hoop nare vragen moeten beantwoorden…

Het antwoord lijkt me duidelijk. Dit probleem is structureel en het is daarom aan de redacteur van het journal om emotioneel neutrale en wetenschappelijk objectieve reviewers te vinden. Een redakteur zit echter in vergelijkbare krachtenvelden. Journals maken kost geld. Veel journals zijn tegenwoordig voor hun voortbestaan afhankelijk van advertenties en adverteerders hebben andere belangen dan wetenschappers. Zodra wetenschap afhankelijk wordt van adverteerdersbelangen is zuivere wetenschap niet goed meer mogelijk. De uitgever van journal is zelf waarschijnlijk eigendom van zo’n grote adverteerder of op z’n minst van een grote corporatie. Dat zijn emergente entiteiten, persoonlijkheden op zich, los van de persoonlijkheden van directie en werknemers, waarover niemand direct controle heeft. Zo’n entiteit heeft uiteindelijk maar een doel: aandeelhouderswaarde creeeren ten koste van alles. Ten koste van mensen, maar ook ten koste van objectieve wetenschap. In de perceptie van zo’n entiteit is een redakteur goed wanneer het blad de belangen de aandeelhouders voldoende dient en in het ecosysteem dat zo vanzelf ontstaat, hebben adverteerdersvriendelijke redakties én publicaties én reviewers een betere overlevingskans. Adverteerdersvriendelijk betekent vrijwel per definitie ook main-stream.

Daarnaast blijken persoonlijke voorkeuren van de redakteuren ook mee te spelen. Vooral de perikelen rond de controversiele publicaties van Peter Duesberg, één van werelds meest vooraanstaande microbiologen, laten goed zien hoe peer-review in dat opzicht werkt. Niet omdat het uitzonderingen zijn, maar omdat Peter de problemen rond het peer-review proces duidelijk en onomwonden beschrijft in zijn boeken en artikelen. Rode draad is elke keer weer persoonlijke voorkeur van een redakteur en ongefundeerde afwijzingen in peer-review door concurrerende collega’s met afwijkenden persoonlijke meningen en grote tegengestelde belangen.

Peer-review is te kwetsbaar

Dat peer-review mechanisme aan alle kanten rammelt, is voor iedereen te zien. De objectiviteit van peer-review is namelijk afhankelijk van een redakteur met goede bedoelingen, een ruim denkkader en weinig ego die zonder enige angst voor zijn baan, reputatie en de continuiteit van zijn journal kan publiceren wat hij wil. Zonder daarbij enige persoonlijke voorkeur te betrachten. Het mechanisme is ook nog eens afhankelijk van wetenschappers met goede bedoelingen, een ruim denkkader en weinig ego die zonder enige angst voor hun banen, reputaties en de continuiteit van hun onderzoeken het werk in kwestie volledig objectief kunnen beoordelen. Zonder daarbij enige persoonlijke voorkeur te betrachten. Het mechanisme is tenslotte ook nog eens afhankelijk van de beschikbaarheid van dat soort wetenschappers die de materie voldoende beheersen, hetgeen door de verregaande specialisering van wetenschappers best zeldzaam kan zijn. Zeker bij radicaal nieuwe theorieen kan dat een probleem zijn. Dat zijn mijns inziens teveel voorwaarden waaraan moet worden voldaan om van peer-review een bruikbaar instrument te maken.

Peer-review zegt niets over correctheid of geldigheid van een theorie

Het is een misvatting te denken dat peer-review dient om een nieuwe theorie te controleren op correctheid. In die zin wordt het namelijk wel vaak gebruikt, vooral in discussies tussen truthers en debunkers wordt vaak geschermd met peer-review als zou het enige garantie tot correctheid bieden. Een ge-peer-reviewed artikel is niet per se correct. Het is lang niet altijd mogelijk nieuwe theorieën te controleren door bijvoorbeeld afleiding van bestaande theorieën. In sommige vakgebieden is logica ook minder toepasbaar, denk aan biologie of psychologie, zodat ook logische herleidingen niet mogelijk zijn. Sommige theorieën doen voorspellingen waarvan het pas tientallen jaren later mogelijk is deze empirisch te weerleggen of juist bevestigen. Peer-review dient ervoor het kaf van het koren te scheiden en correcte toepassing van wetenschappelijk methode en relevante protocollen te waarborgen. Niets meer, niets minder.

Peer-review leidt tot middelmaat en bevestiging van bestaande consensus

Peer-review doet behalve censureren nog een ding: het remt creativiteit en diversiteit. Het bevordert inteelt. Wetenschap zou juist creatief en innoverend moeten zijn maar als juist de meest controversiele theorieën, juist de theorieën die wetenschap op nieuwe ideeen zou kunnen brengen, al door subjectieve redacties en subjectieve reviewers worden gesmoord, kan de uitkomst alleen maar het tegendeel zijn. Moderne communicatiemiddelen zoals community-driven website maken wat dat betreft ook veel meer mogelijk dan de ouderwetse journals en inmiddels is er een heel pre-publicatie circuit ontstaan waarop wetenschappers vooruitlopend op publicatie in hun journal toch al hun papers publiceren. Zonder risico op censuur door peer-review.

Het grote aantal wetenschappers dat slechts een beperkte hoeveelheid fondsen heeft te verdelen, leidt ook tot problemen. Van vriendjespolitiek tot kannibalisme met middelmaat als resultaat.

Peter Deusberg zegt hierover:

“Such overgrowth in scientific ranks produces regression to the mean. Competition among large numbers of scientist for one or few central sources of funding restricts freedom of thought and action to a mean that appeals to the majority. The scientist who is very productive, most able to sell research, and is well liked for not offending his peers with new hypothesis and ideas is selected by his peers for funding. The eccentric, “ absent-minded professor” with crazy” ideas has been replaced by a new breed of scientist, more like a “yuppie” executive than the quirky genius of old academia. These peers cannot afford a nonconformist, or unpredictable, thinker because every new, alternative hypothesis is a potential threat to their own line of research.  “

“Few scientist are any longer willing to question, even privately, the consensus views in any field whatsoever. The successful researcher-the one who receives the biggest grants, the best career positions, the most prestigious prizes, the greatest number of published papers- is the one who generates the most data and the least controversy. The transition from small to big to mega-science has created an establishment of skilled technicians but mediocre scientist, who have abandoned real scientific interpretation and who even equate their experiments with science itself. They pride themselves on molding data to fit popular scientific belief, or perhaps in adding non-threatening discoveries, but when someone strays outsides accepted boundaries to ask questions of a more fundamental nature, the majority of researchers close ranks to protect their consensus beliefs.”

Conclusie

Peer-review is nodig om het kaf van het koren te scheiden. Het is nodig om toch een bepaalde wetenschappelijke kwaliteit te kunnen garanderen. Niet alles is publicatie-waardig, dat is voor iedereen te begrijpen. Peer-review kan ook best werken, maar alleen onder omstandigheden die in de praktijk niet vaak zullen worden aangetroffen. Peer-review is niet bedoeld om correctheid of geldigheid van een theorie te bevestigend maar de kwaliteit van de theorie als wetenschappelijke theorie. Wanneer toegepast in een ecosysteem waarin grote belangen spelen, persoonlijke, corporate en politieke, waarin bovendien veel wetenschappers moeten concurreren met elkaar over slechts weinig financiele bronnen blijkt dat het systeem zeer sterk neigt naar censuur, middelmaat, conformering en reeds bestaande consensus. Controversiele en prikkelende theorieen worden door het mechanisme weggefilterd zodat wetenschap steeds meer inteelt wordt.

Heeft het systeem nog veel nut? Ik denk dat er betere alternatieven zijn. Er is uiteindelijk toch maar één manier waarop wetenschappelijke theorieën zich kunnen bewijzen en dat is in de praktijk, in bijvoorbeeld bewezen maatschappelijk nut, of werkende technologie zoals een werkend teleportatiesysteem van hier naar een planeet in een ander sterrenstelsel. Tenzij je wetenschap als doel op zich ziet, waar ik dus die meneer Dawkins van verdenk. Maargoed ik ben geen wetenschapper (en ook geen gelovige) en dit artikel is niet peer-reviewed dus daarom is bovenstaande natuurlijk allemaal onzin. Beter laat ik het laatste woord aan Richard Horton, de redakteur van The Lancet (een van de meest vooraanstaande journals in de wereld) :

“The mistake, of course, is to have thought that peer review was any more than a crude means of discovering the acceptability—not the validity—of a new finding. Editors and scientists alike insist on the pivotal importance of peer review. We portray peer review to the public as a quasi-sacred process that helps to make science our most objective truth teller. But we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong.”

“De vergissing, natuurlijk, is te denken dat peer-review meer is dan een rudimentair middel om de accepteerbaarheid – niet de geldigheid – van een nieuwe bevinding te testen. Redakteuren en wetenschappers staan op de kapitale importantie van peer-review. Wij presenteren peer-review bij het grote publiek als bijna heilig proces dat van wetenschap onze meest objectieve leidraad maakt. Maar we weten dat het systeem van peer-review bevooroordeeld, oneerlijk, onberekenaar, incompleet, gemakkelijk manipuleerbaar, vaak beledigend, meestal ignorant, soms stompzinning en regelmatig verkeerd is.“