Furor Teutonicus blog | over | volg | teuto | lyme | archief | doneer | todo
🕰️
  ⬩  
✍️ Evert Mouw
  ⬩  
⏱️ 12 min

Modeldenken bij corona en stikstof leidt soms tot slecht beleid

Modelleren kun je leren

In dit artikel zal worden ingegaan op de gevolgen van het gebruik van rekenmodellen voor het beleid. Ook worden uitstapjes gemaakt naar meer “esoterische” onderwerpen die raken aan, of contrasteren met, zulk modelgebruik. Dat vraagt van de lezer de bereidheid om een beetje out of the box te denken.

Op sommige bèta-faculteiten wordt je ingewijd in de voor buitenstaanders occulte kunst van het maken van een rekenmodellen. Of het nu een pandemie is, of stikstofneerslag, of verkeersstromen, of bevolkingsgroei: alles is te modelleren. Dezelfde aanpak, dezelfde theorie van algoritmen en dezelfde programmeertalen leiden al snel tot overeenkomsten. Als beleidsmakers, oningewijden dus, daarmee aan de haal gaan krijg je ook dezelfde problemen op velerlei terrein. Zie onderstaande tabel.

nr Coronamodel Stikstofmodel
1 Gemaakt door het RIVM. Gemaakt door het RIVM.
2 Professionele onderbouwing. Professionele onderbouwing.
3 Nette computercode. Nette computercode.
4 Grote onzekerheden in de voorspelde waarden, door het RIVM zelf gemeld. Grote onzekerheden voor lokale depositiewaarden, door het RIVM zelf gemeld.
5 Het RIVM straalt vertrouwen uit in het eigen kunnen. Het RIVM straalt vertrouwen uit in het eigen kunnen.
6 Wordt door beleidsmakers gebruikt om juridisch dwingend maatregelen op te leggen. Wordt door beleidsmakers gebruikt om juridisch dwingend vergunningen te eisen.
7 Ondanks de onafhankelijke status van het RIVM zie je toch verwevenheid met de politiek en ministeries. Ondanks de onafhankelijke status van het RIVM zie je toch verwevenheid met de politiek en ministeries.

De overeenkomst tussen beide modellen is treffend. Beide modellen zijn gemaakt door het RIVM (1), zijn voorzien van een professioneel ogende wetenschappelijke onderbouwing (2), en zijn geïmplementeerd in de vorm van nette computercode. Voor het stikstofmodel geldt wel dat het onderhoud aan de code gebrekkig is. Het wiskundig modelleren van een complexe wereld is lastig, wat ook de reden is dat zelfs het weer voorspellen al lastig is. Daarom hebben de uitkomsten van de rekenmodellen ook het hoge onzekerheid of foutmarge (4), iets waar het RIVM open over is.

Goed gereedschap in onkundige handen

Wetenschappelijk gezien zijn de modellen dus goed bruikbaar (5), omdat ze juist door die hoge onzekerheid niet vaak de foute uitkomst zullen geven. Als je bijvoorbeeld voorspelt dat het kan vriezen of kan dooien, dan zul je er niet snel naast zitten… Maar hoe bruikbaar zijn rekenmodellen voor beleidsmakers als ze zoveel foutmarge kennen?

In de vertaling naar beleid gaat het al snel fout, omdat vaak de gemiddelde waarden gebruikt worden zonder de foutmarge daarin te betrekken (6). Omdat beleidsmakers niet los te zien zijn van politieke belangen, is er toch druk op de onafhankelijkheid van het RIVM (7), bijvoorbeeld politieke druk op OMT leden, of een SG die aan de baas van het RIVM geen toestemming geeft om nogmaals het podium te betreden bij een boerenprotest, of anders wel sturing door middel van selectieve opdrachten en financiële kaders.

Het helpt ook niet dat in de politiek steeds minder bèta’s actief zijn. De vertaling van complexe rekenmodellen naar beleid dreigt daardoor populistisch ingevuld te worden door de regeringscoalitie. “De wetenschap” verwordt dan tot een institutionele machtsbron in plaats van een plek waar kennis in beweging is en waar resultaten onzeker en aanvechtbaar zijn. Inhoudelijke kritiek wordt afgedaan als “misinformatie”, ook als die kritiek van artsen en wetenschappers afkomstig is. Het is een typisch Ruttiaans spel om dan achteraf te veinzen dat we misschien toch ook critici in het debat moeten betrekken.

Het RIVM kan daar zelf ook wat actiever een rol in spelen door te benadrukken dat rekenresultaten niet zo in beleid zijn te vertalen, en door andere benaderingen te betrekken in het eigen verhaal. Het is verleidelijk voor het RIVM om de weg van de minste weerstand te kiezen, maar op lange termijn is een te intieme samenwerking met de belangen van beleidsmakers enkel contraproductief voor de standing van het RIVM. De bewegingsruimte van het RIVM is echter beperkt, waardoor de verantwoordelijkheid hiervoor toch vooral bij het kabinet gezocht moet worden.

Zo is het een juridische regel dat stikstofuitstoot boven de 3000 voet niet meegeteld wordt in de stikstofberekeningen. Dat is beleidsmatig nogal handig omdat je op die manier bijvoorbeeld de nieuwe luchthaven bij Lelystad mogelijk kunt maken op basis van brakke vergunningsaanvragen. Burgers en boeren worden zo geschiphold.

Van onkunde naar angst, tunnelvisie en polarisatie

Het vanaf het begin af aan includeren van serieuze en in essentie constructieve kritiek zou kunnen leiden tot betere beleidsuitkomsten. Soms staat groupthink in de weg, en het helpt ook niet als kabinetsleden door gebrek aan vakinhoudelijke kennis de discussie niet kunnen overzien en zich daarom vastklampen aan een instituut als het RIVM, terwijl de expertise zo breed in de samenleving verdeeld is. Ook het RIVM gebruikt diensten buiten de organisatie, bijvoorbeeld om de computercode van het stikstofmodel bij te houden.

De strategie die wel gebruikt wordt is het opvatten van personen en groepen met andere inzichten als een soort “red team” die “misinformatie” verspreid en actief bestreden moet worden met “denktanks” en via de media, eventueel door middel van censuur (“geen podium geven aan”). Redelijke critici worden daardoor in het kamp van onredelijke critici gedreven. En maar klagen over de “toon van het debat” en “polarisatie”, na dat zelf veroorzaakt te hebben.

Soms kun je zelfs spreken van regelrechte demonisering van kritische groepen, iets wat zeer kwalijk is als dat door een democratische overheid geschied. Een voorbeeld is de uitgeverij De Blauwe Tijger, die door onze overheid via de NCTV als gevaar werd benoemd. Zo ga je niet met de vrije pers om.

Nieuw is het gebruik van gedragsunits en gedragsexperimenten. De inzet van mondmaskers en het benadrukken van risico’s lijken daardoor (mede) geïnspireerd te zijn. Een hoge vaccinatiegraad kan enkel bereikt worden als mensen gemotiveerd zijn, en de risico’s of lichte ongemakken of onzekerheden rondom vaccins vergeten omdat ze nog veel banger zijn voor een besmetting. Het “weer vrij kunnen zijn” als iedereen gevaccineerd is geeft extra groepsdruk die het voor beleidsmakers gemakkelijker maakt om hun doel te bereiken. Dat heeft ook nadelen. Het sars-cov-2 virus kan bijzonder vervelende gevolgen hebben (niet eens zozeer mortaliteit, alswel vele langdurige en mogelijke aanblijvend chronische klachten), maar de angst voor het virus lijkt nog vervelender gevolgen te hebben. Het geeft tunnelvisie, verlies van volksgezondheid op andere terreinen, en schade aan de economische basis van ons zorgstelsel. Het leidt ook tot schade aan de menselijke waardigheid en schade aan democratische principes.

Angst is niet enkel het gevolg van bestuurlijke onkunde en tunnelvisie. Ook een natuurwetenschappelijk goed onderlegd kabinet zal keuzes moeten maken terwijl veel zaken niet bekend zijn. Waardering is nodig voor het grote mysterie.

De formule van een seculiere religie

De rode lijn die hier zichtbaar wordt is het misbruik van wetenschap voor zaken waar het niet voor bedoeld is. Op die manier wordt wetenschap een substituut voor religie. Het is slecht voor de dynamiek van de wetenschap, die leeft op basis van de mogelijkheid van falsificatie, open debat en open informatie. Maar beleidsmakers leven in een onzekere wereld vol technologie die ze, vaak ook door hun alfa- of gamma-opleiding, niet goed begrijpen. De magiër-priesters van een wetenschappelijk instituut bieden houvast; hun formules worden, half begrepen, gebruikt om tot beleid en actie te komen.

Dit verschijnsel is tot in den treure beschreven. Te noemen valt de theorie van het sciëntisme, de vervanging van kwaliteit door kwantiteit (René Guénon), de industrialisatie, bureaucratisering en onttovering van Max Weber, en kritiek op het managersdenken en de managersscholen die ook wel de ziekte van Taylor genoemd wordt.

Hier is het waar je ziet dat veel groepen die een religieuze of spirituele basis kennen zich niet herkennen in beleid op basis van angst. Of het nu kritische New-Agers zijn, of bedenkelijke conservatieven en christenen, of wetenschappelijk onderbouwde moslims (DENK laat zich adviseren door een inhoudelijk specialiste), bij al die groepen zie je het idee dat het leven een hoger aspect kent dan enkel fysieke veiligheid. Door hun al bestaande religieuze opvattingen, al dan niet verbonden met de realiteit, zijn ze minder gevoelig voor de seculiere religiositeit die ook niet altijd zo realistisch is als ze zichzelf voorspiegelt.

De chaosmagie was een postmoderne reactie op de existentiële leegte. Geloof en ritueel dient voor resultaten, waarbij alle wegen en opvattingen even geldig zijn. Daarmee kwam het besef dat alles een geloof is. De acht pijlen geven niet alleen de windrichtingen en jaarfeesten aan, maar ook het idee van vele mogelijkheden. De rode pijl symboliseert een tunnelvisie.

Meer over de chaosmagie

Het is een dilemma van de moderne tijd: in een democratie kan niemand echt aanspraak maken op het bezit van de waarheid, terwijl een geloofwaardige claim op de waarheid wel noodzakelijk is om effectief beleid vorm te geven. De overheid heeft er daardoor belang bij de wetenschap in de kapselen, maar dreigt daarmee de gans te verkopen die gouden eieren legt.

Als de diversiteit (multiculturaliteit, multi-etniciteit, klassenverschillen etc.) teveel toeneemt kunnen de samenbindende krachten niet langer de rechtstaat garanderen.

Uit de tunnel en in het licht van meerdere belangen

Het World Economic Forum (WEF) bepleit een overgang van een shareholder economy naar een stakeholder economy. Ze bepleiten dat organisaties en bedrijven zich niet op een enkel doel kunnen richten. Een bedrijf heeft bijvoorbeeld behalve een korte-termijn winstbelang ook belang in goede relaties met toeleveranciers, de regio, politici, en zelfs met het milieu en de planeet. Dat geeft een waaier van belangen die lastig kan zijn voor de besluitvorming. Echter in lijn hiermee is te bepleiten dat een eenzijdige focus op COVID-19 niet verstandig is. Lange-termijn belangen als een economie gebaseerd op MKB-ers, sociaal kapitaal en een goede geestelijke gezondheid staan momenteel onder druk. Zelfs de medisch ethica en oud-parlementariër Heleen Dupuis, die ik de ene keer dat ik haar sprak (over het elektronische patiëntendossier) innemend en deskundig op mij overkwam, sprak zich uit. Met die belangen (stakes) moet dus meer rekening gehouden gaan worden. Hoe dit te vertalen naar goed beleid?

Een reactie van Steve Denning op mijn tweet.

Bron: tweet Denning

Het is waar dat het WEF de COVID-19 crisis heeft genoemd als argument voor een Great Reset richting een duurzame stakeholder economy. Ik ga ook niet zomaar mee in al hun posities; zo ben ik gematigd kritisch geweest op hun landbouwvisie. Toch hebben ze m.i. een punt dat we op de huidige manier niet echt meer vooruit kunnen. Ik ben dan ook van plan het boek Stakeholder Capitalism, geschreven door Klaus Schwab en Peter Vanham, uitgebreid te bespreken en becommentariëren in een serie van blogposts.

Een snelle oplossing

De anti-misinformatie denktanks en communicatiemensen, gedragsunits etc. moeten zo snel mogelijk in een structuur gegoten worden waarbij een open en constructieve dialoog met partijen mogelijk is die soms heel andere zienswijzen op hun eigen manier goed onderbouwd hebben. Een integrale aanpak is mogelijk. Het vraagt wel een “willen” van degenen die nu het beleid vormgeven, evenals een neutralere en objectievere berichtgeving in de media dan nu het geval is. Kortom, mijn verwachtingen zijn niet hoog gespannen.

Toch spreek ik me uit, want je weet maar nooit hoe een koe een haas vangt. Bovendien helpt het voor mijn gemoedsrust, en wie weet zet het enkelen aan tot nadenken.

Nawoord

Modellen kunnen het inzicht enorm vergroten, mits goed toegepast en mits bewust van de beperkingen. Gebruik nooit een enkel model dat de juridische werkelijkheid gaat bepalen. Het wordt vooral leuk als je meerdere modellen naast elkaar legt en je ze als speelgoed ziet die helpen om grip op iets te krijgen.

Meer lezen

In de tekst hierboven staan diverse relevante linkjes. Daarnaast zijn nog enkele van mijn teksten gerelateerd aan dit onderwerp:

Update: Puur toevallig zie ik dat ook vandaag Jim Tehupuring een opiniestuk in De Telegraaf heeft gepubliceerd waarin hij kritisch is op het modeldenken. Column: geen wappie, wel zorgen over economie.

Update 2021-02-23*: Kamerlid Omtzigt spreekt zich uit over modeldenken. Modellen moeten niet langer alle beleid domineren – ook niet dat rond corona. “We onderschatten de onvolmaaktheid van zulke modellen, met vaak tig aannames.”

Aanvulling 2021-03-08*: Van een aantal mensen krijg ik de reactie dat ze het met me eens zijn, maar dat ze vooral het gebruik van aannames in modellen als problematisch zien. Het klopt dat modellen gebruik maken van aannames: zowel wat betreft de waarden (variabelen) als wat betreft de verbanden (formules, verbanden) alsook de grootheden (objecten, fenomenen). Die kunnen inderdaad flink afwijken van de realiteit. Het punt dat ik maak, is dat je meerdere modellen en aannames naast elkaar moet leggen (als “speelgoed” gebruiken) om het denken aan te scherpen en inzicht te krijgen in de diverse scenario’s die zich zouden kunnen voordoen. Daarbij moet je zeer expliciet zijn over de gebruikte aannames. Dus aannames zijn nodig, maar je moet ze variëren en nuttig gebruiken.

Aanvulling 2021-03-08*: In dit artikel, Models v. Evidence van 5 mei jl., wordt de bekende wetenschapper Ioannidis aangehaald. Een aardig citaatje:

They have used a multitude of models to create virtual worlds in which sim viruses wash over sim populations—sometimes unabated, sometimes held back by a virtual dam of social interventions. This deluge of simulated outcomes played a significant role in leading government actors to shut borders as well as doors to schools and businesses.

Aanvulling 2021-03-17: Een grondig artikel van Thomas Bollen in Follow the Money waarin diverse hoogleraren en experts toelichting geven over hoe je modellen en statistiek moet gebruiken — en niet moet gebruiken. Nattevingerwerk RIVM hielp Nederland aan omstreden avondklok.

Aanvulling 2021-03-18: In Medisch Contact 11 (18 maart 2021) zie ik een artikel van Michel Wissing (AIOS infectieziektebestrijding) waarin hij net als ik waarschuwt tegen het gebruik van gemiddelden om besluiten te nemen terwijl er vaak sprake is van ruime betrouwbaarheidsintervallen.

Aanvulling 2022-01-31: In het artikel Forecasting for COVID-19 has failed (John P.A. Ioannidis, Sally Cripps, and Martin A. Tanner) wordt beschreven hoe coronamodellering niet alleen flink de plank missloeg, maar ook aanleiding gaf tot forse fouten. Hier de eerste helft van de abstract:

Epidemic forecasting has a dubious track-record, and its failures became more prominent with COVID-19. Poor data input, wrong modeling assumptions, high sensitivity of estimates, lack of incorporation of epidemiological features, poor past evidence on effects of available interventions, lack of transparency, errors, lack of determinacy, consideration of only one or a few dimensions of the problem at hand, lack of expertise in crucial disciplines, groupthink and bandwagon effects, and selective reporting are some of the causes of these failures.


Deze blogpost werd in december 2022 overgezet van WordPress naar een methode gebaseerd op Markdown; het is mogelijk dat hierbij fouten of wijzigingen zijn ontstaan t.o.v. de originele blogpost.