Onder de mediaan van het RIVM

Samenvatting

Het RIVM is niet goed in het voorspellen van IC-opnames ten gevolge van COVID-19. Mogelijk heb ik iets fout gedaan; het RIVM model is matig maar zo slecht kan bijna niet.

FOLLOW-UP AVAILABLE HERE.

De IC-opnames volgen de voorspellingen zelfs niet een beetje.

Introductie

Het aantal IC-opnames gerelateerd aan COVID-19 bleek steeds lager uit te vallen dan op basis van de voorspellingen van het OMT (RIVM) verwacht mocht worden. Vraag is nu in hoeverre de voorspellingen van het RIVM ernaast zaten.

Een analyse door Marc Jacobs [backup] inspireerde mij tot het maken van een vergelijkbaar diagram. Hij ging uit van de worst case voorspellingen, die, niet onbelangrijk, een reden waren tot voorzichtigheid en het nemen van maatregelen om te voorkomen dat de zorg overbelast zou raken. Ik ben echter vooral geïnteresseerd in hoe goed het RIVM het aantal IC-opnames kan voorspellen terwijl we tegelijkertijd de aanbevelingen van het OMT opvolgen; oftewel ik denk met het RIVM mee en bekijk enkel de best case voorspellingen. Daarmee zullen de voorspellingen van het RIVM dichter bij de uiteindelijke realiteit liggen.

Of de door het OMT voorgestelde maatregelen wel of geen effect gehad hebben staat in dit artikel dus niet ter discussie. Uiteraard kan het best zijn dat de maatregelen niet effectief waren, maar dat is voor dit artikel out of scope. Het te verwachten effect van de maatregelen zit immers al verwerkt in de best case voorspellingen van het RIVM.

Benodigde data en de verkrijging daarvan

Voorspellingen RIVM (meerdere data, meerdere scenario’s)

Deze data zijn niet beschikbaar omdat het RIVM geen wetenschappelijke verantwoording wenst af te leggen door de modellen en data openbaar te maken. Echter wel zijn de grafieken met voorspellingen (scenario’s) beschikbaar in de vorm van screenshots dankzij de repository van Marc Jacobs op Github.

Alle screenshots van de RIVM voorspellingen (gemonteerd).
montage -label %f -frame 6 -mattecolor '#FFFFBB' -geometry '1x1+0+0<' -tile 3x -bordercolor white *.jpg RIVM_IC.png

Marc had deze grafieken zelf omgezet naar CSV databestanden m.b.v. een online tool. Voor de zekerheid heb ik dit overnieuw gedaan met WebPlotDigitizer versie 4.5, welke eenvoudig in Arch Linux te installeren is vanuit de AUR d.m.v. yay webplotdigitizer.

Een voorbeeld van het inlezen van een RIVM grafiek m.b.v. WebPlotDigitizer.

Alleen de mediaanlijnen van de gunstigste voorspellingen (met de zwaarste maatregelen) heb ik gebruikt; de cijfers werden afgerond op een enkele decimaal achter de komma. Alleen de datumpunten toekomstig aan de presentatiedatum van de grafieken werden gebruikt.

Daadwerkelijke IC-opnames

Deze data is beschikbaar via NICE op https://www.stichting-nice.nl/covid-19-op-de-ic.jsp. De grafiek van nieuwe IC-patiënten per dag wordt met technieken als JavaScript en SVG dynamisch gemaakt. Om bij de data te komen is het na even zoeken in de broncode duidelijk dat die als JSON te krijgen is via https://stichting-nice.nl/covid-19/public/new-intake/ maar helaas komen de waarden niet overeen met de grafiek; ergens gaat dus iets fout. Voor een eerste verkenning heb ik geen heel exacte data nodig; ik heb daarom wederom mijn toevlucht genomen tot WebPlotDigitizer waarmee ik de grafiek op de webpagina van NICE naar een CSV bestand heb omgezet.

De NICE data.

UPDATE: Twittergebruiker EmanualP wees me op de IC-opnames zoals beschikbaar via het RIVM en het LCPS. Als ik dat plot dan wijkt mijn extractie van de NICE grafiek fors af van de data van het RIVM en het LCPS. Die laatste twee lijken ook niet helemaal gelijk te lopen, maar lopen wel aardig in de pas met elkaar. Ik heb gekozen om de LCPS gegevens te benutten.

Verschillende bronnen voor de IC-opnames per dag.

Plotting van het resultaat

De voorspellingen van het RIVM en de daadwerkelijke IC-opnames volgens LCPS zijn met behulp van gnuplot in een grafiek gezet.

De IC-opnames zoals voorspeld (OMT/RIVM) en waargenomen (LCPS).

Bespreking

Per voorspelling van het RIVM (gesorteerd op datum) wordt de meest optimistische voorspelling (dus bij de stevigste maatregelen) genomen. Als uitgegaan was van de meest pessimistische voorspellingen (bij geen maatregelen), dan was het verschil tussen de door LCPS gerapporteerde daadwerkelijke IC-opnames en de door het RIVM voorspelde aantal opnames nog groter geweest dan nu al het geval is.

Vervolgens worden de daadwerkelijke IC-opnames geplot in dezelfde grafiek. Een relatie met de voorspellingen van het RIVM is niet zichtbaar. Eigenlijk had ik m.b.v. Julia nog wat verdere analyse willen doen, maar het gebrek aan een relatie is dermate evident dat zulks me verder niet zinvol lijkt.

Merk op dat de trendlijn (mediaan) gebruikt is zoals die door het RIVM in de grafiek is gezet. Deze voorspelling wordt afgezet tegen de daadwerkelijke uitkomst van het aantal IC-opnames. Hierbij wordt de onzekerheid (betrouwbaarheidsinterval) zoals door het RIVM is gegeven niet meegenomen; dat is dus een beperking van deze analyse. Kijk je echter naar een aantal voorspellingen, zoals die van 21 december, dan zie je dat het aantal daadwerkelijke IC-opnames per dag zelfs ver onder het betrouwbaarheidsinterval van de RIVM voorspelling schiet… M.a.w., het model van het RIVM is niet alleen een slechte voorspeller van het aantal opnames (mediaan), maar kan ook de eigen onzekerheidsmarge niet goed voorspellen.

Disclaimer: Mogelijk heb ik iets fout gedaan; het RIVM model is matig maar zo slecht kan bijna niet. Maar als ik geen fout gemaakt heb (toch lastig als data en model niet beschikbaar zijn) dan geldt onderstaande onverminderd…

Oneerbiedig gezegd zou je ook een krijtje kunnen geven aan een peuter en dan zou het voorspellende vermogen niet veel slechter zijn. Voor zover sprake is van een “wetenschappelijk” instituut in een “democratische” samenleving is het nogal teleurstellend dat zowel de data als het model niet openbaar zijn.

E.e.a. lijkt goed te passen in de uitermate beroerde prestaties van andere modelleurs en modellen als het gaat om de aantallen besmettingen door een virus. Zie bijvoorbeeld deze paper uit 2020 van enkele gezaghebbende wetenschappers: Forecasting for COVID-19 has failed (John P.A. Ioannidis, Sally Cripps, and Martin A. Tanner).

Dat toch aan zo’n model wordt vastgehouden als ware het een magische glazen bol die ons verlossing kan schenken is niet geheel bevreemdend in een technocratische, niet-echt-rationele (“Follow the Science like a new religion”), burgerlijk-liberale en onttoverde samenleving die bestuurd wordt door managers die meer met communicatie hebben dan met bèta-wetenschap. Een bespiegeling daarop heb ik eerder gepubliceerd onder de titel Modeldenken bij corona en stikstof leidt soms tot slecht beleid.

Bijlagen

Alle gebruikte bestanden, inclusief het gnuplot script ic.p, de grafieken en de csv-bestanden, zijn te downloaden: RIVM_onder_de_mediaan.zip

Een reactie

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.