Eerste indruk validatiestudies OPS-model

Bestaand beeld bevestigd: (1) Voor lokaal gebruik is het RIVM stikstofmodel minder geschikt. (2) Het RIVM mag nog pro-actiever zijn in transparantie en open science.

Dit artikel is ook als PDF beschikbaar: eerste_indruk_validatiestudies.pdf

Inleiding

Een stikstofminister benoemen en 25 miljard euro reserveren toont daadkracht. Maar een krachtsinspanning is zinloos als die niet goed gericht wordt. Zal de gebiedsgerichte aanpak en het uitkopen van specifieke boerenbedrijven ook effectief zijn? Dat wordt vooral beoordeeld a.d.h.v. het OPS rekenmodel, het centrale zenuwstelsel van het stikstofbeleid. Toen het RIVM het OPS ontwikkelde heeft het ook zgn. validatiestudies gedaan. Dankzij een WOB-verzoek van Jan Cees Vogelaar, een bekende voorman van de agrarische sector en voedselzekerheid, zijn recentelijk vier van deze studies beschikbaar gekomen die eerder niet openbaar waren. De validatiestudies werden mij toegestuurd door Robert Ellenkamp (hoofdredacteur Agrio). De studies werden vergezeld door een toelichting (RIVM 2022). Werpen deze studies nieuw licht op wat we al weten over stikstofbeleid en lokale modelnauwkeurigheid?

Het OPS model is vooral ontwikkeld voor landelijk, grootschalig gebruik. Het RIVM zelf noemde al vroegtijdig, op basis van de tot voor kort niet-openbare validatiestudies, een lokale onzekerheid van maar liefst 100% voor de gemodelleerde ammoniakdepositie in een “specifiek ecosysteem” tot 5 bij 5 km. Dat was wel inclusief fouten in de emissieschattingen (Jaarsveld 2004). Volgens dezelfde studie dragen onzekerheden over droge depositiesnelheden verreweg het meeste bij aan deze grotere onzekerheid op lokale schaal.

Het OPS model is in 2020 geëvalueerd door o.a. het Adviescollege Meten en Berekenen Stikstof (Hordijk 2020), die nadrukkelijk niet onder de motorkap heeft gekeken, en iets eerder al door mijzelf (Mouw 2020a). Ook keek ik later naar de afstand van spreiding van stikstof a.d.h.v. enkele internationale studies (Mouw 2021b). Bij al deze studies kwam het algemene beeld naar voren dat het OPS model in grote lijnen een correcte weergave van de situatie geeft, maar dat dit lokaal met grote onzekerheden gepaard gaat.

In deze verkenning van deze nu geopenbaarde validatiestudies worden twee vragen beantwoord:

Eerste vraag: De validatiestudies werden uitgevoerd van 1980 tot 2017, al voordat de externe evaluaties van 2020 uitgevoerd werden. Zijn de evaluaties nog correct in het licht van de nieuw geopenbaarde studies?

Tweede vraag: Waarom waren de validatiestudies eerder niet openbaar? Wat zegt dit over de werkwijze van het RIVM en het stikstofbeleid van de overheid?

Maar eerst een kort overzicht (RIVM 2022) van de vrijgekomen validatiestudies. Tussen haakjes staat het jaar van meting.

  1. 2015 (1981): Kincaid. SO2, hoge bron. Receptoren < 20 km. Aantal maanden in 1980-1981.
  2. 2014 (2004): Falster. NH3. Receptoren < 300 m. Metingen gedurende 12 perioden van 7 dagen. Varkensboerderij Denemarken.
  3. 2014 (2004): North Carolina. NH3. Receptoren < 700 m. Metingen gedurende 46 perioden van 7 dagen. Varkensboerderij VS.
  4. 2017 (2017): Prairiegrass. SO2, lage bron. Afstand tot 800 m. 68 perioden van 10 minuten. Doel niet validatie maar kalibratiestudie t.b.v. modelparameters.

Dit artikel kan beschouwd worden als een eerste verkenning, waarin de twee gestelde vragen losjes beantwoord worden, niet geheel los van de opinie van de auteur. Om die reden gebruik ik ook de “ik”-vorm. Een grondige, objectieve studie zou een betere operationalisatie vragen, met meer oog voor detail. Het doel van deze eerste indruk is eerder om in kaart te brengen of zo’n uitgebreide studie wel zinvol is.

Gevolgen voor eerdere evaluaties (1e vraag)

Twee van de onderzoeken betreffen SO2, oftewel geen stikstof. De conclusies voor SO2 zijn toch deels relevant voor de N-modellering (van stikstof) omdat hetzelfde Gaussiaanse model en dezelfde algoritmiek in de OPS broncode gebruikt wordt. De Kincaid studie (Anoniem 2015) stelt in de Findings:

In general, the correlation between OPS results, modelled for this “high source”, and observations is low in all test periods. However, the model performance, displayed on the indicators suggested by Chang and Hanna (2005), is reasonable. The performance drops when results detailed in time and space are desired, or when a short period (< 4 weeks) is modelled.

Dit komt overeen met bevindingen van Hordijk (2020) en Mouw (2020a) en heeft dus niet direct gevolgen. Wel doet dit nog meer bevreemden waarom het OPS rekenmodel zo leidend zou moeten zijn voor zeer lokale vergunningsverlening. In mijn stikstofrapport (Mouw 2020a) citeerde ik al uit een RIVM Briefrapport (Gruijter, Bezemer, en Peeters 2019). Over de wenselijke juridische status werd daarin gezegd:

De gewenste situatie is de volgende: binnen het toepassingsbereik van de rekenmethoden hebben meetresultaten geen zelfstandige status en kunnen metingen enkel worden uitgevoerd om rekenresultaten te verifiëren.

En eigenlijk is het bij het RIVM ook wel bekend dat door de lokale onzekerheden de vergunningsverlening wat lastig zou kunnen worden. Niet wetenschappelijke, maar beleidsmatige overwegingen voeren in dit briefrapport de boventoon:

Voldoen aan de wetgeving door middel van metingen is echter slecht uitvoer- baar, onder andere vanwege hoge kosten en doorlooptijd. […] Bovendien is de reproduceerbaarheid van berekeningen beter dan die van metingen, zeker omdat voor een deel van de gegevensinwinning gebruikt wordt gemaakt van dezelfde bronbestanden [. . . ]. De uitkomsten van metingen zijn niet goed beheersbaar en daardoor minder geschikt voor uitvoering van de wetgeving. […] Meetresultaten kunnen daarom géén zelfstandige juridische status hebben bij de toetsing[.] (§6.2.1) (Gruijter, Bezemer, en Peeters 2019)

Zoals gezegd, dit stond allemaal al in mijn stikstofrapport (Mouw 2020a), maar toen wist ik nog niet dat er validatiestudies waren die bij het RIVM intern goed bekend waren en afgeschermd werden van de openbaarheid. Ik vermoed dat mijn conclusies nog iets minder mals geweest zouden zijn, of in ieder geval zekerder gesteld zouden worden, als ik wel de beschikking had gehad over deze interne studies. Alleen de Findings al van de Kincaid studie (Anoniem 2015) geven daartoe aanleiding.

Echter, de Conclusions van de Falster en North Carolina studies (Anoniem 2014) geven juist weer meer vertrouwen in het OPS model. “Final impression is that both models, OPS-ST and OPS-LT, perform reasonably well.” Ook kleine verstoringen en variaties deren het model niet. Wel is het model erg afhankelijk van goede invoer. “The accuracy of emission data has a major impact on model performance.” Dat kan niemand verbazen; garbage in, garbage out. Het aantal meetstations is echter beperkt, grondmetingen worden weinig gedaan en het goede landelijke plaatje ontstaat mede dankzij kalibraties en bijtellingen in een latere fase (Mouw 2020a). Dat is allemaal fnuikend voor de lokale precisie.

De laatste studie, Prairiegrass (Anoniem 2017), is eigenlijk een kalibratiestudie. In de Abstract van het studierapport zie ik geen direct opvallende zaken.

Waarom was dit niet eerder openbaar? (2e vraag)

Het RIVM geeft bij de door de WOB-procedure gedwongen vrijgave de volgende toelichting:

De rapporten van deze studies zijn interne testrapporten en zijn niet geschreven om te publiceren. Er is nog een aantal punten die niet helemaal uitgewerkt zijn. De testrapporten zijn resp. uit 2015, 2014, 2014 en 2017. Er is voor gekozen om de betreffende stukken wel als “intern rapport” te benoemen, omdat ze relevante informatie bevatten die anders niet benoemd zou kunnen worden. In verschillende documenten staan nog opmerkingen en reminders die bedoeld zijn voor verdere uitwerking. In enkele gevallen zijn de opmerkingen niet meer relevant. (RIVM 2022)

Na alle politieke en publieke commotie, en de discussies in 2020 over o.a. het Hordijk-rapport, lijkt het evident dat relevante studies die gebruikt worden door een onderzoeksinstituut in een democratische samenleving ook actief vrijgegeven worden. Eerder al werd de broncode van het OPS model en ook de brondata pas vrijgegeven na tussenkomst van de rechter. Modellen waarmee coronabesmettingen voorspeld werden zijn zelfs nog steeds niet openbaar. Het signaal wat het RIVM hiermee afgeeft is consistent; kijk niet in onze keuken! In een tijd van democratie, openbaarheid en transparantie gaat dit knellen, wat zich dan uit in rechtszaken en WOB-procedures. Het knelt nog meer als we het RIVM zien als wetenschappelijk instituut. Het beschikbaar stellen van open source data, algoritmes etc. wordt steeds gangbaarder bij het publiceren van wetenschappelijk onderzoek.

Conclusies

Nog voordat ik mijn stikstofrapport (Mouw 2020a) uitbracht schreef ik op mijn weblog een opiniestuk onder de titel Meer RIVM, niet minder. Het blijkt nog steeds actueel. Dit formeel onafhankelijke instituut blijkt zeer afhankelijk van ministeriële opdrachtgevers. Dat gaat ten koste van de moderne wetenschappelijke transparantie die voor een onafhankelijk instituut in een democratische samenleving wenselijk is.

De validatiestudies ondersteunen en versterken de conclusies van (Hordijk 2020), (Mouw 2020a) en (Mouw 2021b) die eerder al in de openbaarheid kwamen. De uitkomsten van het model kennen veel lokale onzekerheid en er blijven vragen over de invoerkant, nl. de kwaliteit en het detailniveau van de emissiedata. Een grondige studie van de validatiestudies zou op dat vlak misschien nog iets meer opleveren, maar ik vermoed niet dat het algemene en niet altijd zonnige plaatje er veel door zou veranderen. Voor een gebiedsgerichte of zelfs boerderijspecifieke aanpak lijkt het huidige OPS nauwelijks geschikt als beleidsmiddel.

Maatschappelijke relevantie

Van belang is de onafhankelijke rol van het RIVM te borgen (niet alleen juridisch, maar ook feitelijk) en een meer moderne, transparante, open source wetenschappelijke cultuur te bewerkstelligen (Woelfle, Olliaro, en Todd 2011).

Samen met andere problemen, zoals de vermoedelijk matige onderhoudsstatus van het RIVM (Mouw 2020b), de enorme kosten van het stikstofbeleid, en de afnemende voedselzekerheid, geven deze nu geopenbaarde interne studies naar mijn mening nog meer aanleiding tot zowel een academische als een politieke herbezinning.

Bij zo’n herbezinning past het om ook goed na te denken over de definitie van “natuur”. In 2019 introduceerde ik het woord “wensnatuur” in de online discussie (Mouw 2021a); heidevelden zoals op de Veluwe werden door mijn voorouders gemaakt, en dat was feitelijk cultuurgrond. Het in stand houden of het beschermen van natuur welke geen natuur is zal botsen op de natuur. Niet alles is maakbaar. Dat werd pijnlijk zichtbaar in de Oostvaardersplassen. Overheden en ecologen moesten ook toen niets weten van de ernstige waarschuwingen van terreinbeheerders, jagers en andere kenners van de “oude garde”. Maakbaarheid en natuurlijkheid zijn elkaars tegengestelden. In die tegenstelling is de ruimte te vinden waarin we zullen moeten bewegen.

Referenties

Anoniem. 2014. ‘OPS Test Report Falster and North Carolina’. RIVM.
———. 2015. ‘The Kincaid case’. RIVM.
———. 2017. ‘Prairie grass experiment’. RIVM.
Gruijter, D. G. de, A. Bezemer, en B. Peeters. 2019. ‘Meten, modellering en beleving fase 3. Verbeterprogramma modellen. (RIVM Briefrapport 2019-0057)’. https://www.rivm.nl/bibliotheek/rapporten/2019-0057.pdf.
Hordijk, Cie. 2020. ‘Meer meten, robuuster rekenen’. Adviescollege Meten en Berekenen Stikstof. https://www.rijksoverheid.nl/documenten/rapporten/2020/06/15/meer-meten-robuuster-rekenen.
Jaarsveld, J. A. van. 2004. ‘The Operational Priority Substances Model: Description and validation of OPS-Pro 4.1 (RIVM report 500045001)’. https://www.pbl.nl/sites/default/files/downloads/500045001.pdf.
Mouw, Evert. 2020a. ‘De illusie van goed stikstofbeleid’. https://www.furorteutonicus.eu/2020/02/28/stikstofbeleid-en-de-reactie-van-het-rivm-op-mijn-rapport/.
———. 2020b. ‘Rekenfout Mesdag, bug in OPS rekenprogramma van het RIVM, of gewoon een clusterfuck?’ https://www.furorteutonicus.eu/2020/03/06/rekenfout-mesdag-bug-in-ops-rekenprogramma-van-het-rivm-of-gewoon-een-clusterfuck/.
———. 2021a. ‘Van heide en boeren naar stikstof en wensnatuur’. https://www.furorteutonicus.eu/2019/12/04/van-heide-en-boeren-naar-stikstof-en-wensnatuur/.
———. 2021b. ‘Verspreiding van NH3 versus NOx; een wijdverspreide stikstofmaffia’. https://www.furorteutonicus.eu/2021/07/02/verspreiding-van-nh3-versus-nox-een-wijdverspreide-stikstofmaffia/.
RIVM, Ferd Sauter. 2022. ‘Toelichting bij de toegestuurde OPS validatierapporten’.
Woelfle, Michael, Piero Olliaro, en Matthew H. Todd. 2011. ‘Open science is a research accelerator’. Nature Chemistry. https://www.nature.com/articles/nchem.1149.

Update: Aan dit artikel werd gerefereerd in Vee & gewas, “Aerius nog onnauwkeuriger dan gedacht“, 2 mei 2002 door Robert Ellenkamp. Daar is ook een reactie van het RIVM in opgenomen.

Dit artikel is ook als PDF beschikbaar: eerste_indruk_validatiestudies.pdf
Abonneer
Laat het weten als er
guest

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

1 Reactie
Inline feedbacks
Bekijk alle reacties
trackback
3 maanden geleden

[…] Die modelberekeningen ook niet gebruiken voor heel lokale bepalingen, want daar zijn ze niet geschikt voor. Kortom, de echte wereld prioriteit geven boven de kunstmatige wereld; maar dat zou te weinig […]