Het stikstofdossier blijft me enorme verbazen (maar ook veel plezier geven moet ik bekennen). Niet de technische kant – dat zit wel goed in mijn kennis systeem – maar hoe een dergelijk technisch onderwerp in politieke en ambtelijke organisaties uitgelegd wordt, en vooral daarna een eigen draai krijgt. Daar moet ik erg om lachen. De laatste glimlach in deze serie kreeg ik van een kort rapportje over de ondergrens dat is geschreven door TNO op verzoek van haar klant BIJ12. Op de inhoudelijke conclusies kom ik zo nog wel terug. Ik zal er maar niet teveel over nadenken hoe er achter de schermen dit soort communicatie en afstemming verloopt, en verder vooral mijn koppie blijven gebruiken bij het technisch en wetenschappelijke (bèta) onderdeel van dit dossier. Dick heeft vandaag de nette versie geschreven over het onderwerp, ik pak het iets ruwer aan vandaag op mijn blog.

Om weer in het ram-geheugen te zetten van de lezers: In Januari schreef ik op Foodlog een stukje over Nauwkeurigheid. Als ik nu naar mijn eigen stukje kijk dan schud ik meewarig met mijn eigen hoofd. Ik schreef “Wat betreft thermometer Aerius, het computermodel waarmee de overheid de gezondheid van de natuur monitort, kunnen we er van uitgaan dat de totale depositie die het model berekent, een vergelijkbare mate van nauwkeurigheid heeft als de metingen waarop het model is gebaseerd. Dit betekent dat Aerius, ondanks zijn schijnbare vermogen om met vele decimalen te rekenen, waarschijnlijk een nauwkeurigheid heeft van +/- 25 tot 50 mol per hectare per jaar.” 

Met de wijsheid van nu een dik half jaar later zeg ik vriendelijk doch streng tegen mezelf: “je was vriendelijk en waarschijnlijk zat je een factor verkeerd“. Ook het RIVM begint stilletjes aan te geven dat de nauwkeurigheid van de droge depositie modellering waarschijnlijk 124% (plus of min) is. Oeps, we hebben het dan over honderden molen fout cq onnauwkeurig.

Laten we eens kijken wat TNO nu schrijft halverwege in haar recente rapport: “Uit literatuuronderzoek blijft dat deze beperkingen in de beschrijving van de droge depositie een onzekerheid van een factor 2 tot 3 tot gevolg kunnen hebben, bovenop de onzekerheid die al in de concentratie-berekeningen zitten” en iets verderop in dit recente rapport “Er is echter alleen informatie over de onzekerheid in de berekening van de totale depositie (dus alle bronnen samen) beschikbaar en geeft sterk uiteenlopende getallen van grofweg 10 tot 100 mol/ha/jaar onzekerheid in de totale berekende depositie.” Tegenover TNO zeg ik vandaag ook maar even heel vriendelijk “weet je het zeker of zal de onnauwkeurigheid toch nog groter kunnen zijn?”  Mensen die me volgen weten dat ik die factor 2 a 3 al jaren roep.

Begin januari in het betreffende Foodlog-artikel introduceerde ik kort de enige drie relevante grootheden om onzekerheid of ruis te duiden: “Het gaat om de Nauwkeurigheid (van een model uitkomst), in termen van precisie (hoe is de spreiding rondom de werkelijke waarde?) en juistheid (zit de gemiddelde van de waarneming ‘in de roos’ of is er een systematische fout)”. 

Woorden als ‘ruis’ of ‘rekenondergrens’ zijn wat mij betreft verkeerde en te modern in deze context. De rekenondergrens van mijn moderne Apple Macbook M1 kan ik bij alle wiskundige modelberekeningen zetten op 1E-18 of lager zetten als ik dat zou wil. Soms duurt het dan iets langer om een berekening uit te voeren, but who cares? Ik weet nog hoe het vijfentwintig jaar geleden was, en ik ben nu zo blij dat ik niet een hele nacht hoef te wachten op het antwoord van een flinke rekenpartij! Nee, de term rekenondergrens dat gaat nergens over, het heeft geen betekenis in de beta-wereld. 

Waar het dus wel over moet gaan is wat de betekenis van een bepaalde modeluitkomst is. Zegt het berekende getal iets over de realiteit dat is de enige juiste vraag? Bij het beantwoorden van die vraag ga je vooral ook kijken naar de precisie en de juistheid van modellen. Ik zit nu in de afrondende fase van een flink rapport waarin ik antwoord probeer te geven op de vraag “hoe zit het met de nauwkeurigheid van … ” (vul maar in, concentratie voorspelling, depositie-snelheidsvoorspelling, de voorspelling van de natte of droge depositie, etc.). Om alvast een tipje van de sluier op te lichten: de onnauwkeurigheid van Aerius zit ver boven de +/-100 mol/hectare/jaar. En ja, niet alleen bij de berekeningen lokaal, maar zelfs op het niveau Nederland blijkt deze onnauwkeurigheid aanwezig te zijn in de modelberekeningen. Ik heb in het laatste half jaar a) een gevoeligheidsanalyse uitgevoerd, al blijkt dit ook uit b) de metingen die er wel zijn versus de model-uitkomsten, c) blijkt dit uit de wetenschappelijke literatuur en d) blijkt dit uit een door mijzelf recent uitgevoerde Monte-Carlo simulatie. 

TNO heeft dus voor Bij12 niet echt goed onderzoek uitgevoerd. Ik zal dat illustreren met hun eenvoudige maar o zo incorrecte sommetje uit hun eigen rapport. Op pagina 15 kunnen we lezen: “Zo heeft een overgroot deel van modelvalidatie zicht tot nu beperkt tot concentraties. De standaard validatiegegevens die in luchtkwaliteit gebruikt worden zijn afkomstig van een beperkt aantal experimenten voor min of meer onverstoorde situaties. Ten aanzien van voorspelfout vindt TNO voor een specifiek veldexperiment dat een standaardfout van NH3 concentratie 0,03 ug/m3 is. Door uit te gaan van een jaargemiddelde depositiesnelheid van 0,01 cm/sec is de standaardfout te vertalen naar 6 mol/hectare/jaar”.

Tja ammehoela. De nauwkeurigheid – wier verzint er nu weer het nieuwe woord voorspelfout – van de Aerius-voorspelling t.o.v. de werkelijke metingen in de praktijk zijn eerder +/-0,5 ug/m3 en ik kom eigenlijk tot de voorzichtige conclusie dat deze punt voor puntmeting eerder +/-1 en soms zelfs +/-2 ug/m3 of nog hoger kunnen zijn. Uiteraard is dit onderbouwd in mijn rapport dat dus nu nog under construction is. Dan de depositie snelheid, die is om te beginnen ongeveer 1 cm/sec en niet 0,01 cm/sec (maar die kan ook 0,6 zijn of zelfs 2 cm/sec), maar ook met een flinke onnauwkeurigheid van ongeveer +/- 0,3 – 0,6 cm/sec of meer. Combineer je voorzichtig deze twee laagste getallen dan is de fout al minimaal 33 mol/hectare/jaar. Geheimpje, het is eerder +/- 60-70 mol/hectare/jaar of zelfs nog veel hoger. 

Gelukkig corrigeert TNO zich later wat door netjes te zeggen dat het probleem ook in de DEPAC-module (droge depositie; zullen ze me volgen op Foodlog of twitter?) zit en te verwijzen naar een RIVM-rapport hierover: “De correcties zijn niet alleen gecorreleerd aan het concentratieniveau zelf en tonen systematisch afwijkingen van 100-200 mol per jaar” en ze schrijven verderop “Ook de meetcorrectie van het RIVM laat zien dat er sprake is van systematische fouten die niet verwaarloosbaar zijn”. En zo is het, er zijn grotere systematische fouten aanwezig die optellen tot fouten die in de ‘factoren’ zitten zo erkent ook RIVM met haar +/-125% voor droge depositie.

Ik ben van mening dat als je dit weet, je wel degelijk een wetenschappelijk gebaseerde ondergrens kunt definiëren. Waarom komt TNO niet tot dezelfde conclusie? Zijn ze bang? Hoe dan ook, ik zal TNO maar helpen door te zeggen wat blijkbaar geen fijne boodschap was bij TNO opdrachtgever BIJ12. Onder andere in Duitsland hebben ze al goed gekeken naar dit vraagstuk en daar in 2014 gewoon een wetenschappelijke paper over geschreven. Ik citeer daaruit: “Project contributions up to a de-minimis value of 0.3 kg N ha-1y-1 are considered as being too small to be measurable. Neither could nitrogen deposition of up to this value be detected in the field nor could damages be attributed to projects contributing such small amounts. Project contributions lower than the proposed threshold thus exert only hypothetical risks that do not justify or even demand refusals of project under Article 6.3. 

Conclusie? Hun 0,3 kg N (dat is 21 mol ongeveer) is a) al gerapporteerd in de wetenschappelijke literatuur in 2014, en b) wat mij betreft realistisch en waarschijnlijk zelfs nog veel te laag gezien de onzekerheid in DEPAC en de rest van OPS. De Duitsers zijn overduidelijk beter in beta-onderzoek en data-analyse blijkt dus ook nu wel weer. Ik verwacht dat BIJ12 haar geld terug gaat halen bij TNO dat ze betaald hebben voor dit “onderzoek” of dat ze aan TNO vragen even een nieuwe versie te schrijven. Ik kom hen graag helpen.