De statistiek van Corona-Apps die klopt niet. ICT-ers (en ambtenaren) zonder kennis van HACCP verspillen daarmee kostbare gemeenschapstijd en geld. Deel 1 : intro HACCP in voedselomgevingen.

Ergens in 1989 -ik was een jaar of zestien- kregen Jeroen en ik van onze ouders een Atari 1040ST. Het besturingssysteem was revolutionair (in de basis wat Apple later ging doen): een werkblad met icountjes, een prullenbak, een muis. Natuurlijk speelde we veel spelletjes, maar een beetje ‘code proberen’ hoorde er ook bij. Tijdens mijn studie kwam er een 286 computer, de upgrade was een 386 met co-processor, later een 486 etc. Vandaag tik ik op een MacBook, maar heb ik ook een zware windows rekenbak.

Echt programmeren doe ik niet meer, maar ik kan het nog. Pascal en C++, HTML, of wiskunde pakketten (recent Geogebra nog een Corona SIR model online geplaatst) en 1x maal per jaar start ik Comsol (3D multiphysics nog een paar uur op om bij te blijven). Ik ben een digital junkie, ik hou van data, van modellen, en probeer deze basis-vaardigheid nu op mijn 47ste goed bij te houden. Data, modellen, code, virtuele

Toch hanteer ik al bijna 20 jaar de stelling: “ik hou van ICT, en ik haat ICT’ers”. Eigenlijk moet ik zeggen: “ik hou van wiskunde en modelleurs, maar ben niet altijd tevreden met de experts zonder domeinkennis die wiskunde en modellen gebruiken”Deze onvrede komt nu helemaal bovendrijven bij wat ik de Corona-App gekte noem. Wij samenleving moeten nu bezig zijn met maar vijf punten:

  1. Hulp en steun geven aan onze zorgverleners
  2. Het beschermen van kwetsbaren (denk aan ouderen)
  3. Het opstarten en beschermen van onze (nieuwe) economie (banen!)
  4. Nadenken hoe we een 1,5m economie in de lucht gaan brengen.
  5. Uitbreiding van testcapaciteit (niet alleen virus, maar ook anti-lichamen).

Maar nee hoor, een paar nerds en onhandige (of moet ik zeggen onkundige) politici hebben hun pijlen gericht op het maken van een app. Alsof een smartphone met een app de haarlemmerolie kan worden. Hoe naïef. Beste ministers, besteed er geen tijd aan is daarom mijn advies. Laat de vrije markt maar iets in elkaar zetten, geef daar wat innovatie-ruimte in, maar besteed nu uw tijd en die van uw medewerkers aan bovenstaande 5 punten.

Die corona app daar wordt al veel over geschreven, terecht is er commentaar op:

  • de snelheid en daarmee de potentiële onzorgvuldigheid van de aanbesteding.
  • de onnauwkeurigheid van positiebepalingen
  • privacy en worden we geen politie-staat?
  • gebrek aan testcapaciteit (zie punt 5 hierboven).

Ik ga hier niet over schrijven, ik ga schrijven over de statistiek en vooral waarom deze met een ‘app’ niet gaat kloppen. Ter illustratie geef ik een lesje statistiek levensmiddelen voor beginners. Risico-analyse, HACCP en monitoring is immers dat al tientallen jaren een zeer grote rol speelt bij voedselveiligheid van ons voedsel. En in die tientallen jaren hebben veel knappe koppen dit ‘wiel al uitgevonden’. Dit domein is immers waar ikzelf bijna 25 jaar in opereer en we bij TOP ‘wel een boekje over hebben gelezen’ (lees we gewoon zeer goed weten en snappen hoe weerbarstig en complex dit is).

Het text-boekvoorbeeld: besmette chocolade repen.

Stel ik heb 1000 chocolade repen, hoe bepaal ik dan of deze 100 repen veilig zijn?

Dat is de kernvraag in de praktijk bij elke voedselproducent althans de vraag die hun QA manager mag beantwoorden. Je zou denken, simpel, je test deze alle 1000. Maar ja, dat betekent 1000 verpakkingen openmaken, een stukje eraf halen en dat stukje naar het lab sturen. Maar ja welke consument wil dan een aangebroken-reep-met-een-stukje eraf nog kopen, niemand natuurlijk. Alleen een auto-fabriek, een lampjes fabriek of ASML kan elke product dat ze maken testen alvorens ze naar hun klanten gaan. Bij voedsel werkt dat niet.

Okay? Dan neem ik toch een steekproef die je naar het lab stuurt?

Lijkt. logisch. Laten we in gedachte stiekem die 1000 chocolade repen weer als voorbeeld nemen. Stel dat ik 10 repen bewust besmet met salmonella. En dan vervolgens deze repen random verdeel over de 990 onbesmette repen. Ik weet in dit geval dat ik 1% besmetting heb. Nu vraag ik aan die QA manager: wil je deze partij vrij geven of niet? Elke goede QA manager zegt dan, als 1% besmet is met salmonella dan geef ik deze partij NIET vrij. Oei, wat een gedoe krijgt deze persoon dan met de verkoopdirecteur! Die vraagt dan boos “kan je de partij niet testen dan, door monsters op te sturen”.

De vraag is dan hoe groot moet je steekproef zijn om de partij vrij te geven?

Een beetje geïrriteerd loopt de QA manager weg, en denkt “maar zo werkt het niet”. Maar ja, hij moet toch iets doen van zijn baas. Dus hij gaat achter zijn computer zitten en doet wat eenvoudige analyses: “stel ik stuur 1 random reep op van de 1000, dan is de kans 99% dat deze veilig wordt verklaard en daarmee dus de hele partij, maar ja de partij is onveilig, want besmet met salmonella.  Stel ik stuur 10 repen, dan is de kans 0,99 x 0,99 x … x 0,99 (0,99 tot de macht 10) is gelijk aan 90% kans dat ik toch nog de partij goed moet keuren. Als ik 100 repen stuur (=10%) dan is de kans 0,99^100= 37% kans dat ik de partij goedkeur terwijl deze besmet is.

Het testen van voedsel door monsters op te sturen geeft dus geen uitsluitsel!

Dit moet elke levensmiddeltechnoloog en microbioloog die een juiste opleiding heeft gehad weten. Dit is ook de reden waarom er HACCP bestaat. Het vrijgeven cq garanderen dat voedsel veilig is, kan alleen als we de risico’s kennen, en de omgeving gaan monitoren. Eventueel passen we een conserveermethode toe om bacterieren doden en andere risico’s te reduceren. HACCP (inclusief NPD, food-processing) is een complex systeem gericht op het minimaliseren van risico’s en het garanderen dat voedsel zo veilig mogelijk is.

Wij voedseltechnologen controleren daarom onze omgeving. Het gedrag van onze omgeving, en de instellingen van onze processen. En hierdoor kunnen we toch vrij zeker zijn dat de producten veilig zijn ondanks dat we niet alle producten (kunnen) testen. 

Ja maar, kan je niet gewoon snel en met nieuwe sensoren  testen.

Ook die vraag komt elke keer weer naar voren. Zouden we maar een snelle en methode hebben die via licht of lasers werkt. Tja, die methoden bestaan niet. Maar als ze wel zouden bestaan dan hou je het basis statistische probleem en krijg je er nog eentje bij. False positive versus false-negative testing. Stel we zouden alle chocolade repen kunnen testen, de kosten zouden giga per reep zijn, maar hou nauwkeurig is je methode dan zodat je iets over false-positive versus false-negative kunt zeggen?

In de microbiologie is daar gelukkig ook goed over nagedacht. Kijk bijvoorbeeld maar eens naar deze criteria voor listeria. Zo is er voor elke pathogeen vastgelegd hoe je een representatief monster neemt uit een partij, hoe zwaar het monster moet zijn, hoeveel monsters, en dan als je bijvoorbeeld 5 monsters hebt hoeveel van deze 5 besmet mogen zijn etc etc. Dit is echt een complex systeem dat je niet even verzint. Maar dat is ook niet zo gek, wij willen immers niet consumenten ziek worden van het eten van producten. Daarbij hanteren we eisen als 1:100.000 (5 nullen) of 1:1.000.000 (6 nullen) of zelfs 1:1.000.000.000.000 (12 nullen) als het gaat om “kans op ziek of kans op dood”.

In volgend Deel 2 zal ik eens met deze HACCP en QA-managers bril kijken naar Corona. Ik denk dat de statistiek niet gaat kloppen van welke app dan ook.

Geef een reactie