Audit trails, AI en avocado's: een babbel over gereguleerde software

De meeste JCast-afleveringen spelen zich af in een wereld die je kent: code, teams, cloud. Deze keer niet. Oumaima, Viktor en Maarten verwelkomen Benjamin Claes, quality and compliance engineer bij Sopra Steria, chemicus van opleiding en luisteraar van het eerste uur. Benjamin werkt in de IT van farma en biotech, een sector waar software niet zomaar op een server draait, maar mee bepaalt of een medicijn veilig bij een patiënt terechtkomt. Voorkennis heb je niet nodig: Benjamin begint bij nul.

Zoals jij een software development lifecycle hebt, heeft een medicijn een eigen levenscyclus. Het begint in het labo met onderzoek, gaat via dierproeven en simulaties naar klinische studies op mensen, en eindigt in productie en distributie. Benjamin vergelijkt het met dev, acceptatie en productie, “maar dan met mensen”. Doorheen die hele keten loopt farmacovigilantie: het opvolgen van bijwerkingen, ook lang nadat een medicijn in de apotheek ligt. Het telefoonnummer in je bijsluiter? Daar komen die meldingen binnen, en die worden echt opgevolgd.

Al die fases vallen onder GxP, een verzamelnaam voor de good practices die per fase gelden: good laboratory practice, good clinical practice, good manufacturing practice, enzovoort. De x staat dus voor de fase. Het toezicht ligt bij instanties als de Amerikaanse FDA en het Europese EMA. Dat is geen bureaucratie om de bureaucratie. Benjamin verwijst naar de Softenon-ramp van eind jaren vijftig, toen een middel tegen misselijkheid bij zwangere vrouwen leidde tot duizenden baby’s met ernstige misvormingen. Sindsdien is de controle stap voor stap strenger geworden: eerst op klinische studies en kwaliteitstests, later op de machines in de fabriek, en uiteindelijk ook op de computersystemen die die machines aansturen. Elke beslissing wordt afgewogen tegen één vraag: wat is de impact op de veiligheid van de patiënt?

Dat brengt ons bij Benjamins vak: computerized system validation, kortweg CSV. Nee, niet het bestandsformaat, een grap die hij ondertussen al vaak gehoord heeft. Bij CSV toon je aan dat een systeem doet wat het moet doen, en je bewijst dat ook. Farma bouwt trouwens weinig zelf: meestal koop je een systeem en valideer je het. Dat gebeurt volgens het V-model. Eerst bepaal je risico en impact, dan schrijf je formele requirements (een pak strakker dan user stories), daarna een design, en pas dan configureer en deploy je. De andere kant van de V is testen, in drie stappen: IQ of installation qualification (is het geïnstalleerd zoals beschreven?), OQ of operational qualification (werkt elke functie zoals verwacht?) en PQ of performance qualification (doet het systeem zijn werk in de echte praktijk?). Agile bestaat in farma ook, maar als hybride: bij elke wijziging met mogelijke impact doorloop je die V opnieuw. Alles gebeurt volgens het vier-ogenprincipe, en zo’n traject duurt al snel zes tot twaalf maanden per systeem.

Omdat het meeste als SaaS of PaaS binnenkomt, draait veel rond de leverancier. Die moet een deel van de verantwoordelijkheid voor compliance mee opnemen, en lang niet elke vendor wil dat. Microsoft liet zich al jaren geleden extern auditen en publiceert veel documentatie over hoe zijn systemen werken. Dat verklaart mee waarom farma vooral op Azure draait, en Benjamin haalt er een uitspraak uit onze aflevering met Pieter Vincken bij: AWS is Lego, Azure is Playmobil. Minder vrijheid is hier net een voordeel. Developers zijn in Benjamins woorden de cowboys in het wilde westen. Hij en zijn collega’s zijn de sheriff.

Ook elektronische handtekeningen komen aan bod. Vroeger tekende een Qualified Person, een apotheker met een extra opleiding, op papier af voordat een medicijn vrijgegeven werd. De Amerikaanse regelgeving 21 CFR Part 11 legt vast hoe dat digitaal moet: een handtekening moet uniek zijn, gedateerd, en terug te leiden naar een persoon, een plaats en een systeem. In de praktijk gebeurt dat met PAdES en XAdES, standaarden voor digitale handtekeningen in PDF- en XML-bestanden, aangevuld met een tijdstempel van een vertrouwde instantie. Pas je het document achteraf aan, dan klopt de handtekening niet meer en zie je meteen dat er iets gewijzigd is.

Waar Benjamin het meest passie voor heeft: audit trails. Voor developers is de vergelijking met een applicatielog snel gemaakt, en vaak is die log ook effectief de audit trail. Het verschil zit in de eisen. Een audit trail is immutable: niemand mag hem achteraf aanpassen of wissen, want je moet tot tien jaar later kunnen aantonen wie wat wanneer gedaan heeft, op welk data-object, en wat de waarde was voor en na de actie. Het onderliggende principe heet ALCOA, een set regels rond data-integriteit. Waarom zo streng? Stel dat iemand in een fabriek een verkeerde waarde ingeeft bij het persen van pillen en die fout liever stilletjes wegwerkt. Dat wil je kunnen zien. Blockchain passeert kort als oplossing, maar botst op twee dingen: het is een extra laag complexiteit die je niet nodig hebt, en farmabedrijven willen hun data net kunnen verwijderen eens de bewaartermijn van tien, vijftien of twintig jaar voorbij is. Een blockchain vergeet niks.

Tussendoor vertelt Benjamin hoe hij in de IT gerold is. Voor zijn thesis kwam hij terecht bij imec, in een groep die toepassingen zoekt voor technologie die al ontwikkeld is. De opdracht: kun je met ultrasound meten of fruit rijp is, zonder het aan te raken? Geluid gaat slecht door lucht, dus de eerste tests gebeurden in water. Met een reeks transducers maakten ze beelden, en rijper fruit bleek zachter weefsel en dus meer contrast te geven. Die beelden gingen in 2021 naar een classifier in TensorFlow, die met meer dan 92 procent nauwkeurigheid kon zeggen hoe ver een tomaat gerijpt was. En ja, een tomaat is fruit. Daarna werkte hij een tijd als chemisch analist, tot hij via een klant bij Sopra Steria belandde, waar hij naar eigen zeggen zijn roeping gevonden heeft.

In de quick fire ronde kiest Benjamin voor Python boven Excel, voor AI en voor cloud. Daarna de grote vraag: hoe past AI in een gereguleerde wereld? Iedereen in farma is het erover eens dat AI komt, maar niemand weet nog goed hoe. De regelgeving zit nog in draft, onder meer omdat ze generatieve AI aanvankelijk uitsloot, terwijl net dat nu het meest gebruikt wordt. In research and development worden simulaties en AI al volop ingezet, maar dat valt buiten de gereguleerde scope. In farmacovigilantie helpen algoritmes al om signalen op te pikken uit meldingen van bijwerkingen, altijd met een mens die nakijkt. Benjamins eigen visie is nuchter: een AI-systeem is een systeem zoals elk ander. Je test of het doet wat het moet doen, en je bouwt guardrails in zodat het niet uit de bocht gaat.

Een farma-achtergrond heb je niet nodig om mee te zijn. Grote kans wel dat je na deze aflevering anders kijkt naar je eigen logs, je deploys en die ene “het werkt toch”-reflex.