Dit moet je weten over de nieuwe AI-Act

"Houd je je niet aan de gebruiksinstructies, dan kun je aansprakelijk zijn voor de consequenties van verkeerde beslissingen of kun je worden aangemerkt als aanbieder"

Schermer verduidelijkt dat een en ander vooral geldt voor hoog-risico AI. Hier hoort onder ander premiebetaling voor zorg- en levensverzekeringen bij en ook alles wat er met AI gebeurt in de context van het inhuren en de selectie van mensen. Kredietwaardigheidstoetsen en het accepteren van nieuwe verzekerden hoort er ook bij. Opvallend is dat het nu alleen verzekeringszaken in de domeinen leven en zorg betreft en schadeverzekeringen niet.

De hoogleraar geeft aan dat lastige aan de AI-act is dat het gaat om productregulering. "Als AI systemen op het lijstje staan, zijn ze 'hoog risico', als ze niet op het lijstje staan, dan niet. Fraudedetectie lijkt bijvoorbeeld niet onder de hoogrisicosystemen te vallen, terwijl het wel te maken heeft met de toegang tot essentiële publieke diensten (een hoogrisicocategorie). Als je uit je verzekering wordt geknikkerd door de AI-tool, kun je wat mij betreft spreken van hoogrisico omdat de uitkomst van het systeem grote consequenties kan hebben voor verzekerden. Bovendien: wat vandaag hoogrisico is, kan morgen geen hoogrisico meer zijn. Dat maakt het lastig. De Europese Commissie kan hoogrisico-toepassingen toevoegen en dit kenbaar maken via gedelegeerde wetgeving. Houd dit dus goed in de gaten. Tot slot is het belangrijk om te weten dat de AI-act geldt naast de regels van de WFT en de AVG."

Het eerste wat een verzekeraar moet doen is dus bepalen welke AI-systemen je hebt en wat je rol daarin is (aanbieder of gebruiker). Hoe bepaal je dit?

"Het kan best lastig zijn en dat is het moeilijke met productregulering. Dit gaat namelijk uit van fysieke producten, terwijl het bij AI uiteraard subtieler ligt. Als je bijvoorbeeld AI laat ontwikkelen door een ict-bedrijf, wordt je nog steeds als aanbieder beschouwd omdat je het laat ontwikkelen. Als vragende partij ben je dan verantwoordelijk. Kijk ook goed in de contracten en de gebruiksinstructies wat je allemaal kan en mag met het systeem, want als je het bijvoorbeeld aanpast, dan kun je ook aanbieder worden. Als je zelf een product koopt of in gebruik neemt ben je gebruikersverantwoordelijke. Je kunt ook beide zijn. Eventueel kun je er als verzekeraar ook voor kiezen om een andere partij een en ander te laten onderzoeken, want het is al snel gecompliceerd."

Ethisch kader van het Verbond

Het is belangrijk om nu al te beginnen, want de wet geldt ook voor bestaande modellen die onder de definitie van de wet vallen. Hoe pak je dit het beste aan?

"Wat je hebt draaien, moet compliant zijn. De eerste actie die je moet doen is alle AI-systemen in kaart brengen. Onderzoek per systeem of het onder de definitie van een AI-systeem valt en vervolgens of het binnen de hoogrisicocategorie past. Machine learning en complexe modellen horen hier al snel bij. Je scope kan hierbij beter te groot dan te klein zijn."

Verder is het volgens Schermer van belang om te bepalen of je aanbieder of gebruikersverantwoordelijke bent en daarna de regels te checken. Voor laagrisico zijn er overigens geen regels op grond van de AI Act, maar wel transparantieverplichtingen. Belangrijk is bijvoorbeeld aan verzekerden duidelijk te maken dat ze met een chatbot te maken hebben in plaats van met een echte klantenservicemedewerker.

Wat er nu precies onder de wet valt, blijft listig. Systemen waarbij de nadruk ligt op het inferentievermogen, dat wil zeggen of ze leren van historische data, horen er sowieso bij. Expliciet uitgesloten zijn modellen waarmee verzekeraars hun kapitaalreserve berekenen. Hoe kom je er als verzekeraar precies achter welke systemen wel en niet onder de wet vallen?

"Ik verwacht dat er de komende twee jaar een hoop geschreven gaat worden door wetenschappers, consultants en de EU zelf. Houd dus zeker de site van het Verbond in de gaten en maak gebruik van guidance van het Europees AI-bureau. Standaardisatie-instituten zullen ook met publicaties komen. Hopelijk wordt de komende twee jaar meer duidelijk. Tot die tijd zou ik intern al richtlijnen opstellen en voor jezelf bepalen wat jij vindt dat onder AI valt. Het is vervelend om overal aan te moeten voldoen, maar uiteindelijk gaat het wel om regels die AI beter en betrouwbaarder moeten maken; dit heb je ook als doel als verzekeraar."

Hoe vindt de controle plaats?

"Er komt een systeem met markttoezichthouders. Betrokken partijen kunnen bijvoorbeeld zijn de DNB, de AFM en de directie Coördinatie Algoritmes (DCA), wat onderdeel is van de Autoriteit Persoonsgegevens. Dat er verschillende toezichthouders een rol spelen, heeft te maken met dat een en ander afhangt van waarvoor of waarbij AI gebruikt wordt. Deze partijen kunnen boetes uitdelen en ook producten uit de handel halen."

"Het is vervelend om overal aan te moeten voldoen, maar uiteindelijk gaat het wel om regels die AI beter en betrouwbaarder moeten maken; dit heb je ook als doel als verzekeraar."

Is het met zoveel regels niet handiger om gewoon producten 'off the shelf' te kopen?

"Uiteraard kan dit. Belangrijk is om ook alert te zijn op de innovatie op de werkvloer. Je ziet nu heel veel dat er allerlei innovatieteams en datalabs zijn binnen organisaties. Hierin zitten vaak (ook) stagiaires bij die een AI-tool ontwikkelen die dan wordt ingezet. Op dat moment ben je dus aanbieder en moet je voldoen aan alle regels uit de AI Act.
Het kan dus zijn dat je een potentieel gevaarlijk systeem inzet, en wellicht ook een hoogrisicomodel hebt gemaakt. Je moet het maar willen. Waarschijnlijk is het eenvoudiger en veiliger dat je niet zelf het wiel uitvindt, maar iets koopt en dan gebruikt, waarbij je goed op het CE-keurmerk moet letten." Wanneer je wel zelf AI systemen wilt ontwikkelen, zorg en dan voor dat je het hele proces van het bouwen en in productie brengen van AI-systemen ('ML Ops') deugdelijk hebt ingericht en gedocumenteerd."

Is het verstandig om modellen te testen met persoonsgegevens? De AP is daar kritisch op. Wat is je visie hierop?

"Uitgangspunt is niet doen. Als je het met nepgegevens kan doen, of geanonimiseerde data of met pseudoniemen is dat beter. Ik vind de lijn van AP overigens wel wat te rigide; er kunnen situaties zijn waarbij de karakteristieken van de data niet gelijk zijn met de daadwerkelijke gegevens; dan zal je toch moeten testen met 'echte' persoonsgegevens. Het uiteindelijke doel is de bescherming van persoonsgegevens. Als je niet goed kunt testen omdat je geen representatieve productiegegevens kon gebruiken, dan is de kans dat het in productie toch mis gaat groter. De schade die je dan veroorzaakt is waarschijnlijk een stuk groter dan het testen met de persoonsgegevens. De AI-Act verbiedt het ook niet, zolang het gebeurt in een gecontroleerde omgeving. Ik denk dat de soep dus iets te heet wordt opgediend. Belangrijk hierbij is de toezichthouder serieus te nemen, maar tegelijkertijd te beseffen dat de toezichthouder niet de rechter is. Op het moment dat jij een goed verhaal hebt, waarom je toch met persoonsgegevens moet testen en dit goed onderbouwt, heb je een goede kans bij de rechter."

Tot slot. Hoe zie je de toekomst met betrekking tot deze wet tegemoet?

"Ik verwacht met name in de eerste twee jaar veel vragen en discussies. In eerste instantie zal het gaan om definities, daarna gaat het vooral om de technische inrichting. Belangrijk is ook wat er gaat gebeuren in onderhandelingen met partijen; bijvoorbeeld tussen verzekeraars en aanbieders van AI-systemen. Ik zou de inkoop- en contractjuristen daarom goed bekend laten worden met de AI Act. Je moet de contracten en gebruiksinstructies namelijk goed kunnen beoordelen."

Tot slot stelt de hoogleraar dat hij het wel even mooi vindt qua Europese wetgeving. "Het
absorptievermogen van de markt van al die wetgeving is ook niet oneindig. Je moet wel de tijd en de mankracht hebben om een en ander te implementeren."
Met name de combinatie van stukken wetgeving (DORA, DMA, Data Act, AVG, AI Act), maakt het volgens hem lastig. "Vanuit de EU gaat handhaving en toezicht dan weer een probleem worden. De AP heeft het nu al te druk met de AVG door gebrek aan mensen en middelen. De EU onderschat wat voor menskracht daarvoor nodig is. Misschien kunnen ze het oplossen met AI", besluit hij lachend.

[Tekst: Christel Dieleman, foto's: Ivar Pel]

Dit is de tijdlijn van de AI Act: