Welke AI-systemen zijn high-risk volgens de AI Act?

Wat maakt een AI-systeem hoog risico?

De wet onderscheidt twee soorten high-risk-systemen. De eerste groep bestaat uit AI-systemen die zelf een veiligheidscomponent zijn van producten die al onder bestaande EU-productwetgeving vallen, zoals medische hulpmiddelen, machines en speelgoed. Deze worden geregeld in Annex I.

De tweede groep, die voor de meeste KMO relevant is, staat in Annex III. Hierin worden acht maatschappelijke domeinen genoemd waar AI bijzondere risico's kan opleveren voor fundamentele rechten, gezondheid of veiligheid van personen. Wie binnen een van deze domeinen AI inzet, wordt geacht hoog-risico AI te gebruiken, ongeacht de specifieke technische uitvoering.

Welke domeinen noemt Annex III?

Voor elk domein geldt dat AI die voor de genoemde doeleinden wordt gebruikt, automatisch hoog-risico is.

• Biometrie: realtime en niet-realtime biometrische identificatie en categorisatie, en emotieherkenning
• Kritieke infrastructuur: AI in beheer of werking van kritieke digitale infrastructuur, wegverkeer en water-, gas-, warmte- en elektriciteitsvoorziening
• Onderwijs: beoordeling en toegang tot onderwijsinstellingen, beoordeling van examens en het toewijzen van leerlingen aan opleidingen
• Werkgelegenheid: werving, selectie, evaluatie van medewerkers en beslissingen over arbeidsvoorwaarden of beeindiging
• Toegang tot essentiele diensten: kredietwaardigheid, beoordeling voor sociale uitkeringen, prioritering van noodgevallen en levens- en zorgverzekeringen
• Wetshandhaving: risicobeoordeling van personen, leugendetectie, evaluatie van bewijs en profilering door politie
• Migratie en asiel: verificatie van reisdocumenten, beoordeling van risico bij migratie en gebruik van AI bij grens- en visumcontrole
• Rechtspraak en democratie: ondersteuning van rechterlijke autoriteiten bij feitenonderzoek of wetstoepassing, en AI in verkiezingsprocessen

Welke concrete voorbeelden horen bij deze domeinen?

Bij KMO komen vooral twee domeinen voor. In werkgelegenheid raakt het bijvoorbeeld AI-matching in LinkedIn Recruiter, CV-screening in een applicant tracking system, of AI-gebaseerde performance-reviews. Bij kredietwaardigheid gaat het om scoring-modellen in financiele dienstverlening, kleinschalige lending of betalingsverwerking.

Biometrie raakt minder vaak een KMO, maar kan relevant zijn wanneer AI biometrische kenmerken gebruikt voor identificatie of categorisering. Een klassieke vingerafdrukscanner is niet automatisch een AI-systeem. Onderwijsinstellingen, ook private opleidingscentra, vallen onder het onderwijs-domein wanneer zij AI inzetten bij toelating of evaluatie.

Wat zijn uw verplichtingen als deployer?

Als gebruiker van een hoog-risico systeem komt op u een aantal verplichtingen. De voornaamste:

• Het systeem gebruiken in overeenstemming met de instructies van de provider
• Menselijk toezicht inrichten door competente personen aan te wijzen
• Inputs in het systeem relevant en representatief houden voor uw situatie
• Werking van het systeem monitoren en problemen melden aan de provider
• Logs van het systeem minimaal zes maanden bewaren voor zover beschikbaar
• Betrokken personen informeren dat een hoog-risico systeem op hen wordt toegepast

Een Quickscan stelt vast of uw bedrijf high-risk AI inzet en welke specifieke verplichtingen daarbij horen. Bij twijfel over de juridische kwalificatie verwijzen wij door naar een gespecialiseerd advocatenkantoor van uw keuze.

Wanneer is een Fundamental Rights Impact Assessment nodig?

Voor bepaalde categorieen van deployers, vooral overheden en organisaties die essentiele diensten leveren, geldt een aanvullende verplichting: de Fundamental Rights Impact Assessment, kortweg FRIA. Dit is een gestructureerde evaluatie van de impact van het AI-systeem op de fundamentele rechten van betrokkenen.

Voor een doorsnee KMO is een FRIA niet automatisch vereist. Een proportionele impactbeoordeling kan wel helpen om risico’s, betrokkenen en beheersmaatregelen te documenteren. Controleer daarnaast of de GDPR een gegevensbeschermingseffectbeoordeling vereist.

Hoe verschillen de verplichtingen van providers en deployers?

Wie zelf een hoog-risico AI-systeem ontwikkelt en op de markt brengt, is provider en heeft veel zwaardere verplichtingen. Denk aan een conformiteitsbeoordeling met CE-markering, technische documentatie, registratie in de EU-databank en kwaliteitsmanagement-systeem. Voor de meeste KMO is dit niet van toepassing, behalve wanneer u zelf een AI-product op de markt brengt.

Hoe bepaalt u of uw tool hoog risico is?

De eenvoudigste methode: vraag uw leverancier expliciet om een verklaring. Onder de AI Act is een provider verplicht om aan gebruikers duidelijk te maken in welke risicocategorie zijn product valt en welke verplichtingen daarmee gepaard gaan. In een Compliance Sprint verstuurt u via ons standaard leveranciersbrieven die deze informatie opvragen.

Welke officiële bronnen gebruikt u voor de classificatie?

De volledige tekst van Annex III is publiek beschikbaar via EUR-Lex. Het Europees AI Office publiceert geregeld guidance over hoe domeinen geinterpreteerd moeten worden.