Welke AI-systemen zijn high-risk volgens de AI Act?

Wat maakt een AI-systeem high-risk

De wet onderscheidt twee soorten high-risk-systemen. De eerste groep bestaat uit AI-systemen die zelf een veiligheidscomponent zijn van producten die al onder bestaande EU-productwetgeving vallen, zoals medische hulpmiddelen, machines en speelgoed. Deze worden geregeld in Annex I.

De tweede groep, die voor de meeste KMO relevant is, staat in Annex III. Hierin worden acht maatschappelijke domeinen genoemd waar AI bijzondere risico's kan opleveren voor fundamentele rechten, gezondheid of veiligheid van personen. Wie binnen een van deze domeinen AI inzet, wordt geacht hoog-risico AI te gebruiken, ongeacht de specifieke technische uitvoering.

De acht domeinen van Annex III

Voor elk domein geldt dat AI die voor de genoemde doeleinden wordt gebruikt, automatisch hoog-risico is.

• Biometrie: realtime en niet-realtime biometrische identificatie en categorisatie, en emotieherkenning
• Kritieke infrastructuur: AI in beheer of werking van kritieke digitale infrastructuur, wegverkeer en water-, gas-, warmte- en elektriciteitsvoorziening
• Onderwijs: beoordeling en toegang tot onderwijsinstellingen, beoordeling van examens en het toewijzen van leerlingen aan opleidingen
• Werkgelegenheid: werving, selectie, evaluatie van medewerkers en beslissingen over arbeidsvoorwaarden of beeindiging
• Toegang tot essentiele diensten: kredietwaardigheid, beoordeling voor sociale uitkeringen, prioritering van noodgevallen en levens- en zorgverzekeringen
• Wetshandhaving: risicobeoordeling van personen, leugendetectie, evaluatie van bewijs en profilering door politie
• Migratie en asiel: verificatie van reisdocumenten, beoordeling van risico bij migratie en gebruik van AI bij grens- en visumcontrole
• Rechtspraak en democratie: ondersteuning van rechterlijke autoriteiten bij feitenonderzoek of wetstoepassing, en AI in verkiezingsprocessen

Concrete voorbeelden per domein

Bij KMO komen vooral twee domeinen voor. In werkgelegenheid raakt het bijvoorbeeld AI-matching in LinkedIn Recruiter, CV-screening in een applicant tracking system, of AI-gebaseerde performance-reviews. Bij kredietwaardigheid gaat het om scoring-modellen in financiele dienstverlening, kleinschalige lending of betalingsverwerking.

Biometrie raakt minder vaak een KMO, maar wel als u toegangscontrole met gezichtsherkenning of vingerafdruk inzet. Onderwijsinstellingen, ook private opleidingscentra, vallen onder het onderwijs-domein wanneer zij AI inzetten bij toelating of evaluatie.

Wat zijn uw verplichtingen als deployer

Als gebruiker van een hoog-risico systeem komt op u een aantal verplichtingen. De voornaamste:

• Het systeem gebruiken in overeenstemming met de instructies van de provider
• Menselijk toezicht inrichten door competente personen aan te wijzen
• Inputs in het systeem relevant en representatief houden voor uw situatie
• Werking van het systeem monitoren en problemen melden aan de provider
• Logs van het systeem minimaal zes maanden bewaren voor zover beschikbaar
• Betrokken personen informeren dat een hoog-risico systeem op hen wordt toegepast

Een Quickscan stelt vast of uw bedrijf high-risk AI inzet en welke specifieke verplichtingen daarbij horen. Bij twijfel over de juridische kwalificatie verwijzen wij door naar een gespecialiseerd advocatenkantoor van uw keuze.

De Fundamental Rights Impact Assessment

Voor bepaalde categorieen van deployers, vooral overheden en organisaties die essentiele diensten leveren, geldt een aanvullende verplichting: de Fundamental Rights Impact Assessment, kortweg FRIA. Dit is een gestructureerde evaluatie van de impact van het AI-systeem op de fundamentele rechten van betrokkenen.

Voor een doorsnee KMO is een FRIA strikt genomen niet altijd vereist, maar bij high-risk inzet wordt zij wel sterk aanbevolen. Zij vormt een bewijs van zorgvuldigheid dat bij audit of bij klachten zwaar meeweegt.

Het verschil met provider-verplichtingen

Wie zelf een hoog-risico AI-systeem ontwikkelt en op de markt brengt, is provider en heeft veel zwaardere verplichtingen. Denk aan een conformiteitsbeoordeling met CE-markering, technische documentatie, registratie in de EU-databank en kwaliteitsmanagement-systeem. Voor de meeste KMO is dit niet van toepassing, behalve wanneer u zelf een AI-product op de markt brengt.

Hoe weet u of uw tool high-risk is

De eenvoudigste methode: vraag uw leverancier expliciet om een verklaring. Onder de AI Act is een provider verplicht om aan gebruikers duidelijk te maken in welke risicocategorie zijn product valt en welke verplichtingen daarmee gepaard gaan. In een Compliance Sprint verstuurt u via ons standaard leveranciersbrieven die deze informatie opvragen.

Externe bronnen

De volledige tekst van Annex III is publiek beschikbaar via EUR-Lex. Het Europees AI Office publiceert geregeld guidance over hoe domeinen geinterpreteerd moeten worden.