Forbered organisationen på den nye regulering af AI

#
  • 19/12/23

EU’s forsøg på regulering af AI er ved at nå til vejs ende, og for nylig blev man i EU enige om indholdet til den kommende AI-forordning. Det vil blandt andet omfatte generativ AI, som de seneste år har gjort sit indtog både hos virksomheder, men også i det private, bedre kendt som ChatGPT. Der er tale om en omfattende regulering af brugen af AI, der skal balancere hensynet til de risici, der er forbundet med AI og til teknologisk innovation. Formålet med reguleringen er dog først og fremmest at fremme sikker brug af AI og beskytte EU-borgeres grundlæggende rettigheder.

Med den nye regulering kommer der nye og omfattende krav til udvikling og brugen af AI alt efter omfanget af den risiko, som det pågældende system vurderes at udgøre for EU’s borgeres grundlæggende rettigheder. Når forordningen endeligt er vedtaget af EU’s medlemslande, hvilket forventeligt vil ske primo 2024, så vil den være direkte gældende i alle medlemsstater og finde anvendelse (gældende ret) efter en overgangsperiode på ca. to år, således at den vil finde anvendelse i løbet af 2026. Der vil dog for enkelte bestemmelser være en kortere overgangsperiode på seks og 12 måneder, hvilket vil gælde for hhv. forbudt praksis med hensyn til AI-systemer og gennemsigtighedskrav.

Baggrund for AI-forordningen

I takt med den teknologiske udvikling vurderede man fra EU’s side, at det var nødvendigt at gøre en særlig indsats for at regulere AI. I 2021 fremlagde EU-kommissionen den lovgivningsmæssige ramme for AI i form af en EU-forordning, som skal sikre en harmonisering på tværs af medlemsstaterne – dvs. fælles regler og standarder for alle EU’s medlemslande. Med forordningen forsøger EU-Kommissionen at imødekomme de risici, der er forbundet med brugen af AI-systemer og sikre, at systemerne kan bruges til at udvikle og udbrede sikker og lovlig AI, der respekterer borgernes grundlæggende rettigheder og EU’s værdier.     

AI-forordningen – den første af sin slags

AI-forordningen er verdens første AI-lovgivning og skal regulere brugen af teknologi, der konstant er i udvikling. Dét har udfordret forhandlingerne i EU. Et af de områder, der har krævet forhandlinger, er definitionen af et “AI-system”, som er afgørende for, hvorvidt forordningen finder anvendelse. I EU-Kommissionens forslag til forordningen var definitionen meget bred og ville også omfatte simple softwaresystemer. Dette er imidlertid blevet indsnævret af Rådet, som læner sig op af OECD’s definition: 

Et AI-system er et maskinbaseret system, designet til at operere med forskellige grader af autonomi. Det kan udvise tilpasningsevne efter implementering. Med udgangspunkt i enten eksplicitte eller implicitte mål, analyserer systemet de input, det modtager, for at generere output, såsom forudsigelser, indhold, anbefalinger eller beslutninger. Disse outputs kan påvirke både fysiske og virtuelle miljøer.

AI-forordningen vil gælde for udbydere og brugere, uanset om de befinder sig i EU eller et tredjeland, der bringer et AI-system i omsætning på EU-markedet eller bruger et AI-system. Reelt set vil hele kæden fra leverandør, importør, distributør til brugere være reguleret og omfatte både den offentlige og den private sektor. 

De forpligtelser og krav der følger med forordningen afhænger af, hvilken risiko der er forbundet med systemet, herunder for EU-borgeres rettigheder og sikkerhed. Forordningen opererer med fire forskellige kategorier (se listen nedenfor). Jo højere risiko, desto større krav stilles der til systemet, herunder udbydere og brugere. Der vil være specifikke AI-systemer, som udgør en uacceptabel risiko og som dermed vil være forbudte at omsætte og bruge i EU. For andre gælder der særlige og omfattende dokumentationskrav, hvilket betyder, at hvis AI-systemet er kategoriseret som et højrisiko AI-system, vil udbyder være underlagt flere og omfattende krav, som fremgår nedenfor:

  • Inden et højrisiko-system bringes i omsætning på markedet, skal der foreligge en konsekvensanalyse, der omfatter potentielle virkninger for grundlæggende menneskerettigheder.
  • Modsat en DPIA iht. GDPR, indebærer en konsekvensanalyse i henhold til AI-forordningen at der skal tages stilling til flere grundlæggende rettigheder end man vil gøre i en DPIA, som fx forbud mod forskelsbehandling.

  • Inden et højrisiko-system bringes i omsætning på markedet, skal den have været underlagt en overenstemmelsesvurderingsprocedure, som enten kan foretages af udbyderen selv (intern kontrol) eller involvere et bemyndiget organ.
  • Hvilken procedure, der kan eller skal vælges, vil fremgå af forordningen.
  • Når overenstemmelse er blevet påvist, skal systemet CE-mærkes.

  • Systemet skal registreres i en særlig database, der oprettes og drives af EU kommissionen i samarbejde med medlemsstaterne.

  • Riskovurderingssystemet skal sikre at kendte og forudsigelige risici identificeres og vurderes, samt at andre mulige risici, som er identificeret efter omsætning, også evalueres. Herefter implementeres mitigerende foranstaltninger.
  • Kvalitetsstyringssystemet skal sikre dokumentation af politikker, procedurer og brugsanvisninger, tekniske specifikationer og standarder mv. 

  • Der stilles krav til kvaliteten af trænings-, validerings- og prøvningsdatasæt, og de skal så vidt muligt være fejlfri og fuldstændige.
  • Dokumentation af designvalg, data bearbejdning, vurdering af mulig forudindtagethed (bias) og mitigering heraf.

  • Der skal udarbejdes en brugsanvisning til brugerne, som skal være lettilgængelig og letforståelig for brugerne og indeholde det, der er relevant for at kunne sikre, at systemet anvendes i henhold til dens formål samt tekniske oplysninger om systemet.
  • Teknisk dokumentation, som inkluderer formålsbeskrivelse og tekniske oplysninger som specifikation af data, ydeevne og lignende.
  • Fysiske personer skal kunne føre tilsyn med systemet i den periode, hvor den er i brug.
  • Der skal oprettes et system til overvågning af systemet, efter det er bragt i omsætning. Det skal sikre, at leverandøren trækker systemet tilbage fra markedet eller foretager ændringer i systemet, hvis det vurderes, at det ikke længere overholder forordningens krav.
  • Systemet skal kunne tillade automatisk registrering (logning) af hændelser.
  • Alvorlige hændelser og funktionsfejl, som fører til fx alvorlig skade på mennesker, ejendom eller miljø eller alvorlig eller uoprettelig forstyrrelse af driften af kritisk infrastruktur, skal rapporteres til et bemyndiget organ.

Fire niveauer af risiko ved AI

  • Biometriske kategoriserings systemer, der bruger følsomme karateristika (fx politiske holdninger, religiøse overbevisninger, seksuel orientering osv.).
  • Ikke-målrettet dataudtræk (scraping) af ansigtsbilleder fra internettet eller CCTV-optagelser for at oprette ansigtsgenkendelses databaser.
  • Følelsesgenkendelse på arbejdspladser og på uddannelsesinstitutioner. 
  • Social scoring baseret på social adfærd eller personlige karakteristika.
  • AI-systemer der manipulerer menneskelig adfærd for at omgå deres frie vilje. 
  • AI brugt til at udnytte menneskers sårbarheder på grund af deres alder, handicap, sociale eller økonomiske situationer. 

  • CV-sorterings software i forbindelse med rekruttering.
  • AI-komponent i robotassisteret kirugi.
  • Bedømmelse af eksaminer. 
  • Kritisk infrastruktur.
  • Kreditvurdering/kreditværdighed.
  • AI-systemer der anvendes til at påvirke resultatet af politiske valg og manipulerer vælgeradfærd.

  • Fx chatbots såsom ChatGPT.

  • Fx spamfilter, AI-aktiveret computerspil osv.

Generelle AI-systemer (GPAI) 

For GPAI, som omfatter fundamentsmodeller som fx ChatGPT, vil der også være særlige krav. Foruden gennemsigtighedskrav, som stiller krav om teknisk dokumentation, herunder detaljeret beskrivelse af, hvordan modellen bruges og trænes, vil der også være krav til sikring af, at ophavsretslovgivningen overholdes.

Der stilles strengere krav til GPAI-modeller, der anses for at bære systemisk risiko. Kravene vil indebære evaluering af model, vurdering og mitigering af systemiske risici, gennemførelse af test og indberetning af alvorlige hændelser til myndighederne, krav til cybersikkerhed mv. En model, der bærer en systemisk risiko, er en model, der er trænet med omfattende datamængder, er avanceret og præsterer betydeligt bedre end gennemsnittet. Der lægges med forordningen op til, at en ydeevne på over 10^25 FLOPS, vil bære på systemisk risiko, hvilket kan betyde, at ChatGPT-4 vil blive omfattet af de førnævnte krav. 

For alle AI-systemer, der skal interagere med fysiske personer, gælder der et gennemsigtighedskrav, der betyder, at man skal oplyse om, at det er et AI-system som personen interagerer med. 

For følgende områder vil der være undtagelser:

  • Nationale sikkerheds- og forsvarsmæssige samt militære formål
  • Forskning og innovation (R&D)
  • Ikke-professionel brug
  • Delvist for “open source”.

Sanktioner, klagemuligheder og erstatning

Som vi kender fra GDPR, lægges der op til høje bøder på op til 7 % af den samlede årlige omsætning eller 35 mio euro.

Særligt for højrisiko-systemer er der mulighed for, at EU-borgere kan indgive klager og bede om at få forklaret de beslutninger, der er baseret på disse systemer, og som påvirker deres rettigheder.

AI-forordningen står ikke alene, da der i EU er fremsat forslag til et EU-direktiv (direktivet om AI-ansvar), som skal håndtere erstatningsansvar for EU-borgere, der er ofre for skader forårsaget af et AI-system.

Ledelses- og bestyrelsesansvar

Ligesom alt andet cybersikkerhedslovgivning, vil ansvaret for overholdelse ligge hos ledelsen og være et anliggende for bestyrelsen. 

Forholdet med anden lovgivning

I det omfang at der anvendes personoplysninger til at træne en algoritme, vil GDPR finde anvendelse. Det vil betyde, at principperne om lovlighed, formålsbegrænsning, dataminimering, opbevaringsbegrænsning mv. i GDPR skal overholdes. 

I GDPR er AI reguleret i artikel 22: Den registrerede har ret til ikke at være genstand for en afgørelse, der alene er baseret på automatisk behandling, herunder profilering, som har retsvirkning eller på tilsvarende vis betydeligt påvirker den pågældende. Der vil dog gælde nogle enkelte undtagelser til denne ret, men det må anses at kunne påvirke AI-systemer i den forstand, at det kan begrænse brugen af AI-systemer til automatiske afgørelser.

Særligt i forhold til højrisiko AI-systemer vil der også kunne udløses krav om en konsekvensanalyse jf. artikel 35 (DPIA) i GDPR. Det indebærer en analyse af de risici behandlingen medfører, og hvordan risici håndteres, herunder hvordan de kan mitigeres. 

Det er også vigtigt at holde for øje, at data der anvendes til at træne algoritmer ikke krænker andres immaterielle rettigheder, herunder ophavsret, varemærker, design og patent, da man kan risikere at blive mødt med krav om erstatning, vederlag og godtgørelse. 

Hvordan skal I forholde jer til de nye regler?

Der kan stadig nå at ske ændringer inden forordningen endelig er på plads, men derfor er det stadig vigtigt at forholde sig til, hvad der er på vej.  

  • Start med at udarbejde retningslinjer for brugen af AI i organisationen og processerne for udvikling af AI-systemer. Der bør tænkes et samarbejde med jurister, it og udviklere ind i dette arbejde. Ligesom med al anden regulering af teknologi og cybersikkerhed, skal samarbejdet bidrage til, at der findes en fælles forståelse, og at der tales samme sprog.
  • Tænk allerede nu krav til høje risikosystemer ind –  særligt ved indgåelse af kontrakter med leverandører om indkøb af AI-system.
  • Anvendes personoplysninger til at træne algoritmen, er det vigtigt allerede nu at være opmærksom på dette og få identificeret de krav, der skal efterleves, da GDPR er gældende ret.

 

Deltag i PwC’s nye AI-webinarrække

Vil du høre mere om, hvad den nye regulering af AI vil betyde for din virksomhed, og hvordan I kan realisere det store potentiale i AI-teknologierne?

Kontakt os

Mads Nørgaard Madsen

Direktør og leder af Consulting-forretningen, København, PwC Denmark

2811 1592

E-mail

Jørgen Sørensen

Partner, Head of Data Factory & Responsible AI, København, PwC Denmark

2494 5254

E-mail

Aleksandar Predrag Piletich

Director, Technology & Security, Hellerup, PwC Denmark

2928 5743

E-mail

Anaya Jensen

Manager, Technology & Security, PwC Denmark

2427 5068

E-mail

Følg PwC