Blog

AI-sikkerhed i 3 trin – 2. Detection

At kunne se, hvordan AI anvendes, er én ting. At forstå, hvornår anvendelsen udvikler sig til reel risiko, er noget helt andet. Mange organisationer mangler i dag evnen til at vurdere, hvad der er acceptabel AI-anvendelse – og hvornår grænsen til risiko er overskredet.

Når AI-anvendelse bliver en risiko – og hvordan du opdager det i tide

I den første artikel fokuserede vi på Discover – at skabe indsigt i, hvordan AI faktisk anvendes i organisationen. Det er et nødvendigt første skridt. Men det er ikke tilstrækkeligt.

At opdage AI-anvendelse er én ting. At forstå, hvornår den bliver risikofyldt, er noget helt andet.

Næste trin i rejsen er Detection: evnen til at afgøre, hvornår AI-anvendelse bevæger sig fra legitim brug til reel risiko – hvorfor det sker, og hvad der kræver handling. Det er her, mange organisationer går i stå. De kan se anvendelsen, men mangler grundlag for at vurdere, hvad der faktisk er sikkert – og hvad der er problematisk.

AI skaber risici, der ikke passer i klassiske sikkerhedsmodeller

Traditionel IT-sikkerhed arbejder med velkendte kategorier: sårbarheder, fejlkonfigurationer, utilstrækkelige adgangskontroller og skadelig kode. AI opfører sig anderledes. Risici opstår ikke kun i infrastrukturen – men også i indhold, beslutninger og adfærd. De findes i selve interaktionen, ikke kun i systemet omkring den.

I praksis betyder det, at organisationer skal håndtere to parallelle risikodomæner:

Risici knyttet til, hvad AI producerer – og hvordan det anvendes

• hallucinationer og fejlagtige svar, der fremstår troværdige
• bias og skæve beslutningsgrundlag i fx udvælgelse og vurdering
• toksicitet eller upassende indhold
• anbefalinger, der fører til fejl i forretning, sikkerhed eller compliance
• uønsket eller omkostningsdrivende anvendelse

Risici knyttet til, hvordan AI kan udnyttes eller manipuleres

• prompt injection og indirekte instruktioner via data eller indhold
• dataekstraktion via prompts, kontekst eller svar
• forsøg på at udtrække systeminstruktioner og meta-prompts
• data poisoning ved træning eller opdatering af datakilder

Mange af disse risici viser sig ikke som tydelige sikkerhedsbrud. De er ofte gradvise, kontekstafhængige og får først konsekvenser over tid.

Risikovurdering kræver kontekst

AI-risici kan ikke vurderes ud fra isolerede datapunkter eller alene baseret på netværkstrafik.

For at foretage kvalificerede vurderinger skal organisationen forstå:

• hvem eller hvad der interagerer med AI
• hvilken model eller tjeneste der anvendes
• hvilke typer data der sendes ind
• i hvilken sammenhæng anvendelsen sker
• hvad AI faktisk svarer eller udfører

Uden denne kontekst bliver risikovurderingen enten for grov – eller direkte misvisende. Alt kan fremstå farligt, eller også overses det, der reelt er kritisk.

To kapaciteter, der tilsammen skaber overblik

1. Løbende analyse af faktisk AI-anvendelse

Den første kapacitet handler om kontinuerligt at følge, hvordan AI anvendes i praksis. Ikke for at gennemgå hver enkelt prompt – men for at identificere mønstre, afvigelser og ændringer over tid.

Det gør det muligt at:

• identificere anvendelsesmønstre, der driver risiko
• skelne mellem normal brug og afvigende adfærd
• se, hvordan adfærd ændrer sig, når nye AI-tjenester introduceres

Denne analyse bygger på indsigt fra browser, netværk, API-kald og logning – koblet til identitet og rolle.

2. Aktiv validering af AI-risici ved hjælp af AI

Den anden kapacitet handler om aktivt at teste AI-systemer. Klassisk red teaming (en offensiv sikkerhedstest, hvor et team simulerer virkelige angreb for at afdække svagheder) skalerer dårligt i AI-kontekst. Testene bliver manuelle, punktvise og hurtigt forældede – mens AI-systemer udvikler sig løbende.

AI red teaming indebærer automatiseret test af modeller, applikationer og AI-agenter mod et bredt spektrum af angrebs- og misbrugsscenarier.

Formålet er at validere både indholdsrelaterede risici og tekniske sikkerhedsrisici – baseret på, hvordan AI faktisk anvendes.

Det gør det muligt at:

• identificere reelle sårbarheder – ikke kun teoretiske
• forstå, hvor alvorlige risiciene er i praksis
• prioritere de sikkerhedsforanstaltninger, der faktisk er nødvendige

Her anvendes AI til at teste AI – i den skala og hastighed, der kræves.

Når AI handler uden en menneskelig bruger

Risikobedømmelse skal også fungere i scenarier, hvor der ikke er en person direkte involveret.

Når AI anvendes via API’er, automatiserede workflows eller autonome AI-agenter, skal organisationen kunne følge:

• hvordan data anvendes under inferens
• hvilke eksterne tjenester der kaldes
• hvordan adfærd ændrer sig over tid
• om beslutninger eller handlinger afviger fra det forventede

I takt med at AI-agenter får større autonomi, bliver dette en grundlæggende forudsætning for styring og governance.

Fra indsigt til målrettet beskyttelse

Organisationer, der går direkte fra indsigt til blokering, begår ofte den samme fejl: De stopper legitim anvendelse, overser reelle risici og implementerer kontrolforanstaltninger, der ikke rammer rigtigt. Med detection fjernes gætteriet.

Når risici kan identificeres og valideres, bliver det muligt at:

• skelne mellem lav og høj risiko
• tillade AI dér, hvor den skaber værdi
• målrette beskyttelsen, hvor den reelt er nødvendig

Organisationer uden detection gætter.
Organisationer med detection prioriterer

Næste trin: Protection

I næste artikel ser vi på, hvordan guardrails etableres – både teknisk og organisatorisk – baseret på det faktiske risikobillede. Uden dette trin bliver sikkerhed gætteribaseret. Med det bliver den proportional, begrundet og bæredygtig.

Om forfatteren