Blogg

AI säkerhet i 3 steg – 2: Detection

Att se hur AI används är en sak. Att förstå när den börjar skapa verkliga risker är något helt annat. Dessvärre saknar många organisationer förmågan att avgöra vad som är säkert och vad som är en risk när det kommer till AI-användning i den egna miljön.

När AI-användning blir en risk, och hur du upptäcker det i tid 

I den första artikeln fokuserade vi på discover. Att skapa insyn i hur AI faktiskt används i organisationen. Det är ett nödvändigt första steg, men det räcker inte. 

Att upptäcka AI-användning är en sak. Att förstå när den blir riskfylld är något helt annat.

Nästa steg i på resan är detect, alltså förmågan att avgöra när AI-användning passerar gränsen från legitim till risk, varför den gör det och vad som behöver hanteras. Det är här många organisationer fastnar. De ser användningen, men saknar underlag för att avgöra vad som faktiskt är säkert och vad som är problematiskt. 

AI skapar risker som inte passar i klassiska säkerhetsmallar 

Traditionell säkerhet är van vid tydliga kategorier: sårbarheter, felkonfigurationer, bristande åtkomstkontroller och skadlig kod. AI beter sig annorlunda. Riskerna uppstår inte bara i infrastrukturen, utan också i innehåll, beslut och beteenden. De finns i interaktionen, inte bara i systemet runt omkring. 

I praktiken behöver man därför hantera två parallella riskdomäner. 

Risker kopplade till vad AI producerar och hur det används. 

• Hallucinationer och felaktiga svar som ser trovärdiga ut. 
• AI-bias och snedvridna beslut i till exempel urval och bedömning. 
• Toxicitet eller olämpligt innehåll. 
• Rekommendationer som leder fel i affär, säkerhet eller regelefterlevnad. 
• Oönskad eller kostnadsdrivande användning. 

Risker kopplade till hur AI kan utnyttjas eller manipuleras. 

• Prompt injection och indirekta instruktioner via data eller innehåll. 
• Dataexfiltration via promptar, kontext eller svar. 
• Försök att extrahera systeminstruktioner och meta-promptar. 
• Data poisoning vid träning eller uppdatering av databaser. 

Många av dessa risker syns inte som tydliga incidenter. De är ofta gradvisa, kontextberoende och får effekt först över tid. 

Riskbedömning kräver sammanhang 

Det går inte att avgöra AI-risker genom isolerade datapunkter eller enbart nätverkstrafik. 

För att kunna göra rimliga bedömningar behöver organisationen förstå: 

• vem eller vad som interagerar med AI. 
• vilken modell eller tjänst som används. 
• vilken typ av data som skickas in. 
• i vilket sammanhang användningen sker. 
• vad AI faktiskt svarar eller gör. 

Utan detta sammanhang blir riskbedömningen antingen för grov eller direkt felaktig. Allt ser farligt ut, eller så missas det som faktiskt spelar roll. 

Två förmågor som tillsammans ger förståelse 

1: Löpande analys av faktisk AI-användning 

Den första förmågan handlar om att kontinuerligt följa hur AI används i praktiken. Inte för att granska varje prompt, utan för att förstå mönster, avvikelser och förändringar över tid. 

Det gör det möjligt att: 

• identifiera användningsmönster som driver risk. 
• skilja normal användning från avvikande beteenden. 
• se hur beteenden förändras när nya AI-tjänster införs. 

Denna analys bygger på insyn från webbläsare, nätverk, API-anrop och loggning, kopplad till identitet och roll. 

2: Aktiv validering av AI-risker med hjälp av AI 

Den andra förmågan handlar om att aktivt testa AI-systemen. Klassisk Red Teaming skalar dåligt för AI. Tester blir manuella, punktvisa och snabbt inaktuella. AI-system förändras helt enkelt för snabbt. 

AI Red Teaming innebär automatiserad testning där modeller, applikationer och AI-agenter utsätts för ett brett spektrum av angrepps- och missbruksscenarier. Syftet är att validera både innehållsrelaterade risker och säkerhetsrisker, baserat på hur AI faktiskt används. 

Det gör det möjligt att: 

• identifiera verkliga sårbarheter, inte teoretiska. 
• förstå hur allvarliga riskerna är i praktiken. 
• prioritera vilka skydd som faktiskt behövs. 

Här används AI för att testa AI, i den skala som krävs för att hänga med. 

När AI agerar utan mänsklig användare 

Riskbedömning måste även fungera när det inte finns en människa i loopen. 

När AI används via API:er, automatiserade flöden eller AI-agenter behöver organisationen kunna följa: 

• hur data används vid inferens. 
• vilka externa tjänster som anropas. 
• hur beteenden förändras över tid. 
• om beslut eller agerande avviker från det förväntade. 

I takt med att AI-agenter får större autonomi blir detta en grundförutsättning för styrning. 

Från insyn till skydd, utan att gissa 

Organisationer som går direkt från insyn till blockering gör ofta samma misstag. Man stoppar legitim användning, missar verkliga risker och inför skydd som inte träffar rätt. Men med insyn elimineras gissningarna och rätt skydd implementeras på rätt plats. 

När risker kan identifieras och valideras går det att: 

• skilja låg risk från hög risk. 
• tillåta AI där den skapar värde. 
• rikta skydd dit de faktiskt behövs. 

Organisationer utan detection gissar.
Organisationer med detection prioriterar.

Nästa steg: Protection 

I nästa artikel fokuserar vi på hur guardrails byggs, tekniskt och organisatoriskt, baserat på den riskbild som nu finns. Utan detta steg blir skydd gissningsbaserade. Med det blir de proportionerliga, motiverade och hållbara. 

Om författaren