Chattrobotar med artificiell intelligens håller snabbt på att bli viktiga arbetsverktyg integrerade i allt från e-postklienter till SaaS-applikationer, men med AI kommer risker. AI lockar med ökad produktivitet och effektivitet. Men ett betydande cybersäkerhetsproblem håller på att växa fram: anställda kan oavsiktligt äventyra känsliga data genom interaktioner med dessa AI-verktyg.
Problemets kärna ligger i hur AI hanterar användarinmatad data. Information som matas in i dessa system överförs ofta till stora språkmodeller (LLM, Large Language Models) i syfte att träna modellen. Oavsett om det rör sig om konfidentiell finansiell data, källkod eller kunduppgifter används den av AI-modellen för att bättre svara på andras frågor. Vilket kan leda till att känsliga data blir tillgänglig för andra via specifika AI-kommandon (prompts) eller exponera informationen om datalagringen inte är tillräckligt skyddad.
Känslig data har läcks till AI
Det finns flera uppmärksammade incidenter. Till exempel med Samsung där källkod för mobiltelefoner läckte ut via en AI-chatbot. En incident som tydligt belyser de påtagliga riskerna. OpenAI, skaparen av ChatGPT, varnar uttryckligen användarna: ”Vi kan inte ta bort specifika prompts från din historik. Dela inte med dig av känslig information i dina konversationer.” Trots sådana varningar kanske anställda inte helt förstår potentiella risker med AI för dataexponering.
Ett liknande exempel finns i när ett företag för finansiella tjänster integrerade en generativ AI-chatbot för att hjälpa till med kundförfrågningar. Varpå anställda matade in kundernas ekonomiska information för kontext, data som chatboten sedan lagrade på ett osäkert sätt. Detta ledde till ett betydande dataintrång och gjorde det möjligt för angripare att komma åt känslig kundinformation. Vilket visar hur lätt konfidentiella data kan äventyras genom felaktig användning av dessa verktyg, trots goda intentioner.
Ett översättningsverktyg kan vara ett AI
I ett annat fall använde en anställd på ett multinationellt företag, för vilket engelska var ett andraspråk, ett skrivförbättringsverktyg för att förbättra kommunikationen med USA-baserade kollegor. Omedveten om att programmet tränade på hans data matade han ibland in konfidentiell och proprietär information. i det här fallet fanns ingen skadlig avsikt, men det belyser dolda risker med AI.
Bristen på utbildning ger ökade risker med AI
En av de främsta orsakerna till dessa ökade risker är bristen på utbildning om säker AI-användning. Engelska National Crime Agency NCA undersökte hur det ser ut på engelska företag. Undersökning visade att 52 procent av anställda inte har fått någon utbildning i säker användning av AI. Och endast 45 procent av de aktiva AI-användarna hade genomgått någon form av AI-relaterad utbildning.
Organisationer underskattar ofta vikten av utbildning på grund av budgetbegränsningar eller bristande förståelse för potentiella risker med AI-användning. Denna klyfta mellan att känna igen potentiella faror och att ha kunskapen att mildra dem gör de anställda sårbara. Särskilt i miljöer där produktivitet ofta går före säkerhet.
Shadow AI allt vanligare
Kunskapsluckan om AI har lett till framväxten av ”shadow AI”, där anställda använder icke godkända verktyg utanför organisationens säkerhetsprotokoll. Till exempel när medarbetare använder AI-verktyg som inte kontrolleras av IT-avdelningen utan att förstå de långsiktiga konsekvenserna för datasäkerhet och efterlevnad. Vilket gör att företagen förlorar kontrollen över sin data och utsätts för betydande risker.
Implementera bästa praxis för Generativ AI
Företag och organisationer måste hitta en balans mellan att utnyttja AI för produktivitet och samtidigt skydda känslig information. Det är viktigt att börja med tydliga mål för att skapa rätt policyer och operativ säkerhet för att skydda data, integritet och immateriella rättigheter.
Viktiga steg som företag bör överväga är bland annat:
- Utveckla tydliga riktlinjer. Framför allt upprätta policyer för vilka typer av information som kan och inte kan delas med AI-verktyg.
- Tillhandahålla omfattande utbildning. Se utbildning som en viktig investering för att skydda data och varumärkesintegritet, inte bara ett efterlevnadskrav.
- Implementera åtkomstkontroller och övervakning. Använd strikta åtkomstkontroller och övervaka användningen av AI-verktyg för att minska riskerna.
- Använd datamaskeringstekniker. Skydda känslig information från att matas in i AI-plattformar.
- Genomföra regelbundna granskningar. Säkerställ efterlevnad och upptäck obehöriga försök att komma åt känsliga uppgifter genom regelbundna granskningar.
Vissa företag begränsar mängden data som matas in i frågor eller segmenterar avdelningar som hanterar känsliga data. Men för närvarande finns det ingen lösning som passar alla på denna komplexa fråga.
Förbisedda risker med AI i SaaS-applikationer från tredje part
Faran förvärras ytterligare när AI-funktioner integreras i SaaS-applikationer (Software-as-a-Service) från tredje part. När nya funktioner läggs till, även i välrenommerade SaaS-applikationer, uppdateras ofta villkoren utan användarnas fulla medvetenhet. Vidare är det inte ovanligt att Saas-leverantörer använder kunddata för att träna sina AI-modeller.
För att hantera detta är nya SaaS Security Posture Management-verktyg (SSPM) utformade för att övervaka vilka program som använder AI och spåra ändringar av villkor. Dessa verktyg hjälper IT-team att kontinuerligt bedöma risker och justera policyer eller åtkomsträttigheter.
AI ett tveeggat svärd av möjligheter och risker
Potentialen i AI är fantastisk men risker ska inte förringas. Prioritera att skydda era användare och data framför snabba effektiviseringsvinster. Samt säkerställ att alla verktyg ni använder har den förankring i organisationen och bland användarna den behöver för att användas på ett säkert sätt. Kort sagt: skynda långsamt.
av:
David Kasabji
Threat Intelligence Engineer, Conscia Group
Ursprungligen publicerad i vårt ThreatInsights Newsletter.