Blog

Når AI flytter sikkerhedsgrænserne – hurtigere end vi kan følge med

AI-assistenter og autonome agenter ændrer fundamentalt vores sikkerhedslandskab. De fungerer ikke kun som værktøjer, men som højt privilegerede “super-insidere” med adgang til data, systemer og handlinger på tværs af miljøer. Samtidig gør AI det lettere for angribere at skalere komplekse angreb uden dyb teknisk ekspertise. Det flytter sikkerhedsfokus fra klassisk beskyttelse til også at håndtere de risici, vi selv introducerer gennem AI.

Vi taler meget om, at trusselsbilledet ændrer sig. Men det, der sker lige nu med AI-assistenter og autonome “agenter”, er ikke bare endnu et lag oven på det kendte – det er ved at flytte selve sikkerhedsmålene.
Og som den amerikanske journalist Brian Krebs, der er kendt for at afdække cyberkriminalitet og it-sikkerhedsbrud gennem sit site KrebsOnSecurity, meget præcist beskriver i en af sine blogs (læs mere her), sker det på en måde, hvor grænsen mellem hjælper og angriber bliver langt mere flydende, end vi bryder os om.

Vi har i årevis vænnet os til en verden, hvor der er nogenlunde klare roller: brugeren, systemet, angriberen, forsvareren. Nu introducerer vi en ny type aktør i vores miljøer – AI‑agenter, der både læser vores mails, kører vores scripts, taler med vores API’er og ovenikøbet får lov til at handle selv. Det er her, sikkerhedsmålet flytter sig: fra “beskyt systemer og brugere” til også at “beskytte mod – og gennem – de værktøjer, vi selv har inviteret indenfor”

Robotbutleren som super inside

Når vi installerer en AI agent som OpenClaw på vores laptop eller i udviklingsmiljøet, gør vi det jo for at få hjælp. Den skal skrive kode, svare mails, forbinde systemer, holde overblik. Det føles som en dygtig digital assistent, der står klar døgnet rundt – og det er svært ikke at blive begejstret, når man med et par linjer tekst kan få bygget en hel applikation eller automatiseret en proces, der før tog flere dage.

Men prisen for den begejstring er ofte adgang. Rigtig meget adgang. AI agenten får lov til at læse hele mailboksen, åbne dokumenter, tale med udviklingsværktøjer og cloudtjenester, fordi det er dér, meget af effektiviseringsgevinsten ligger. Og så er vi pludselig et sted, hvor en fejlkonfigureret eller kompromitteret agent ikke blot er “endnu et program”, men i praksis en superinsider med overblik og rettigheder, som mange rigtige medarbejdere ikke har. Brian Krebs beskriver historien her

Om Summer Yue, sikkerheds‑ og alignment‑direktør i Metas superintelligens‑team, der oplevede, at en agent begyndte at masse‑slette mails i hendes indbakke, mens hun desperat prøvede at få den til at stoppe. Hun havde bedt den “bekræfte før handling” – alligevel så hun den “speedrunne” sin indbakke. Det er både lidt komisk og dybt alvorligt, for det viser, at “pæne prompts” ikke er tilstrækkelige sikkerhedsforanstaltninger i et system, der grundlæggende er bygget på sandsynligheder og i sin natur ikke er deterministisk.

Når AI installerer AI

Det bliver ikke mindre interessant, når vi kigger på supply chain‑delen. Vi har vænnet os til at diskutere supply chain‑angreb som noget, der sker gennem biblioteker, opdateringer og tredjepartsleverandører. Nu ser vi eksempler på, at AI‑værktøjer selv er med til at installere andre AI‑komponenter – uden at nogen rigtigt har haft fingrene i koden eller verificeret komponenterne.

I Krebs’ gennemgang ser vi, hvordan et tilsyneladende uskyldigt GitHub‑issue ender med at trigge en automatiseret Claude‑session, der bygger og udgiver en opdatering med en ondsindet komponent til en AI‑kodeassistent. Det er mennesker, som har sat workflowet op – men det er AI’en, der i praksis binder stumperne sammen og får kompromitteret software ud til tusindvis af brugere. Når vi kombinerer det med offentlige kataloger over “skills” og plugins, som AI‑agenter kan hente direkte fra nettet, har vi pludselig en AI‑supply chain, der er lige så kraftfuld som den klassiske – og langt sværere at overskue.

Det ændrer, hvor frontlinjen går. Vi angribes ikke kun på vores servere og brugerkonti, men også på de mellemled, der får lov til at orkestrere handlinger på tværs af systemer. Kort sagt: vi skal ikke kun tænke “sikre vores miljø mod internettet”, men også “sikre vores miljø mod de automatiske mellemled, vi selv har åbnet”.

Angribere med superkræfter – uden superkompetencer

Den anden halvdel af historien er, at angriberne også har fået ”robotbutlere”. I en AWS‑case, som Krebs refererer til, ser vi en trusselaktør kompromittere over 600 FortiGate‑enheder i mindst 55 lande på fem uger ved systematisk at bruge AI‑tjenester som planlæggere, værktøjsudviklere og rådgivere. Her er det ikke den klassiske “geniale hacker i hættetrøje”, men en angriber, der uddelegerer en stor del af arbejdet til kommercielle AI‑værktøjer.

Pointen er ubehagelig klar: man behøver ikke være ekstremt teknisk stærk for at gennemføre komplekse, globale angreb længere – man skal ”bare” være god til at orkestrere AI‑tjenester. AI hjælper med at finde eksponerede management‑porte, lave step‑by‑step‑planer for udnyttelse, skrive scripts og justere dem løbende. Når angriberen møder et hårdere mål, går man hurtigt videre til det næste, hvor sikkerhedsniveauet er lavere. Effektivitet og skalerbarhed bliver vigtigere end dyb ekspertise.

For organisationer betyder det, at “middel‑angriberen” bliver farligere. Den slags angreb var tidligere tidskrævende og krævede stor specialviden; nu kan de industrialiseres med AI som co‑pilot. Det øger presset på vores egen evne til at automatisere vores forsvar – blandt andet med AI – fordi volumen ganske enkelt overstiger, hvad mennesker alene kan nå at gennemskue og håndtere.

Den dødelige treenighed: data, input og udgang

En af de gode begreber, Krebs trækker frem, er Simon Willisons “lethal trifecta” (læs mere her).

Hvis et system har adgang til private data, udsættes for ikke-verificeret input og har mulighed for at kommunikere udadtil, er det grundlæggende sårbart over for dataeksfiltration. En angriber behøver “bare” at narre systemet til at hente de forkerte data og sende dem det forkerte sted hen. På dramatisk dansk kan vi kalde dette for den dødelige treenighed.

AI agenter opfylder næsten altid alle tre kriterier. De læser dokumenter og mails, de besøger websider og bruger input, de ikke selv kontrollerer, og de har adgang til mail, chat, API’er og andre kanaler ud af huset. Det er derfor, vi ikke kan nøjes med at skrive pæne policies og håbe, at modellerne “opfører sig ordentligt”. Vi er nødt til at bygge deterministiske sikkerhedslag oven på – policy as code, klare begrænsninger i hvilke handlinger agenter overhovedet kan udføre, segmentering og minimerede rettigheder.

Hvad betyder det?

Brian Krebs ender ikke i “forbyd AI og gå hjem”-hjørnet – og det bør vi heller ikke. AI‑assistenter og agenter er kommet for at blive, fordi de er nyttige, og fordi økonomien bag dem gør udbredt adoption uundgåelig. Spørgsmålet er ikke, om vi udruller dem, men om vi kan tilpasse vores sikkerhed hurtigt nok til at overleve det.

Helt kort handler det derfor om tre ting:

• At behandle AI‑agenter som nye, højt privilegerede brugere – ikke som harmløse værktøjer. De skal have mindst mulige rettigheder, være segmenteret og overvåget på linje med andre kritiske konti.
• At se AI som en udvidelse af den eksisterende cloud‑ og API‑angrebsflade – og sikre hele AI‑livscyklussen, fra træning og plugins til drift og opdateringer.
• At designe kontroller og governance omkring “lethal trifecta”, så vi eksplicit styrer, hvilke data AI‑systemer faktisk må tilgå, hvilke input de må stole på, og hvor de må sende data hen.

For os som rådgivere og leverandører ligger opgaven i at oversætte den her relativt komplekse virkelighed til konkrete skridt: arkitektur, politikker og løsninger, der skaber mere robusthed uden at kvæle innovationen.

Det er, efter min mening, langt mere konstruktivt end at håbe, at eksperimentet stopper af sig selv – for det gør det ikke, eller at tro det ikke vil gøre ”noget dumt”, for det vil det.

Om forfatteren