Blog

KI-Sicherheit in drei Schritten – 2: Detect

Die Verwendung von KI zu beobachten, ist eine Sache. Zu verstehen, wann sie echte Risiken mit sich bringt, ist etwas ganz anderes. Leider fehlt es vielen Organisationen an der Fähigkeit, zu beurteilen, was sicher ist und was ein Risiko darstellt, wenn es um den Einsatz von KI in ihrem eigenen Umfeld geht.

In unserem ersten Artikel der Serie stand das Thema Sichtbarkeit im Fokus. Es ging darum, nachvollziehbar zu machen, wie KI innerhalb der Organisation tatsächlich genutzt wird. Dieser Schritt ist grundlegend, aber er reicht nicht aus.

KI‑Nutzung zu erkennen ist das eine. Zu verstehen, wann daraus ein Risiko entsteht, ist etwas anderes.

Genau hier setzt der nächste Schritt an. Detection beschreibt die Fähigkeit, Nutzung einzuordnen und zu erkennen, wann sie von einem legitim eingebetteten Einsatz in einen risikobehafteten Bereich übergeht. Für viele Organisationen ist das der Punkt, an dem sie ins Stocken geraten. Die Nutzung ist sichtbar, doch der Kontext fehlt, um beurteilen zu können, was noch vertretbar ist und wo Handlungsbedarf entsteht.

KI bringt Risiken mit sich, die nicht in klassische Sicherheitsmodelle passen

Klassische IT‑Security arbeitet mit klaren Kategorien. Dazu gehören Schwachstellen, Fehlkonfigurationen, unzureichende Zugriffskontrollen oder schädlicher Code. Diese Logik greift bei KI nur begrenzt.

Die Risiken entstehen nicht ausschließlich in der Infrastruktur. Sie zeigen sich in Inhalten, Entscheidungen und Verhaltensmustern. Häufig liegen sie direkt in der Interaktion selbst und nicht nur im umgebenden System. In der Praxis bedeutet das, dass Organisationen zwei unterschiedliche Risikobereiche parallel betrachten müssen.

Risiken durch Ergebnisse und Nutzung von KI

Ein Teil der Risiken ergibt sich aus dem, was KI erzeugt und wie diese Ergebnisse weiterverwendet werden. Dazu zählen unter anderem:

• glaubwürdig wirkende Halluzinationen oder sachlich falsche Antworten
• Verzerrungen und Bias in Entscheidungsprozessen, etwa bei Auswahl‑ oder Bewertungsverfahren
• toxische oder unangemessene Inhalte
• Empfehlungen, die geschäftliche, sicherheitsrelevante oder regulatorische Entscheidungen in eine problematische Richtung lenken
• ungewollte Nutzung oder Kostenentwicklung durch unkontrollierte Abfragen

Diese Effekte sind oft nicht sofort als Sicherheitsvorfall erkennbar. Sie entwickeln sich schrittweise und entfalten ihre Wirkung über Zeit und Kontext.

Risiken durch Manipulation und Ausnutzung von KI

Daneben gibt es Risiken, die daraus entstehen, dass KI gezielt beeinflusst oder ausgenutzt wird. Dazu gehören unter anderem:

• Prompt‑Injection und indirekte Anweisungen, die in Daten oder Inhalten versteckt sind
• Abfluss sensibler Informationen über Prompts, Kontexte oder Antworten
• Versuche, Systemanweisungen oder Meta‑Prompts offenzulegen
• Manipulation von Trainingsdaten oder Wissensbasen

Auch diese Risiken zeigen sich selten als klar abgegrenztes Ereignis. Sie sind kontextabhängig und werden häufig erst dann sichtbar, wenn sich Muster verändern oder Auswirkungen häufen.

Risikobewertung braucht Kontext

KI‑Risiken lassen sich nicht anhand einzelner Datenpunkte oder reinen Netzwerkverkehrs beurteilen. Ohne Einordnung bleibt jede Bewertung unvollständig.

Für eine belastbare Einschätzung müssen Organisationen verstehen:

• wer oder was mit KI interagiert
• welcher Dienst oder welches Modell genutzt wird
• welche Art von Daten eingebracht wird
• in welchem fachlichen oder organisatorischen Kontext die Nutzung stattfindet
• welche Ergebnisse erzeugt werden oder welche Aktionen ausgelöst werden

Fehlt dieser Zusammenhang, wird Risikobewertung entweder zu grob oder schlicht falsch. Entweder wirkt alles potenziell gefährlich, oder relevante Risiken bleiben unentdeckt.

Seite

2. März 2026

Managed Observability

Mehrwert entsteht aus effizienter Nutzung Ihrer Tools. Nicht durch den bloßen Besitz. Unternehmen investieren oft viel in Observability-Plattformen, erzielen aber dennoch nicht die gewünschten Ergebni…

Weiterlesen

Zwei Fähigkeiten, die gemeinsam Verständnis schaffen

1. Kontinuierliche Analyse realer KI‑Nutzung

Die erste Fähigkeit besteht darin, KI‑Nutzung fortlaufend zu beobachten. Dabei geht es nicht darum, jeden einzelnen Prompt zu prüfen. Entscheidend ist das Erkennen von Mustern, Auffälligkeiten und Veränderungen über Zeit.

Das ermöglicht es,

• Nutzungsmuster zu identifizieren, die das Risiko erhöhen
• normales Verhalten von Abweichungen zu unterscheiden
• Veränderungen zu erkennen, wenn neue KI‑Dienste eingeführt werden

Diese Analyse stützt sich auf Sichtbarkeit aus Browsern, Netzwerken, API‑Aufrufen und Logs, verknüpft mit Identität und Rolle.

2. Aktive Validierung von KI‑Risiken mit KI

Die zweite Fähigkeit ist die gezielte Überprüfung von KI‑Systemen. Klassisches Red Teaming stößt hier schnell an Grenzen. Manuelle Tests sind aufwendig, fragmentiert und veralten rasch, da sich KI‑Systeme kontinuierlich verändern.

AI‑Red‑Teaming setzt auf automatisierte Tests. Modelle, Anwendungen und KI‑Agenten werden systematisch mit Angriffs‑ und Missbrauchsszenarien konfrontiert. Bewertet werden sowohl inhaltliche Risiken als auch sicherheitsrelevante Schwächen, ausgehend von der tatsächlichen Nutzung.

So wird es möglich,

• reale Schwachstellen statt theoretischer Risiken zu erkennen
• die praktische Tragweite von Risiken besser einzuschätzen
• Schutzmaßnahmen zu priorisieren, die tatsächlich relevant sind

Hier wird KI genutzt, um KI zu testen, in dem Umfang, der notwendig ist, um mit der Entwicklung Schritt zu halten.

Wenn KI ohne menschliche Interaktion handelt

Risikobewertung muss auch dort greifen, wo kein Mensch direkt beteiligt ist. Wird KI über APIs, automatisierte Workflows oder autonome Agenten eingesetzt, verändern sich die Anforderungen.

In solchen Szenarien muss nachvollziehbar bleiben,

• wie Daten während der Inferenz verwendet werden
• welche externen Dienste eingebunden sind
• wie sich das Verhalten der Systeme über Zeit entwickelt
• ob Entscheidungen oder Aktionen von erwarteten Mustern abweichen

Mit zunehmender Autonomie von KI‑Agenten wird diese Fähigkeit zu einer Grundvoraussetzung für tragfähige Governance.

Von Sichtbarkeit zu Schutz ohne Rätselraten

Organisationen, die direkt von Sichtbarkeit zu Blockierung übergehen, wiederholen häufig dieselben Fehler. Legitimer Einsatz wird eingeschränkt, tatsächliche Risiken werden übersehen und Schutzmaßnahmen greifen am falschen Punkt.

Wenn Risiken jedoch identifiziert und validiert werden können, verändert sich der Ansatz grundlegend. Es wird möglich,

• Nutzung mit geringem Risiko von kritischen Szenarien zu trennen
• KI dort zu ermöglichen, wo sie sinnvoll eingesetzt wird
• Schutzmaßnahmen gezielt dort zu verankern, wo sie notwendig sind

Organisationen ohne Detection müssen raten.
Organisationen mit Detection können priorisieren.

Next step: Protection

Im nächsten Beitrag dieser Serie geht es darum, wie technische und organisatorische Leitplanken aufgebaut werden können, basierend auf dem nun sichtbaren Risikobild. Ohne diesen Schritt bleiben Schutzmaßnahmen unscharf. Mit ihm werden sie angemessen, nachvollziehbar und dauerhaft tragfähig.

Collaboration Cybersecurity Managed Services Netzwerke Service Provider WLAN

Blog

28. Dez. 2022

Grundprinzipien der OT-Security

Industrielle Umgebungen stellen eine besondere Herausforderung für die IT-Sicherheit dar – denn sie sind nicht für Änderungen konzipiert. Typischerweise sind sie auch voller Fehlkonfigurationen und po…

Jakob Premrn

Cybersecurity Analyst

Weiterlesen