Conscia ThreatInsights
Die dunkle Seite generativer KI: Cyber-Bedrohungen im digitalen Zeitalter

Wenn wir künftige Cyber-Bedrohungen prognostizieren, orientieren wir uns häufig an den Erkenntnissen des vergangenen Jahres, um aus ihnen zu lernen und zukünftige Entwicklungen abzuschätzen. Allerdings können technologische Durchbrüche, auch wenn unbeabsichtigt, einen erheblichen Einfluss auf die Evolution von Cyber-Bedrohungen haben.

2023 erlebten wir den Aufstieg der generativen KI, die innerhalb weniger Monate die digitale Welt beherrschte. Es gibt kein einziges bedeutendes Produkt, das nicht mit der Verwendung von „KI“ in seiner Funktionsliste prahlt. Die Menschen begannen, sich mehr auf ChatGPT (und dergleichen) zu verlassen als auf die Google-Suche. Generative KI stellt eindeutig einen großen Durchbruch in der Technologie dar, der auch in der Cyberkriminalität nicht unbemerkt bleibt.

Wenn wir einige der wichtigsten Vorteile generativer KI zusammenfassen sollten, sähe die Liste in etwa so aus:

  • Effizienz und Geschwindigkeit
  • Skalierbarkeit
  • Kostenreduzierung

Wenn wir nun die Denkweise von Cyber-Kriminellen übernehmen, würden Sie dann solche Fähigkeiten in Ihren Betrieb einbauen? Mit Sicherheit. In diesem Artikel werden wir versuchen, die tatsächliche Anwendbarkeit der generativen KI in ihren bösartigen Einsatzmöglichkeiten zu testen.

Einsatz von Deepfakes für Social Engineering

Beginnen wir mit dem Offensichtlichsten. Deepfakes gab es bereits in der „Vor-GenAI-Ära“, haben sich aber in letzter Zeit zu einem viel ausgefeilteren Social-Engineering-Toolkit entwickelt, einfach aufgrund der drei großen Versprechen der Nutzung von GenAI, die wir in der Einleitung erwähnt haben.

Betrüger nutzen zunehmend die Deepfake-Technologie, um in ausgeklügelten Social-Engineering-Konzepten Unternehmensführer und politische Persönlichkeiten zu imitieren. Indem sie sich leicht zugängliche Medien wie Videos, Interviews und Fotos zunutze machen, können diese Täter die Identitäten wichtiger Persönlichkeiten überzeugend nachbilden und gefälschte Audio- und Bildinhalte in Telefonkonferenzen oder über VOIP-Systeme integrieren. Jüngste Vorfälle zeigen, dass es diesen Akteuren gelungen ist, mehrere Personen gleichzeitig zu imitieren und so ihren Täuschungsversuchen noch mehr Glaubwürdigkeit zu verleihen. Die Verfügbarkeit von öffentlichem Bild- und Tonmaterial, auf dem Führungskräfte von Unternehmen zu sehen sind, stellt heute ein erhebliches Sicherheitsrisiko dar, das für gefährliche Social-Engineering-Aktionen ausgenutzt werden kann.

Unternehmen werden durch Deepfake-Betrügereien finanziell und in Bezug auf ihren Ruf schwer geschädigt, vor allem, wenn die Betrüger auf finanziellen Gewinn aus sind. Bei einem denkwürdigen Vorfall im Januar 2024 wurden Deepfakes eingesetzt, um sich während eines Videoanrufs als Finanzvorstand und andere Führungskräfte auszugeben und einen Mitarbeiter zur Überweisung von 25,6 Millionen Dollar zu verleiten. Außerdem wird vermutet, dass staatlich unterstützte Einrichtungen Deepfakes nutzen, um politische Informationen zu sammeln und Desinformationskampagnen durchzuführen. Im Juni 2022 deckte The Guardian beispielsweise einen Versuch auf, bei dem Deepfakes verwendet wurden, um europäische Bürgermeister während eines Telefonats zu täuschen, indem sie vorgaben, der Bürgermeister von Kiew, Vitali Klitschko, zu sein.

Um dem Missbrauch der Deepfake-Technologie entgegenzuwirken, haben viele Unternehmen, die kommerzielle Voice-Cloning- und Text-to-Speech-Dienste anbieten, Zustimmungspflichten eingeführt. Trotz dieser Vorsichtsmaßnahmen entwickeln die Täter jedoch immer neue Methoden, um diese Hürden zu umgehen.

Es gibt jedoch einen großen Nachteil, wenn es darum geht, überzeugende Video-Deefakes zu erstellen, und zwar die Reaktionszeit.

Ausgehend von mehreren Untersuchungen (und bestätigt durch unsere eigenen), gibt es folgende Arten:

  1. Die Reaktionszeit bei der Umwandlung von Text in Sprache
  2. Die Zeitverzögerung, die durch die Verwendung der Deepfake-Video-Generierung bei einem Live-Anruf entsteht.

Schließlich sei noch darauf hingewiesen, dass für die Erfassung und Vorverarbeitung von Audio- und Videoclips immer noch ein erheblicher Bedarf an menschlicher Intervention besteht, um die ML-Modelle entsprechend zu trainieren.

Doch auch wenn diese Nachteile momentan durchaus realistisch sind, glauben wir, dass sich dies bald ändern wird. Es gibt einen bemerkenswerten Fortschritt bei Open-Source-Beiträgen zu LLMs. Darüber hinaus versuchen milliardenschwere Unternehmen, die legitimen Einsatzmöglichkeiten solcher Technologien für ihre Produkte zu nutzen – insbesondere die Videospielindustrie und Filmstudios investieren stark in die Entwicklung von KI-generierten Inhalten, um die Grenzen der Realität in Videospielen zu erweitern. Solche Investitionen beschleunigen zwar immer die Entwicklung der Technologie, doch meist ohne ausreichende Berücksichtigung ihrer Sicherheit.

Unsere Analyse basierte auf dem Tortoise TTS-Tool, einem Open-Source-Tool zur Imitation von Stimmen.

Adaptive KI-generierte Malware

Der wohl lukrativste Anwendungsfall in Bezug auf Cyber-Bedrohungen ist die Entwicklung eines Schadprogramms, das allein auf KI basiert.

Die Entwicklung von Malware und Exploits durch generative KI ist ein Bereich, der mit hoher Wahrscheinlichkeit von Cyberkriminellen genutzt wird, wie in einem Bericht des britischen National Cyber Security Centre (NCSC) vom Januar 2024 festgestellt wird. Man geht davon aus, dass solche Bestrebungen von Gruppen mit umfangreichen Ressourcen unternommen werden, die Zugang zu exklusiver, hochwertiger Malware und Exploit-Daten haben. Der Bericht deutet darauf hin, dass es für Gruppen mit weniger Ressourcen schwierig sein könnte, effektive Malware und Exploits mit generativer KI zu entwickeln, die auf öffentlich verfügbaren Datensätzen trainiert wurde.

Die von Sicherheitsexperten veröffentlichten YARA-Regeln zur Identifizierung und Kategorisierung von Malware anhand bestimmter Codemuster stellen ein Paradoxon dar. Diese Regeln sollen zwar die Verteidigungsmechanismen stärken, geben jedoch gleichzeitig Hackern Hinweise, wie sie ihre Malware modifizieren können, um Erkennungssysteme zu umgehen. Die Veränderung von Malware, um diese Erkennungsmaßnahmen zu umgehen, ist jedoch in der Regel mit erheblichem Aufwand und Ressourcen verbunden und schreckt Angreifer ab.

Um die Erkennung von YARA-Regeln zu umgehen, hat die Insikt Group von Recorded Future ein Projekt durchgeführt, bei dem der Quellcode von Malware durch generative KI verändert wurde. Der Test betraf STEELHOOK, ein PowerShell-Tool, das von APT28 zum Extrahieren von Browserdaten aus Google Chrome und Microsoft Edge eingesetzt wird. Dabei wurde der Code von STEELHOOK zusammen mit den entsprechenden YARA-Regeln an ein Sprachmodell übermittelt, das dann die Aufgabe hatte, den Code so zu verändern, dass er nicht mehr erkannt wurde. Die überarbeitete Malware wurde mehreren Prüfungen unterzogen, um ihre syntaktische Korrektheit, ihre Unauffindbarkeit durch YARA und die Beibehaltung ihrer ursprünglichen Funktionalität zu bestätigen. Die Rückmeldungen aus diesen Tests wurden genutzt, um die Ergebnisse der KI zu verfeinern.

Exploring the Dark Side of Generative AI, Figure 1: Flowchart to generate Malware to evade YARA detections (Source: Recorded Future)
Flussdiagramm zur Generierung von Malware, um YARA-Erkennungen zu umgehen (Quelle: Recorded Future)

Dieser iterative Prozess ermöglichte es den Forschern, die einfache Erkennung der YARA-Regeln zu umgehen. Allerdings sind die Fähigkeiten aktueller KI-Modelle durch den Umfang des von ihnen gleichzeitig analysierbaren Kontexts begrenzt, was die Tests auf einfachere Skripte und Malware-Varianten beschränkt. Darüber hinaus haben diese Modelle Schwierigkeiten, den Dreiklang der Voraussetzungen zu erfüllen: fehlerfreie Syntax, Umgehung der YARA-Erkennung und Beibehaltung der ursprünglichen Funktionalität. Die Studie erstreckte sich nicht auf komplizierte YARA-Erkennungsstrategien, wie z. B. den Musterabgleich, der zusätzliche Vorbereitungsschritte und Validierungen erforderlich machen würde.

Diese Untersuchung der KI-unterstützten Malware-Anpassung unterstreicht sowohl die Möglichkeiten als auch die Grenzen des Einsatzes von KI zur Umgehung herkömmlicher Erkennungssysteme wie YARA-Regeln. Während KI dabei helfen kann, bestimmte Erkennungsmethoden zu umgehen, zeigt sie auch den Bedarf an ausgefeilteren Erkennungstechniken, die gegen solche Umgehungsversuche resistent sind. Der aktuelle Stand der KI-Technologie muss jedoch noch erheblich optimiert werden, um durchgängig fehlerfreien und funktionalen Malware-Code zu generieren, was auf die Notwendigkeit umfassender Test- und Feedback-Mechanismen hinweist.

Nachahmung von Marken

Es wird immer deutlicher, dass Angreifer generative KI nutzen, um ihre Aktivitäten zu beeinflussen. Modernste Sprachmodelle und Bildgeneratoren ermöglichen es diesen Akteuren, ihre Reichweite zu vergrößern, Inhalte in mehreren Sprachen zu erstellen und Botschaften auf bestimmte Zielgruppen zuzuschneiden.

Am 5. Dezember 2023 enthüllte ein Bericht von Forschern der Insikt Group „Doppelgänger“, eine Operation mit Verbindungen zu Russland, die sich auf die Manipulation der öffentlichen Meinung konzentriert. Dieses Netzwerk nutzt gefälschte Nachrichtenplattformen, betrügerische Taktiken und soziale Medien, um seine Botschaft zu verbreiten. Es zielt darauf ab, die militärische Unterstützung für die Ukraine zu stören und politische Spaltungen in den Vereinigten Staaten, Frankreich, Deutschland und der Ukraine zu schüren. Es fiel durch die Verwendung einer geringen Menge an Daten auf, die scheinbar von einer künstlichen Intelligenz erzeugt wurden.

Experten sehen es nach wie vor als Herausforderung an, von KI erstellte Texte zuverlässig zu erkennen. Das liegt zum Teil daran, dass es keine einheitliche Methode gibt, um zu beurteilen, ob die in diesen Kampagnen verwendeten Inhalte von KI generiert wurden. Um die tatsächliche Bedrohung durch KI bei der Massenproduktion manipulativer Inhalte zu ermitteln, wurde eine Initiative gestartet, die authentische russische und chinesische Nachrichtenseiten nachahmt, indem KI-generierte Artikel eingefügt und auf den begleitenden Text zugeschnittene Bilder ausgewählt werden.

Den Forschern ist es gelungen, Inhalte zu erstellen, die speziell auf bestimmte Zielgruppen zugeschnitten sind, und dabei fortschrittliche Techniken einzusetzen, um das Material auf deren politische Neigungen abzustimmen. Das System verwendet nicht nur eine Reihe von Einflussfaktoren oder authentische Artikel als Kontext, sondern wendet auch generative KI an, um das Design seriöser Nachrichtenseiten zu klonen und so einen Anstieg der Produktion gefälschter Inhalte zu ermöglichen. Das Team setzte ein vielseitiges KI-Modell ein, das für die Öffentlichkeit zugänglich war, um passende Bilder zu den von der KI geschriebenen Artikeln auszuwählen.

Darüber hinaus entdeckt unser SOC-Team viele Versuche, Bankwebsites zu imitieren, was die Erfolgsquote von Phishing-Kampagnen, die auf Bankkunden abzielen, deutlich erhöht. Die Raffinesse der Verwendung von KI-generierten Inhalten anstelle des Versuchs, das HTML-/CSS-Styling zu kopieren, führt zu einer überzeugenderen gefälschten Website, die auch korrekte Pfadangaben, Übersetzungen und Logos enthält.

Diese Methode erhöht nicht nur die Glaubwürdigkeit der Desinformation, sondern senkt auch die Kosten im Vergleich zu herkömmlichen Methoden der Inhaltserstellung erheblich. So kann die Erstellung von Website-Inhalten und Artikeln weniger als 0,01 US-Dollar pro Stück kosten, was KI zu einer kostengünstigen Option im Vergleich zur Beschäftigung von Inhaltsautoren macht, selbst in Regionen mit niedrigeren Arbeitskosten.

Diese Strategie senkt nicht nur die Kosten drastisch, sondern hat auch das Potenzial, die Werbeeinnahmen für solche Desinformations-Websites zu erhöhen und sie so rentabel zu machen.

Gegenmaßnahmen

  • Die digitalen Persönlichkeiten von Führungskräften, einschließlich ihrer Stimmen und visuellen Darstellungen, sind zu einer erheblichen Schwachstelle für Unternehmen geworden, so dass eine Neubewertung der Sicherheitsstrategien zum Schutz vor Imitationen in gezielten Programmen erforderlich ist. Um die mit großen Transaktionen und kritischen Vorgängen verbundenen Risiken zu mindern, sollten Unternehmen verschiedene sichere Kommunikations- und Überprüfungsmethoden einführen, die über Telefonkonferenzen und VOIP hinausgehen, z. B. verschlüsselte Instant Messaging- oder E-Mail-Dienste.
  • Insbesondere für Unternehmen in den Medien und im öffentlichen Sektor ist die Überwachung der unbefugten Verwendung ihrer Marke oder ihres Contents in Fehlinformationskampagnen entscheidend. Unsere Kunden, die unseren Brand Protection Service in Anspruch nehmen, haben den Vorteil, dass sie neue Domainregistrierungen und digitale Inhalte, die ihre Marke missbrauchen, im Auge behalten können.
  • Um zu verhindern, dass Cyber-Angreifer KI-gestützte polymorphe Malware entwickeln, müssen Unternehmen ihre Abwehr mit mehrschichtigen und verhaltensbasierten Erkennungssystemen verstärken. Tools wie Sigma, Snort und ausgefeilte YARA-Regeln werden voraussichtlich auch in Zukunft Malware-Bedrohungen effektiv erkennen. Unser SOC-Team passt sein Erkennungs-Toolkit auf der Grundlage der neuesten Threat Intelligence und der sich weiterentwickelnden Technologie ständig an.
  • Für kritische Sektoren wie Verteidigung, Regierung, Energie, Produktion und Verkehr ist es von entscheidender Bedeutung, öffentlich verfügbare Bilder und Aufnahmen von sensiblen Objekten und Standorten sorgfältig zu verwalten und zu bereinigen, um eine Ausnutzung durch feindliche Akteure zu verhindern.

Abschließende Gedanken

Bei der Recherche über den aktuellen Stand der generativen KI und ihr Potenzial für böswillige Zwecke haben wir die Funktionen erwartet, die solche Tools bieten könnten, waren aber dennoch beeindruckt von den Fähigkeiten, die bereits jetzt möglich sind.

Fortgeschrittenere Einsatzmöglichkeiten wie KI-generierte Exploits und Malware werden jedoch wahrscheinlich noch etwas mehr Zeit benötigen, bis sie zuverlässig und massenhaft produziert werden können. Raffinierte Angreifer werden hier wahrscheinlich die Führung übernehmen, da sie es sich leisten können, mehr in solche Forschung und Entwicklung zu investieren. Sobald die Kosten aufgrund des technologischen Fortschritts und der Forschung gesenkt werden, können wir davon ausgehen, dass mehr KI-generierte Malware die Cyber-Bedrohungslandschaft erobern wird, möglicherweise schon Ende 2024.

KI-generierte Inhalte, wie Videos und Bilder, sind die nächste große Bedrohung. Sie werden direkt zur Erfolgsquote von Social-Engineering-Angriffen beitragen, die unserer Einschätzung nach bis 2024 durch die Nutzung von Deepfakes steigen wird. Allerdings wird es einen massiven Unterschied geben zwischen ausgefeilten und überzeugenden Deepfakes im Vergleich zu solchen mit begrenzten Investitionen in die Erstellung solcher Inhalte. Wie wir bereits erwähnt haben, werden überzeugende Deepfakes beim derzeitigen Stand viel menschliches Eingreifen erfordern – mit entsprechenden Qualifikationen. Dies wird der wichtigste limitierende Faktor für Gelegenheitshacker sein.

Auch wenn generative KI die neue digitale Welt zweifellos in vielerlei Hinsicht prägen wird, so dürfen wir doch die Folgen ihrer missbräuchlichen Nutzung nicht vernachlässigen. Technologischer Fortschritt muss während des Entwicklungszyklus mit Sicherheit einhergehen, um zu gewährleisten, dass das Produkt von seinen Nutzern sicher und bestimmungsgemäß verwendet wird.