Datenschutzverletzung durch KI-Agenten auf Basis eines bekannten Sprachmodells

Der Angreifer begann mit der Suche nach Schwachstellen in allgemein zugänglichen Dateien und konnte sich anschließend erfolgreich am System anmelden. Nach dem Login untersuchte ein KI-gestützter Agent die Anwendung selbstständig auf weitere Sicherheitslücken. Nachdem solche Schwachstellen gefunden worden waren, konnte der Angreifer personenbezogene Daten verändern und auf Rechnungsinformationen zugreifen.

Der Einsatz von künstlicher Intelligenz für missbräuchliche Zwecke ist nicht neu. Bereits seit einigen Jahren werden KI-Systeme genutzt, um Phishing-Nachrichten zu erstellen, betrügerische Kampagnen in verschiedene Sprachen zu übersetzen, Identitäten vorzutäuschen oder Schwachstellen zu finden. Dadurch lassen sich viele Angriffsschritte automatisieren und beschleunigen. KI-Agenten erweitern diese Möglichkeiten. Ein solcher Agent kann ein Ziel vorgegeben bekommen und anschließend selbstständig die dafür notwendigen Zwischenschritte planen und durchführen. Dazu gehören beispielsweise die Nutzung von Werkzeugen, die Ausführung von Code, die Auswertung von Informationen sowie die Anpassung des eigenen Vorgehens anhand der gewonnenen Erkenntnisse.

Die künstliche Intelligenz stellt damit keinen neuen Angriffsweg dar. Sie erhöht jedoch die Geschwindigkeit, den Umfang und die Anpassungsfähigkeit bereits bekannter Angriffsmethoden. Dadurch bleibt Organisationen weniger Zeit, Angriffe zu erkennen und wirksam darauf zu reagieren.

Zum jetzigen Zeitpunkt ist zu beachten, dass die vorliegenden Informationen ausschließlich auf der Meldung der betroffenen Organisation beruhen und noch geprüft werden müssen. Zudem bedeutet der Einsatz eines bestimmten KI-Modells nicht, dass dieses Modell oder die Infrastruktur seines Anbieters kompromittiert wurde oder dass die Technologie speziell für kriminelle Aktivitäten entwickelt wurde. Aus Sicht des Datenschutzes ist jedoch entscheidend, dass ein Dritter einen KI-Agenten eingesetzt haben soll, um mehrere Schritte eines Angriffs automatisiert und erfolgreich miteinander zu verknüpfen.

Anmerkung des StGB NRW

Dass die großen KI-Sprachmodelle das Potential für schwerwiegende IT-Sicherheitsvorfälle aufweisen, haben die in den Entwicklungsabteilungen großer US-Konzerne ausgelösten Vorfälle der jüngsten Zeit gezeigt. An dem hier genannten Fall ist besorgniserregend, dass offenbar ein bereits verfügbares (wenn auch von der Datenschutzaufsicht nicht genanntes) Sprachmodell genutzt werden konnte, um personenbezogene Daten in Systemen zu verändern. In einer Kommunalverwaltung wäre eine solche Datenschutzverletzung ebenfalls fatal.

Allerdings ist KI ebenso wie ein menschlicher Hacker auf das Vorhandensein entsprechender Schwachstellen im System angewiesen oder muss zumindest eine Spur verfolgen, mit der es etwa an Login-Daten gelangt. Die wesentliche Erkenntnis lautet daher: Nicht die KI selbst war die Ursache des Sicherheitsvorfalls, sondern die Kombination aus vorhandenen Schwachstellen, gültigen Zugängen und der Fähigkeit eines KI-Agenten, diese Möglichkeiten besonders schnell und eigenständig auszunutzen.

Dadurch gewinnt der Schutz digitaler Identitäten und Zugangsdaten weiter an Bedeutung. Gelangt ein Angreifer an ein Benutzerkonto, einen API-Schlüssel oder ein Zugriffstoken mit weitreichenden Berechtigungen, kann ein KI-Agent diese Zugänge in sehr kurzer Zeit nutzen und mehrere Systeme erreichen, bevor ungewöhnliche Aktivitäten erkannt werden.

Behörden müssen KI-gestützte Angriffe zudem explizit in ihre Risikoanalysen aufnehmen. Allgemeine Hinweise auf Schadsoftware, Phishing oder unbefugte Zugriffe reichen nicht mehr aus, da KI die Wahrscheinlichkeit, Geschwindigkeit und Reichweite eines Angriffs erheblich verändern kann. Reaktionsprozesse müssen überprüft werden. Verfahren, die für manuell ausgeführte Angriffe ausgelegt sind, können unzureichend sein, wenn ein KI-Agent gleichzeitig viele Systeme analysiert, verschiedene Angriffswege testet und sein Verhalten laufend anpasst.