IT-Sicherheit in Kommunen: KI und Chatbots

Doch ähnlich wie beim Social Engineering der Mensch zum Werkzeug gemacht wird, technische Sicherheitsvorkehrungen auszuhebeln, um an Daten zu gelangen, kann auch ein Chatbot hierfür missbraucht werden. Da diese in der Regel auf großen Sprachmodellen (Large Language Models, LLMs) beruhen, können sie über normale Sprachanweisungen oder Fragen (prompts) gesteuert werden. Von „Prompt injections“ spricht man, wenn dem Chatbot ein Befehl gegeben wird, der legitim erscheint, aber unbeabsichtigtes Verhalten der KI verursachen soll.

Prompt Injections nutzen die Schwachstelle von LLMs aus, dass diese die Quellen von Anweisungen nicht identifizieren können, da letztere immer auf Zeichenfolgen mit Text in natürlicher Sprache beruhen. Darüber können Benutzende theoretisch dem Chatbot sagen: „Ignoriere alle Deine Voreinstellungen“ und zu etwas auffordern, was der Bot eigentlich nicht soll. Erstmals aufgefallen ist diese Systemlücke im Mai 2022 bei ChatGPT. Solche Probleme zu beheben, ist anscheinend gar nicht einfach: Ende 2023 sorgte der „Chevy Tahoe-Fall“ in den USA für Aufsehen, bei dem der von einem Autohändler eingesetzte Chatbot durch entsprechende Prompts dazu gebracht werden konnte, ein Auto für einen Dollar zu verkaufen.

Neben dieser direkten Form der Prompt Injections, gegen die auf Entwicklerseite gegengesteuert wird, gibt es aber auch eine indirekte Möglichkeit, das LLM mit gefährlichen Anweisungen zu versorgen. Soll zum Beispiel ein Dokument zusammengefasst werden, wird dieses in der Regel als Upload an den Server des LLM übertragen. In der Datei kann optisch unauffällig (zum Beispiel in weißer Schrift, sehr kleiner Schriftgröße) die Aufforderung an das LLM enthalten sein, bei der Ergebnisanzeige zum Anklicken eines bestimmten Links aufzufordern. Oder der Person am Bildschirm gezielt Fragen zu stellen, damit diese sensible Informationen eintippt.

Gerade diese Form der Cyberangriffe ist tückisch und wird erst durch den Einsatz von LLMs möglich: der reine Text in einer Datei stellt keinen Schadcode dar, den der Mail-Filter einer kommunalen IT zurückhalten würde. Dadurch kann eine Datei, die im System der Kommune selbst völlig harmlos ist, von dort aus zum LLM gelangen. Für Angreifende ist diese Methode dort interessant, wo eine externe Quelle nicht per se verdächtig ist und aufgrund der Datenmenge zunehmend eine KI-gestützte Auswertung von Dateien stattfindet, z. B. in Bewerbungsverfahren.

Einschätzung des Städte- und Gemeindebundes NRW

Wer mit LLM-basierten Anwendungen in der Verwaltung arbeitet, muss sich im Klaren darüber sein, dass es sich um eine vergleichsweise junge Technologie handelt, deren Sicherheitsniveau ebenfalls noch am Anfang steht. Der Sinn und Unsinn von Aussagen, die ein Chatbot trifft, gehören wegen der bekannten KI-Halluzinationen ohnehin stets auf den menschlichen Prüfstand. Wenn es nicht der Schutz personenbezogener Daten verbietet, sollten aber auch aus Gründen der IT-Sicherheit externe Dokumente nicht in einer KI-Anwendung verwendet werden, die nicht für den dienstlichen Einsatz speziell vorgesehen ist.

Für die Kommunen ist es ratsam, Bedarfe und geeignete Tools vorab zu analysieren und unter Einbindung des Personals einzuführen. Im Übrigen sollten Städte und Gemeinden daran denken, dass sie nach Art. 3 Nr. 4 EU AI Act auch dann als Betreiberin einer KI gelten, wenn sie die Anwendung eines Dritten lediglich verwenden. Art. 4 EU AI Act verpflichtet Kommunen dann dazu, ihre Mitarbeitenden hinsichtlich ihrer KI-Kompetenz zu qualifizieren. Dazu gehört, neben den vielfältigen Chancen auch die Limitierungen, etwa von Chatbots, zu kennen und sich neben ethischen Fragen auch möglicher Sicherheitsprobleme bewusst zu sein.