ChatGPT Jailbreak und KI-Jailbreaks

Was ist ein ChatGPT Jailbreak?

Ein ChatGPT Jailbreak ist ein Versuch, ein Sprachmodell wie ChatGPT, Claude oder Gemini mit einer gezielt formulierten Eingabe dazu zu bringen, Inhalte zu erzeugen oder Handlungen auszuführen, die der Anbieter ausgeschlossen hat. Der Begriff stammt aus der Smartphone-Welt, wo ein Jailbreak die Sperren des Herstellers aufhebt.

Das BSI definiert Jailbreaks in seinem Leitfaden zu Evasion-Angriffen als Klasse von Angriffen, bei denen ein Nutzer-Prompt das während des Trainings erlernte Verhalten des Modells verändert. Kommt der auslösende Text aus Inhalten Dritter, etwa einer Webseite oder einem Dokument, spricht das BSI von einem indirekten Jailbreak.

OWASP ordnet Jailbreaking in der Top 10 für LLM-Anwendungen 2025 als Form der Prompt Injection ein. Das Modell ignoriert dabei seine Sicherheitsprotokolle vollständig. Für Unternehmen zählt die Folge: Ein Modell, das seine Regeln ablegt, ist kein verlässlicher Baustein mehr in einem Geschäftsprozess.

Jailbreak und Prompt Injection: der Unterschied

Beide Begriffe werden oft gleich verwendet. Das BSI trennt sie nach dem Ziel des Angriffs: Eine Prompt Injection hebelt die Vorgaben des Entwicklers im System-Prompt aus, ein Jailbreak das Sicherheitstraining des Modells selbst. In der Praxis treten beide oft zusammen auf.

Für die Abwehr ist die zweite Unterscheidung wichtiger: Kommt der Angriff vom Nutzer selbst oder über Inhalte, die ein Agent liest? Die zweite Variante beschreibt die Seite zur indirekten Prompt Injection ausführlich.

Welche Kategorien von Jailbreaks gibt es?

Jailbreaks lassen sich nach ihrem Mechanismus ordnen. Das BSI unterscheidet zwei Gruppen: kohärenten Text, den auch Menschen verstehen, und inkohärenten Text aus scheinbar zufälligen Zeichenfolgen. Jede Technik kann als universeller Schlüssel auftreten, der bei vielen Anfragen wirkt. Angreifer kombinieren Techniken oder verteilen Fragmente über mehrere Quellen, die einzeln harmlos aussehen.

Die folgende Übersicht beschreibt nur die Prinzipien, ohne funktionierende Angriffstexte.

Keine Technik ist nur ein Problem älterer Modelle. Laut den Autoren erzielte Crescendo hohe Erfolgsraten bei allen getesteten Modellen, und Microsoft testete Skeleton Key 2024 erfolgreich an Modellen mehrerer großer Anbieter.

Warum sind Jailbreaks bei KI-Agenten gefährlich?

Ein Chatbot ohne Werkzeuge gibt nach einem Jailbreak Text aus. Ein Agent mit Zugriff auf Postfach, Browser, Dateisystem oder Kommandozeile handelt. Wie groß der Schaden wird, hängt dann von den Rechten ab, die der Agent besitzt.

Die Studie AgentHarm (angenommen auf der ICLR 2025) hat das mit 110 schädlichen Agentenaufgaben aus elf Kategorien wie Betrug und Cyberkriminalität gemessen. Ergebnis: Führende Modelle zeigten sich schon ohne Jailbreak überraschend kooperativ. Einfache universelle Jailbreak-Vorlagen ließen sich auf Agenten übertragen, und die Modelle führten danach mehrstufige schädliche Abläufe kohärent aus.

Das BSI nennt die Faktoren, die Angriffe begünstigen: Verarbeitung nicht vertrauenswürdiger Inhalte, Zugriff auf private Daten, externe Kommunikation und Schreibrechte, mit denen ein Agent Systemzustände ändert. Genau diese Fähigkeiten bringen Agenten über MCP-Server oder Werkzeuge wie OpenClaw mit. Ein indirekter Jailbreak in einer Mail reicht dann, damit ein Agent Daten verschickt oder Dateien ändert.

Was leisten die Schutzmechanismen der Anbieter?

Die Modellanbieter trainieren ihre Modelle gegen Jailbreaks und setzen zusätzliche Filter ein. Anthropic hat für seine Constitutional Classifiers Zahlen veröffentlicht: In automatisierten Tests mit 10.000 synthetischen Jailbreak-Prompts lag die Erfolgsrate ohne Klassifikator bei 86 Prozent, mit Klassifikator bei 4,4 Prozent. Der Rechenaufwand stieg dabei um 23,7 Prozent.

In einer öffentlichen Demo im Februar 2025 fanden Teilnehmende trotzdem einen universellen Jailbreak. Gegen Many-shot-Angriffe senkte eine Klassifizierung des Prompts vor der Verarbeitung die Erfolgsrate laut Anthropic in einem Fall von 61 auf 2 Prozent.

Die Zahlen zeigen: Anbieterfilter senken das Risiko deutlich, schließen es aber nicht aus. Das BSI hält fest, dass Fine-Tuning als Schutz oft nicht ausreicht und auch bei Umsetzung aller Maßnahmen Restrisiken bleiben. Unternehmen sollten ihre Architektur deshalb so bauen, dass ein erfolgreicher Jailbreak möglichst wenig auslösen kann.

Gegenmaßnahmen: Jailbreaks im Unternehmen abwehren

Die Empfehlungen von BSI, OWASP und Microsoft decken sich in vier Regeln. Sie wirken auch dann, wenn ein Angriff das Modell bereits überlistet hat, weil sie nicht vom Modell abhängen. Die ausführliche Anleitung für Prompt-Angriffe allgemein finden Sie unter Prompt Injection verhindern.

1. Rechte begrenzen

   Geben Sie dem Agenten nur die Werkzeuge und Daten, die er für die Aufgabe braucht. Das BSI empfiehlt, Aktionen auf das nötige Minimum zu beschränken und im Berechtigungsprofil des auslösenden Nutzers auszuführen.

2. Freigaben einbauen

   Lassen Sie kritische Aktionen wie Mailversand, Zahlungen oder Löschungen von einem Menschen bestätigen. OWASP und BSI nennen diese Kontrolle ausdrücklich, mehr dazu unter Human in the Loop.

3. Eingaben trennen

   Markieren Sie System-Prompt, Nutzerauftrag und fremde Inhalte strukturell getrennt und behandeln Sie Mails, Webseiten und Dateien als Daten. Das senkt die Wirkung indirekter Jailbreaks.

4. Protokollieren

   Zeichnen Sie Eingaben, Werkzeugaufrufe und Ausgaben auf. Microsoft empfiehlt ein vom Chatmodell unabhängiges Missbrauchs-Monitoring, das wiederkehrende Angriffsmuster erkennt.

5. Filtern und testen

   Prüfen Sie Ein- und Ausgaben mit Filtern und testen Sie das System regelmäßig mit Red Teaming, bei dem das Modell als nicht vertrauenswürdiger Nutzer gilt.

Was verlangt die KI-Verordnung?

Für Hochrisiko-KI-Systeme schreibt Artikel 15 Absatz 5 der KI-Verordnung (EU) 2024/1689 vor, dass sie widerstandsfähig gegen Versuche unbefugter Dritter sein müssen, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Die Norm nennt ausdrücklich Eingaben, die das Modell zu Fehlern verleiten sollen („model evasions“).

Ob ein konkreter Agent ein Hochrisiko-System ist, hängt vom Einsatzzweck ab und muss im Einzelfall geprüft werden. Unabhängig davon verlangt Artikel 32 DSGVO angemessene technische Maßnahmen, sobald ein Agent personenbezogene Daten verarbeitet. Den Gesamtrahmen beschreibt die Seite zur KI-Sicherheit im Unternehmen.

Checkliste: Ist Ihr KI-Agent gegen Jailbreaks gehärtet?

• Der Agent hat nur die Werkzeuge und Daten, die seine Aufgabe erfordert.
• Mailversand, Zahlungen und Löschungen brauchen eine Freigabe durch einen Menschen.
• Fremde Inhalte sind im Prompt klar als Daten markiert und getrennt.
• Ein- und Ausgaben laufen durch Filter, die Sie regelmäßig aktualisieren.
• Werkzeugaufrufe werden protokolliert und auf Auffälligkeiten geprüft.
• Ein Red-Teaming-Test mit mehrstufigen Angriffen fand vor dem Livegang statt.

Häufige Fragen