Kurz gesagt
Die Risiken künstlicher Intelligenz für Unternehmen lassen sich in fünf Gruppen ordnen: Sicherheit (etwa Prompt Injection), Datenschutz (Abfluss vertraulicher Eingaben), Recht (KI-Verordnung, Haftung, Urheberrecht), Qualität (Halluzinationen, Automation Bias) und Abhängigkeit vom Anbieter. Bewertet werden sie nach Eintrittswahrscheinlichkeit und Schadenshöhe, gesteuert über Inventar, Freigaben, Rechtebegrenzung und Protokollierung.
Welche KI-Risiken gibt es für Unternehmen?
KI-Risiken entstehen überall dort, wo ein Unternehmen Sprachmodelle nutzt: im Chat-Assistenten, im Office-Copilot, im Coding-Agenten oder im KI-Agenten, der selbst Mails verschickt. Die KI-Verordnung (EU) 2024/1689 definiert Risiko in Artikel 3 Nummer 2 als Kombination aus der Wahrscheinlichkeit eines Schadens und seiner Schwere. Mit genau diesen zwei Größen arbeitet auch die Risikomatrix weiter unten.
Das BSI listet in seinem Papier zu generativen KI-Modellen (Version 2.0, Januar 2025) 28 Risiken, von der Abhängigkeit vom Anbieter (R1) bis zu Angriffen auf die Modelle selbst. Die Tabelle ordnet die für Unternehmen wichtigsten Risiken in fünf Gruppen. Den Gesamtüberblick über Bedrohungen und Schutzmaßnahmen gibt die Seite zur KI-Sicherheit im Unternehmen.
Dass das Thema praktisch relevant ist, zeigt die KI-Sicherheitsstudie 2026 von BSI und TÜV-Verband mit mehr als 500 Unternehmen ab 20 Beschäftigten: 17 Prozent berichten von einem KI-bezogenen Cyberangriff oder Betrugsversuch in den letzten zwölf Monaten. Nur 11 Prozent haben spezifische Prozesse für KI-bezogene Sicherheitsvorfälle, 25 Prozent haben dafür keine Regeln.
| Gruppe | Typische Risiken | Beleg |
|---|---|---|
| Sicherheit | Prompt Injection, übermäßige Handlungsfreiheit von Agenten, manipulierte Plugins und Modelle, unsicherer generierter Code | OWASP LLM01, LLM03, LLM04 (Ausgabe 2026); BSI R6 |
| Datenschutz | Vertrauliche Eingaben landen beim Anbieter, Agenten geben Daten an Dritte weiter, private Konten ohne Vertrag | BSI R2; OWASP LLM02; DSGVO Art. 28 |
| Recht | Pflichten aus der KI-Verordnung, Haftung für falsche Auskünfte, urheberrechtlich geschützte Inhalte in Ausgaben | KI-VO Art. 4, 26, 50; BSI R5 |
| Qualität | Erfundene Fakten, zu großes Vertrauen in Ergebnisse, nicht reproduzierbare Ausgaben | BSI R4, R7, R8; OWASP LLM09 |
| Abhängigkeit | Verfügbarkeit, Modellwechsel und Bedingungen liegen beim Anbieter | BSI R1 |
Sicherheitsrisiken: Angriffe auf KI-Agenten
Das größte Sicherheitsrisiko ist Prompt Injection: Text in einer Mail, Webseite oder Datei bringt das Modell dazu, fremde Anweisungen auszuführen. OWASP führt sie in der Top 10 für LLM-Anwendungen 2025 als LLM01. Das BSI schreibt in seiner IT-Sicherheitsinformation vom 22. Juni 2026, dass dies vor allem in agentischen Systemen kritisch wird, in denen Ausgaben des Modells direkt Aktionen auslösen.
Dann können Angreifer laut BSI sensible Informationen ausleiten, unautorisierte Systemzugriffe anstoßen oder Schadsoftware nachladen. KI-Komponenten müssen deshalb wie andere sicherheitskritische IT-Systeme behandelt werden, mit Isolation, Validierungsschichten und Berechtigungskonzepten.
Ein zweites Risiko liegt in der Lieferkette. OWASP nennt manipulierte Modelle, Trainingsdaten und Plugins (LLM03 und LLM04), das BSI warnt vor Poisoning-Angriffen, die ein Modell schon vor dem Einsatz verändern. Bei Coding-Assistenten kommt unsicherer generierter Code hinzu (BSI R6).
Datenschutzrisiken: Wohin gehen die Eingaben?
Das BSI beschreibt als Risiko R2 die fehlende Vertraulichkeit eingegebener Daten. Generative KI wird meist als Dienst über das Internet genutzt, und der Anbieter kann auf Ein- und Ausgaben zugreifen und sie unter Umständen für weiteres Training verwenden. Was tatsächlich passiert, hängt von Vertrag, Tarif und Einstellungen ab.
Verarbeitet ein Anbieter personenbezogene Daten in Ihrem Auftrag, verlangt Artikel 28 DSGVO einen Vertrag zur Auftragsverarbeitung. Hat eine Verarbeitung mit neuen Technologien voraussichtlich ein hohes Risiko für Betroffene, ist nach Artikel 35 DSGVO vorab eine Datenschutz-Folgenabschätzung durchzuführen. Welche Fragen Sie vor der Einführung klären, beschreibt die Seite zu KI und Datenschutz.
Am schwersten zu steuern sind Werkzeuge, die Beschäftigte ohne Freigabe mit privaten Konten nutzen. Für diese Schatten-KI gibt es weder Vertrag noch Protokoll, und niemand weiß, welche Kundendaten eingegeben wurden.
Rechtliche Risiken: KI-Verordnung, Haftung, Urheberrecht
Ein Unternehmen, das KI-Systeme beruflich einsetzt, ist nach Artikel 3 Nummer 4 der KI-Verordnung Betreiber. Seit dem 2. Februar 2025 gilt Artikel 4 zur KI-Kompetenz, den die Verordnung (EU) 2026/1744 neu gefasst hat: Betreiber ergreifen Maßnahmen, um die KI-Kompetenz ihres Personals zu unterstützen, ohne ein bestimmtes Niveau je Person garantieren zu müssen. Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50.
Für Hochrisiko-KI nach Anhang III, etwa in Personalauswahl oder Kreditprüfung, gelten die Betreiberpflichten aus Artikel 26 nach der Änderung durch die Verordnung (EU) 2026/1744 ab dem 2. Dezember 2027. Dazu gehören die Nutzung nach Betriebsanleitung und eine menschliche Aufsicht durch kompetente Personen. Die Einordnung Ihrer Systeme erklärt die Seite zur KI-Verordnung.
Haftungsrisiken entstehen auch ohne KI-Verordnung. Wie Global News im Februar 2024 berichtete, verurteilte das Civil Resolution Tribunal in British Columbia Air Canada zu Schadenersatz von gut 650 kanadischen Dollar, weil der Chatbot der Airline einem Kunden eine falsche Erstattungsregel genannt hatte. Das Argument der Airline, sie hafte nicht für Angaben ihres Chatbots, wies das Tribunal zurück. Das BSI nennt außerdem urheberrechtlich geschützte Inhalte, die sich in Ausgaben wiederfinden können (R5).
Qualitätsrisiken und Abhängigkeit vom Anbieter
Sprachmodelle bieten laut BSI keine Garantie für die Qualität ihrer Ausgaben (R4). Sie erzeugen falsche Inhalte, die sprachlich überzeugend wirken, im Fachjargon KI-Halluzinationen. Gefährlich wird das durch Automation Bias (R8): Nutzer vertrauen den Ergebnissen zu sehr und übernehmen sie ungeprüft. Hinzu kommt, dass dieselbe Eingabe unterschiedliche Ausgaben liefern kann (R7), was Prüfungen und Nachvollziehbarkeit erschwert.
Das erste Risiko im BSI-Katalog ist die Abhängigkeit vom entwickelnden oder betreibenden Unternehmen (R1). Training und Betrieb großer Modelle liegen meist bei wenigen Anbietern. Die Verfügbarkeit ist für Sie nicht kontrollierbar, und auf Weiterentwicklung und Bereitstellung des Modells haben Sie in der Regel keinen Einfluss.
Praktisch heißt das: Ein Modellwechsel kann eingespielte Abläufe verändern, geänderte Nutzungsbedingungen können Datenschutzfragen neu aufwerfen. Halten Sie für geschäftskritische Prozesse fest, wie es ohne den KI-Dienst weitergeht und wie Sie zu einem anderen Anbieter wechseln.
Risikomatrix: KI-Risiken bewerten
Eine Risikomatrix setzt die Eintrittswahrscheinlichkeit ins Verhältnis zur Schadenshöhe. Bewerten Sie jedes Risiko je KI-Anwendung, denn ein Chat-Assistent ohne Werkzeuge und ein Agent mit Zugriff auf Postfach und Zahlungen haben sehr unterschiedliche Profile. Die Felder geben an, wie dringend Sie handeln sollten.
Die Wahrscheinlichkeit steigt, wenn ein System fremde Inhalte verarbeitet. Die Schadenshöhe steigt mit Rechten und Daten: Ein Agent, der vertrauliche Daten liest, fremde Inhalte verarbeitet und nach außen kommunizieren kann, vereint alle drei Merkmale, vor denen das BSI unter dem Begriff Lethal Trifecta warnt.
| Wahrscheinlichkeit | Schaden gering | Schaden mittel | Schaden hoch |
|---|---|---|---|
| Hoch | Mittel: Maßnahmen einplanen | Hoch: vor Einsatz beheben | Kritisch: nicht ohne Freigabe und Rechtebegrenzung betreiben |
| Mittel | Gering: beobachten | Mittel: Maßnahmen einplanen | Hoch: vor Einsatz beheben |
| Gering | Gering: akzeptieren und dokumentieren | Gering: beobachten | Mittel: Maßnahmen einplanen |
Beispiel zur Einordnung: Ein Mail-Agent, der eingehende Nachrichten liest und selbst antworten darf, landet bei Prompt Injection meist im Feld „Kritisch“. Wird jede ausgehende Mail vorher von einem Menschen freigegeben, sinkt die Schadenshöhe deutlich.
KI-Risikomanagement in sieben Schritten
Das US-amerikanische NIST gliedert sein AI Risk Management Framework (Januar 2023) in vier Funktionen: Govern, Map, Measure und Manage. Artikel 9 der KI-Verordnung beschreibt für Anbieter von Hochrisiko-KI einen iterativen Prozess aus Ermittlung, Bewertung und Behandlung von Risiken über den gesamten Lebenszyklus. Das BSI empfiehlt vor jeder Integration eine eigene Risikoanalyse. Daraus ergibt sich für Betreiber dieser Ablauf:
Inventar anlegen
Erfassen Sie alle KI-Werkzeuge und Agenten mit Zweck, Datenarten, Rechten und verantwortlicher Person, auch Werkzeuge ohne offizielle Freigabe.
Rechtlich einstufen
Prüfen Sie je System, ob es unter verbotene Praktiken, Hochrisiko oder Transparenzpflichten der KI-Verordnung fällt und ob personenbezogene Daten verarbeitet werden.
Risiken ermitteln
Gehen Sie die fünf Gruppen durch und fragen Sie, welche Daten das System liest, welche Inhalte von außen kommen und was es auslösen kann.
Bewerten
Ordnen Sie jedes Risiko in die Matrix ein und legen Sie fest, welche Felder vor dem Einsatz behoben sein müssen.
Maßnahmen umsetzen
Rechte begrenzen, Freigaben einbauen, Eingaben trennen und protokollieren. Kritische Aktionen bestätigt ein Mensch, siehe Human in the Loop.
Restrisiko freigeben
Die verantwortliche Führungskraft akzeptiert das verbleibende Risiko schriftlich, mit Datum und Wiedervorlage.
Überwachen und wiederholen
Werten Sie Protokolle aus und bewerten Sie neu, wenn sich Modell, Anbieterbedingungen, Rechte oder Einsatzzweck ändern.
Wie weit sind Unternehmen beim KI-Risikomanagement?
Die KI-Sicherheitsstudie 2026 zeigt Lücken. Von den befragten Unternehmen bewerten und klassifizieren 45 Prozent ihre KI-Anwendungen nach Risiko, ebenso viele haben formale Freigabeprozesse. 29 Prozent haben keine der abgefragten organisatorischen Maßnahmen umgesetzt.
Bei den technischen Maßnahmen setzen 67 Prozent auf Qualitätssicherung und menschliche Prüfung kritischer KI-Ausgaben, 64 Prozent beschränken Zugriffsrechte. Nur 40 Prozent protokollieren oder überwachen die KI-Nutzung. Wie Sie Zuständigkeiten, Audits und Freigaben dauerhaft verankern, beschreibt die Seite zur KI-Governance.
Häufige Fragen
Was sind die größten Risiken von KI für Unternehmen?
Für die meisten Unternehmen sind es der Abfluss vertraulicher Daten, Prompt Injection bei KI-Agenten mit weitreichenden Rechten und ungeprüft übernommene falsche Ergebnisse. Welches Risiko bei Ihnen überwiegt, hängt davon ab, welche Daten ein System sieht und was es auslösen darf.
Was ist KI-Risikomanagement?
KI-Risikomanagement ist ein wiederkehrender Prozess, in dem ein Unternehmen Risiken seiner KI-Anwendungen erfasst, bewertet, mit Maßnahmen behandelt und überwacht. Bekannte Rahmen sind das NIST AI Risk Management Framework und für Anbieter von Hochrisiko-KI Artikel 9 der KI-Verordnung.
Muss jedes Unternehmen ein KI-Risikomanagement nach KI-Verordnung haben?
Ein formales Risikomanagementsystem nach Artikel 9 verlangt die KI-Verordnung von Anbietern von Hochrisiko-KI-Systemen. Betreiber solcher Systeme haben eigene Pflichten aus Artikel 26, die für Systeme nach Anhang III ab dem 2. Dezember 2027 gelten.
Unabhängig davon verlangen DSGVO und allgemeine Sorgfaltspflichten, Risiken neuer Technologien zu prüfen. Diese Angaben sind eine sachliche Einordnung, keine Rechtsberatung.
Wie oft sollte man KI-Risiken neu bewerten?
Mindestens bei jeder wesentlichen Änderung: neues Modell, neue Werkzeuganbindung, erweiterte Rechte, geänderte Anbieterbedingungen oder neuer Einsatzzweck. Dazu kommt eine feste Wiedervorlage, etwa einmal im Jahr.
Welche Risiken nennt das BSI für generative KI?
Das BSI-Papier „Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“ beschreibt 28 Risiken und 20 Gegenmaßnahmen. Darunter sind Abhängigkeit vom Anbieter, fehlende Vertraulichkeit der Eingaben, fehlende Ausgabequalität und Automation Bias.
Quellen
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (Version 2.0, Januar 2025), BSI
- Auswirkungen auf die Cybersicherheit von Organisationen durch die Entwicklung im Bereich Künstlicher Intelligenz (BITS-B 2026-262788-1032, 22.06.2026), BSI
- Nur jedes zehnte Unternehmen gegen KI-gestützte Angriffe gerüstet (KI-Sicherheitsstudie 2026), BSI und TÜV-Verband
- OWASP Top 10 for LLM Applications 2025, OWASP GenAI Security Project
- Verordnung (EU) 2024/1689 (KI-Verordnung), EUR-Lex
- Verordnung (EU) 2026/1744 (Digital-Omnibus zur KI), EUR-Lex
- Verordnung (EU) 2016/679 (DSGVO), EUR-Lex
- AI Risk Management Framework, NIST
- Air Canada must pay B.C. man hundreds for chatbot error, Global News