Kurz gesagt
KI-Governance legt fest, wer im Unternehmen über KI-Systeme entscheidet, welche Systeme im Einsatz sind, wie riskant sie sind und wie das geprüft wird. Dazu gehören klare Rollen, ein KI-Inventar, Risikoklassen, eine KI-Richtlinie und regelmäßige Audits. Als Rahmen dienen die Norm ISO/IEC 42001 und das NIST AI Risk Management Framework.
Was ist KI-Governance?
KI-Governance umfasst die Zuständigkeiten, Prozesse und Kontrollen, mit denen ein Unternehmen KI-Systeme auswählt, freigibt, überwacht und wieder abschaltet. KI-Compliance ist der Teil davon, der die Einhaltung von Pflichten aus KI-Verordnung, DSGVO und Arbeitsrecht sicherstellt. Ein KI-Audit prüft, ob beides in der Praxis funktioniert.
Das US-amerikanische NIST beschreibt Governance in seinem AI Risk Management Framework als Querschnittsfunktion, die alle anderen Schritte des Risikomanagements durchzieht. Die Leitungsebene gibt dort den Ton vor: Sie bestimmt Ziele, Werte und die Risikobereitschaft der Organisation.
Wie weit deutsche Unternehmen sind, zeigt die KI-Sicherheitsstudie 2026 von BSI und TÜV-Verband mit mehr als 500 befragten Unternehmen ab 20 Mitarbeitenden. 45 Prozent bewerten und klassifizieren das Risiko ihrer KI-Anwendungen, 45 Prozent haben formale Freigabeprozesse, 42 Prozent prüfen ihre KI-Anbieter. 29 Prozent haben keine dieser Maßnahmen umgesetzt.
Governance ist der organisatorische Teil der KI-Sicherheit im Unternehmen. Die technischen Schutzmaßnahmen für KI-Agenten greifen nur, wenn jemand für sie zuständig ist.
Rollen und Gremien: Wer entscheidet über KI?
Das NIST AI RMF verlangt, dass Rollen, Verantwortlichkeiten und Kommunikationswege für das KI-Risikomanagement dokumentiert und allen Beteiligten klar sind (GOVERN 2.1). Die Tabelle zeigt eine Aufteilung, die sich an diesen Anforderungen und den Empfehlungen der Datenschutzkonferenz (DSK) orientiert.
Kleine Unternehmen brauchen dafür kein eigenes Gremium: Eine verantwortliche Person stimmt sich in festen Abständen mit Datenschutz, IT-Sicherheit und Betriebsrat ab. Größere Unternehmen bündeln diese Runde in einem KI-Steuerkreis, der über Freigaben entscheidet.
| Rolle | Aufgabe in der KI-Governance | Grundlage |
|---|---|---|
| Geschäftsleitung | Legt Risikobereitschaft und Budget fest, beschließt Richtlinie und Freigabeprozess | NIST AI RMF, Abschnitt 5.1 |
| KI-verantwortliche Person | Führt das Inventar, koordiniert Freigaben, ist Ansprechpartner für Beschäftigte | Organisatorische Entscheidung, die KI-Verordnung schreibt diese Funktion nicht vor |
| Informationssicherheit | Prüft Anbindungen, Rechte von Agenten und Protokollierung | NIST AI RMF, GOVERN 2.1 |
| Datenschutzbeauftragte | Prüft Rechtsgrundlage, Auftragsverarbeitung und Folgenabschätzung | DSK: stets einbinden |
| Fachbereich | Verantwortet den konkreten Einsatz und die Prüfung der Ergebnisse | Bei Hochrisiko-KI: menschliche Aufsicht nach Art. 26 Abs. 2 KI-Verordnung |
| Betriebsrat | Wird über KI-Einsatz unterrichtet und bestimmt je nach Werkzeug mit | § 90 Abs. 1 Nr. 3 und § 87 Abs. 1 Nr. 6 BetrVG |
KI-Inventar: Welche KI-Systeme sind im Einsatz?
Ohne Inventar gibt es keine Governance. Das NIST AI RMF fordert Mechanismen, um KI-Systeme zu inventarisieren (GOVERN 1.6), und Verfahren, um sie sicher außer Betrieb zu nehmen (GOVERN 1.7). In das Inventar gehören eigene Anwendungen, eingekaufte Dienste, KI-Funktionen in bestehender Software und jeder KI-Agent.
Beginnen Sie mit einer Abfrage in den Fachbereichen und gleichen Sie sie mit Lizenzen und Netzwerkdaten ab. Werkzeuge, die ohne Freigabe genutzt werden, nehmen Sie ebenfalls auf; wie Sie diese Schatten-KI aufspüren, steht auf einer eigenen Seite. Je Eintrag sollten diese Angaben stehen:
- Name, Anbieter und Version sowie der Zweck im Fachbereich
- Verantwortliche Person und Datum der letzten Freigabe
- Verarbeitete Datenarten, insbesondere personenbezogene Daten
- Rechte und angebundene Werkzeuge wie MCP-Server, APIs und Postfächer
- Rolle nach KI-Verordnung (Anbieter oder Betreiber) und Risikoklasse
- Verträge, Verarbeitungsverzeichnis nach Art. 30 DSGVO und Folgenabschätzung
- Termin der nächsten Überprüfung
Risikoklassen: Wie stufen Sie KI-Systeme ein?
Für die Einstufung brauchen Sie zwei Blickwinkel. Der rechtliche folgt der KI-Verordnung (EU) 2024/1689 und entscheidet, welche Pflichten gelten. Der sicherheitstechnische fragt, welchen Schaden ein System anrichten kann, wenn es fehlerhaft arbeitet oder manipuliert wird. Eine ausführliche Übersicht über Gefahren gibt die Seite zu KI-Risiken.
Die Tabelle zeigt die Stufen der KI-Verordnung in der konsolidierten Fassung vom 27. Juli 2026. Ein System aus Anhang III gilt nach Artikel 6 Absatz 3 ausnahmsweise nicht als hochriskant, wenn es kein erhebliches Risiko birgt, etwa weil es nur eine eng gefasste Verfahrensaufgabe erfüllt. Nimmt es ein Profiling natürlicher Personen vor, gilt es immer als hochriskant.
Für die Sicherheitsklasse genügen drei Stufen, die sich nach den Rechten des Systems richten. Je höher die Klasse, desto strenger Freigabe, Protokollierung und Prüfung.
Klasse A: nur Text
Das System beantwortet Fragen ohne Zugriff auf Unternehmensdaten. Hier genügen die Regeln der KI-Richtlinie.
Klasse B: liest Unternehmensdaten
Das System greift auf Dokumente, Mails oder Datenbanken zu. Rechte werden auf das Nötige begrenzt, Zugriffe protokolliert.
Klasse C: handelt
Ein Agent versendet, ändert, löscht oder bezahlt. Kritische Aktionen brauchen eine Freigabe durch einen Menschen nach dem Prinzip Human in the Loop.
| Stufe nach KI-Verordnung | Beispiele im Unternehmen | Folge |
|---|---|---|
| Verboten (Art. 5) | Ableitung von Emotionen am Arbeitsplatz, außer aus medizinischen oder Sicherheitsgründen | Einsatz untersagt |
| Hochrisiko (Art. 6, Anhang III Nr. 4) | Bewerbungen sichten und filtern, Leistung und Verhalten von Beschäftigten bewerten | Betreiberpflichten nach Art. 26 ab 2. Dezember 2027 |
| Transparenzpflicht (Art. 50) | Chatbots im Kundenkontakt, Deepfakes, KI-Texte zu Angelegenheiten von öffentlichem Interesse | Offenlegung, seit 2. August 2026 |
| Übrige KI-Systeme | Textassistenten, Übersetzung, Coding-Agenten | KI-Kompetenz nach Art. 4, dazu DSGVO und eigene Regeln |
Standards: ISO/IEC 42001 und NIST AI RMF
ISO/IEC 42001 legt Anforderungen an ein KI-Managementsystem fest und gibt Hinweise, wie es eingeführt, betrieben, gepflegt und fortlaufend verbessert wird. Die Norm erschien am 18. Dezember 2023 und gilt für jede Organisation, die KI-Systeme anbietet oder nutzt, unabhängig von Größe und Branche. Managementsysteme nach der Norm lassen sich zertifizieren: Anthropic etwa meldete im Januar 2025 die Zertifizierung seines KI-Managementsystems durch eine akkreditierte Zertifizierungsstelle.
Das NIST AI Risk Management Framework (AI RMF 1.0) veröffentlichte das US-amerikanische National Institute of Standards and Technology am 26. Januar 2023 zur freiwilligen Nutzung. Es gliedert das Risikomanagement in vier Funktionen: Govern, Map, Measure und Manage. Für generative KI ergänzt seit 26. Juli 2024 ein eigenes Profil (NIST AI 600-1) das Framework. Laut NIST wird das AI RMF derzeit überarbeitet.
| Merkmal | ISO/IEC 42001 | NIST AI RMF |
|---|---|---|
| Art | Internationale Norm für ein KI-Managementsystem | Rahmenwerk für KI-Risikomanagement |
| Herausgeber | ISO und IEC (JTC 1/SC 42) | NIST (USA) |
| Stand | Ausgabe 1, 18. Dezember 2023 | Version 1.0, 26. Januar 2023, Überarbeitung angekündigt |
| Zugang | Kostenpflichtig erhältlich | Kostenlos als PDF |
| Nachweis | Zertifizierung durch Zertifizierungsstellen | Keine Zertifizierung, freiwillige Anwendung |
| Aufbau | Anforderungen an das Managementsystem | Vier Funktionen mit Kategorien und Unterkategorien |
KI-Compliance: Welche Pflichten gelten wann?
Die Verordnung (EU) 2026/1744 vom 8. Juli 2026, der sogenannte Digital-Omnibus zur KI, hat mehrere Fristen der KI-Verordnung verschoben und Artikel 4 neu gefasst. Die Daten in der Tabelle folgen der konsolidierten Fassung auf EUR-Lex vom 27. Juli 2026. Die Einordnung für Unternehmen, die KI-Agenten einsetzen, steht auf der Seite zur KI-Verordnung.
Verstöße können teuer werden. Nach Artikel 99 drohen bei verbotenen Praktiken Geldbußen bis 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes, bei Verstößen gegen die Betreiberpflichten aus Artikel 26 oder die Transparenzpflichten aus Artikel 50 bis 15 Millionen Euro oder 3 Prozent. Für kleine und mittlere Unternehmen gilt jeweils der niedrigere der beiden Beträge. Datenschutzpflichten wie Rechtsgrundlage und Auftragsverarbeitung behandelt die Seite KI und Datenschutz.
| Pflicht | Norm | Gilt seit oder ab |
|---|---|---|
| Verbotene KI-Praktiken beachten | Art. 5 KI-Verordnung | 2. Februar 2025; neue Verbote in Abs. 1 Buchst. ba und bb ab 2. Dezember 2026 |
| Maßnahmen zur KI-Kompetenz des Personals | Art. 4 KI-Verordnung | 2. Februar 2025, neu gefasst seit 27. Juli 2026 |
| Transparenz bei Chatbots, Deepfakes und bestimmten Texten | Art. 50 KI-Verordnung | 2. August 2026 |
| Betreiberpflichten für Hochrisiko-KI, inklusive Information der Arbeitnehmervertreter | Art. 26 KI-Verordnung | 2. Dezember 2027 (Anhang III), 2. August 2028 (Anhang I) |
| Verzeichnis von Verarbeitungstätigkeiten, Datenschutz-Folgenabschätzung | Art. 30 und Art. 35 DSGVO | Gilt bereits |
| Unterrichtung des Betriebsrats über geplanten KI-Einsatz | § 90 Abs. 1 Nr. 3 BetrVG | Gilt bereits |
Die Übersicht ist eine sachliche Einordnung und keine Rechtsberatung. Welche Pflichten für ein System gelten, hängt von Ihrer Rolle als Anbieter oder Betreiber und von seiner Einstufung ab.
KI-Audit: So prüfen Sie Ihre KI-Governance
Ein internes KI-Audit prüft, ob Inventar, Regeln und Kontrollen der Wirklichkeit entsprechen. Das NIST AI RMF verlangt eine laufende Überwachung und eine regelmäßige Überprüfung des Risikomanagements mit festgelegter Häufigkeit (GOVERN 1.5). Für eine Zertifizierung nach ISO/IEC 42001 prüft zusätzlich eine externe Zertifizierungsstelle. Ein internes Audit folgt diesen Schritten:
Umfang festlegen
Bestimmen Sie, welche Systeme, Fachbereiche und Zeiträume geprüft werden. Systeme der Klasse C und Hochrisiko-Kandidaten kommen zuerst.
Inventar gegen Wirklichkeit abgleichen
Vergleichen Sie das Inventar mit Lizenzen, Netzwerkdaten und Befragungen. Jedes gefundene, nicht erfasste Werkzeug ist ein Befund.
Rechte und Freigaben prüfen
Kontrollieren Sie bei jedem Agenten, ob die Rechte zum Zweck passen und ob kritische Aktionen wirklich eine menschliche Bestätigung brauchen.
Protokolle auswerten
Prüfen Sie, ob Werkzeugaufrufe protokolliert und ausgewertet werden. Betreiber von Hochrisiko-KI müssen automatisch erzeugte Protokolle, soweit sie ihrer Kontrolle unterliegen, mindestens sechs Monate aufbewahren (Art. 26 Abs. 6 KI-Verordnung).
Angriffe testen
Testen Sie Agenten gezielt mit präparierten Mails, Dokumenten und Webseiten. Wie solche Tests ablaufen, beschreibt die Seite zum AI Red Teaming.
Anbieter prüfen
Fordern Sie Verträge zur Auftragsverarbeitung, Angaben zu Training und Speicherorten sowie vorhandene Zertifikate an, zum Beispiel nach ISO/IEC 42001.
Bericht und Maßnahmen
Halten Sie Befunde mit verantwortlicher Person und Frist fest, aktualisieren Sie die KI-Richtlinie und legen Sie den nächsten Prüftermin fest.
Häufige Fragen
Was ist der Unterschied zwischen KI-Governance und KI-Compliance?
KI-Governance ist der gesamte Steuerungsrahmen: Rollen, Inventar, Risikobewertung, Richtlinien und Kontrollen. KI-Compliance ist der Ausschnitt, der die Einhaltung gesetzlicher Pflichten sicherstellt, etwa aus KI-Verordnung, DSGVO und BetrVG.
Ist ISO/IEC 42001 Pflicht?
Nein, die Anwendung der Norm ist freiwillig. Sie gibt dem KI-Management eine prüfbare Struktur und lässt sich zertifizieren.
Eine Zertifizierung ersetzt nicht die Prüfung, welche Pflichten aus KI-Verordnung und DSGVO für ein bestimmtes System gelten.
Braucht jedes Unternehmen einen KI-Beauftragten?
Die KI-Verordnung schreibt keine solche Funktion vor. Jemand muss aber das Inventar führen, Freigaben koordinieren und Ansprechpartner sein. In kleinen Unternehmen übernimmt das oft eine Person aus IT oder Geschäftsleitung zusätzlich zu ihren Aufgaben.
Was prüft ein KI-Audit?
Ein KI-Audit prüft, ob alle genutzten KI-Systeme erfasst und richtig eingestuft sind, ob Rechte, Freigaben und Protokolle wie vorgesehen funktionieren und ob Pflichten aus KI-Verordnung und DSGVO erfüllt sind. Dazu gehören auch Tests mit präparierten Inhalten und die Prüfung der Anbieter.
Wie hängen KI-Governance und KI-Richtlinie zusammen?
Die KI-Richtlinie macht die Governance für Beschäftigte verbindlich: erlaubte Werkzeuge, verbotene Daten, Freigaben für Agenten. Inventar, Risikoklassen und Audits sorgen dafür, dass sie zur Wirklichkeit passt.
Was droht bei Verstößen gegen die KI-Verordnung?
Artikel 99 sieht Geldbußen bis 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes für verbotene Praktiken vor. Für Verstöße gegen Betreiber- und Transparenzpflichten sind es bis 15 Millionen Euro oder 3 Prozent. Bei kleinen und mittleren Unternehmen gilt der niedrigere Betrag.
Quellen
- AI Risk Management Framework, NIST
- Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, NIST
- ISO/IEC 42001:2023 Information technology: Artificial intelligence, Management system, IEC Webstore
- Anthropic achieves ISO 42001 certification for responsible AI, Anthropic
- Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026, EUR-Lex
- Verordnung (EU) 2026/1744 (Digital-Omnibus zur KI), EUR-Lex
- Nur jedes zehnte Unternehmen gegen KI-gestützte Angriffe gerüstet (KI-Sicherheitsstudie 2026), BSI und TÜV-Verband
- Orientierungshilfe Künstliche Intelligenz und Datenschutz (Version 1.0, 6. Mai 2024), Datenschutzkonferenz (DSK)
- Betriebsverfassungsgesetz, § 90 Unterrichtungs- und Beratungsrechte, Bundesministerium der Justiz