KI-Risikomanagement: Risiken künstlicher Intelligenz systematisch erkennen und bewerten

KI-Risikomanagement ist der Kern jeder verantwortungsvollen KI-Nutzung. Ob ein Unternehmen einen Schreibassistenten einführt, Eingangsrechnungen automatisch prüfen lässt oder Bewerbungen vorfiltert: Jedes KI-System bringt Risiken mit, die sich nicht allein mit klassischen IT-Sicherheitsmaßnahmen erfassen lassen. Falsche Ergebnisse, verzerrte Entscheidungen, Manipulation durch präparierte Eingaben oder der Abfluss vertraulicher Daten gehören dazu.

Der Beitrag richtet sich an IT-, Risiko- und Compliance-Verantwortliche sowie an Geschäftsführungen in kleinen und mittleren Unternehmen. Er beschreibt einen praxistauglichen Prozess in fünf Schritten, ordnet die einschlägigen Rahmenwerke ein und zeigt an einem hypothetischen Beispiel, wie eine Bewertung aussehen kann.

Eine Unterscheidung vorweg, die im Alltag leicht verloren geht: Die Risikokategorien des AI Act sind eine rechtliche Einordnung. Interne Risikoklassen sind das Ergebnis Ihrer eigenen Bewertung. Beides hängt zusammen, ist aber nicht dasselbe. Stand der Angaben: 29. Oktober 2026.

Was KI-Risiken von klassischen IT-Risiken unterscheidet

Klassische IT-Risikoanalysen fragen vor allem nach Vertraulichkeit, Integrität und Verfügbarkeit. Bei KI kommen weitere Dimensionen hinzu:

• Datenabhängigkeit: Die Qualität der Ergebnisse hängt unmittelbar von den Trainings- und Arbeitsdaten ab. Verzerrte oder veraltete Daten führen zu verzerrten oder veralteten Ergebnissen.
• Nicht-deterministisches Verhalten: Dieselbe Eingabe kann unterschiedliche Ausgaben erzeugen. Fehler treten nicht reproduzierbar auf und sind schwerer zu testen.
• Neue Angriffsflächen: Prompt Injection, manipulierte Trainingsdaten oder gezielte Abfragen zur Extraktion von Informationen.
• Auswirkungen auf Menschen: Diskriminierung, intransparente Entscheidungen oder der Verlust von Kontrollmöglichkeiten betreffen Grundrechte, nicht nur Systeme.

Wie sich diese Unterschiede auf ein bestehendes Sicherheitsmanagement auswirken, vertieft der Beitrag zum Unterschied zwischen KI-Sicherheit und IT-Sicherheit.

Schritt 1: Risiken identifizieren

Die Identifikation ist der Schritt mit der größten Hebelwirkung. Was hier übersehen wird, taucht in keiner Bewertung auf. Bewährt hat sich, systematisch entlang von sechs Blickwinkeln zu fragen:

• Aufgabe: Was soll das System leisten, und was passiert, wenn es das nicht tut oder etwas anderes tut?
• Daten: Welche Daten fließen hinein, sind sie vollständig, aktuell und repräsentativ? Sind personenbezogene oder vertrauliche Daten betroffen?
• Modell: Welche bekannten Grenzen hat das Modell, wie verhält es sich bei ungewöhnlichen Eingaben, wie stabil sind die Ergebnisse?
• Nutzungskontext: Wer nutzt das System, mit welchem Vorwissen, unter welchem Zeitdruck? Wer ist von den Ergebnissen betroffen?
• Betrieb: Wo läuft das System, welche Schnittstellen und Berechtigungen hat es, welche Dienstleister sind beteiligt?
• Lebenszyklus: Was ändert sich über die Zeit, etwa durch Modell-Updates, neue Datenquellen oder eine schleichende Ausweitung des Einsatzzwecks?

Grundlage für diesen Schritt ist ein aktuelles KI-Register: Nur Systeme, die bekannt sind, können bewertet werden.

Schritt 2 und 3: Risiken analysieren und bewerten

In der Analyse wird für jedes identifizierte Risiko abgeschätzt, wie wahrscheinlich es eintritt und wie schwer die Folgen wären. Bei KI hilft es, die Folgen konkret zu beschreiben: Wer ist betroffen, wie schnell würde der Fehler bemerkt, ist er umkehrbar?

In der Bewertung werden die Ergebnisse mit vorher festgelegten Kriterien verglichen. Bewährt hat sich eine überschaubare Skala mit drei oder vier internen Risikoklassen, etwa niedrig, mittel, hoch, nicht akzeptabel. Wichtig ist, die Kriterien vorab zu definieren und für alle Systeme einheitlich anzuwenden. Sonst ist eine Bewertung nicht vergleichbar.

Hier liegt die häufigste Verwechslung. Der AI Act (Verordnung (EU) 2024/1689) kennt eigene Kategorien: verbotene Praktiken (Art. 5), Hochrisiko-Systeme (Art. 6 mit Anhang I und III), Systeme mit Transparenzpflichten (Art. 50) sowie alle übrigen Systeme. Diese Einordnung ergibt sich aus dem Einsatzbereich und ist rechtlich vorgegeben. Ihre interne Risikoklasse dagegen berücksichtigt zusätzlich Aspekte wie Geschäftskritikalität, Vertraulichkeit oder Reputationsfolgen.

Ein System kann deshalb nach dem AI Act keine besonderen Pflichten auslösen und intern trotzdem hoch bewertet sein. Umgekehrt sollte ein Hochrisiko-System nach AI Act intern nie als „niedrig“ eingestuft werden. Ich empfehle, beide Einstufungen getrennt zu dokumentieren.

Schritt 4: Maßnahmen festlegen und Restrisiken akzeptieren

Für jedes Risiko oberhalb der Akzeptanzschwelle werden Maßnahmen festgelegt. Sie lassen sich in drei Gruppen ordnen:

• Technisch: Eingabe- und Ausgabefilter, harte Grenzen außerhalb des Modells, eingeschränkte Berechtigungen, Protokollierung, Tests mit gezielt schwierigen Eingaben.
• Organisatorisch: klare Einsatzregeln, Freigabeprozesse, Schulung, Verträge mit Dienstleistern.
• Menschlich: Prüfung von Ergebnissen, Eskalationswege, Stichproben. Wie solche Kontrolle wirksam bleibt, beschreibt der Beitrag zur menschlichen Aufsicht bei KI.

Nach den Maßnahmen bleibt ein Restrisiko. Es muss bewusst bewertet und von einer dazu befugten Person akzeptiert werden, typischerweise der Geschäftsführung oder einer benannten Risikoverantwortlichen. Ein nicht akzeptables Restrisiko bedeutet: weitere Maßnahmen, eingeschränkter Einsatz oder Verzicht auf das System.

Für Hochrisiko-Systeme ist ein solches Vorgehen Pflicht, und zwar für den Anbieter. Art. 9 AI Act verlangt ein Risikomanagementsystem als kontinuierlichen, iterativen Prozess über den gesamten Lebenszyklus, mit Identifikation, Analyse und Bewertung der bekannten und vernünftigerweise vorhersehbaren Risiken für Gesundheit, Sicherheit und Grundrechte sowie gezielten Maßnahmen. Restrisiken müssen nach Art. 9 Abs. 5 als vertretbar beurteilt werden. Geschäftliche Risiken wie Reputation oder Vertraulichkeit von Geschäftsdaten regelt Art. 9 nicht, sie gehören in Ihre interne Bewertung. Anwendbar ist das für eigenständige Hochrisiko-Systeme (Anhang III) ab dem 2. Dezember 2027 und für Produkte nach Anhang I ab dem 2. August 2028.

Schritt 5: Überwachen und regelmäßig überprüfen

KI-Risiken sind nicht statisch. Modelle werden aktualisiert, Daten verändern sich, Nutzer finden neue Einsatzzwecke. Eine einmalige Bewertung reicht deshalb nicht. Bewährt haben sich:

• Anlassbezogene Neubewertung bei Modellwechsel, neuen Datenquellen, erweiterten Berechtigungen oder neuem Zweck.
• Regelmäßige Überprüfung, etwa jährlich, bei hoher Risikoklasse häufiger.
• Kennzahlen, die frühe Hinweise geben: Fehler- und Korrekturquoten, Beschwerden, Auffälligkeiten in Protokollen.
• Rückkopplung aus Vorfällen: Jeder Fehler mit relevanter Wirkung führt zur Überprüfung der Bewertung.

Rahmenwerke für das KI-Risikomanagement: ISO/IEC 23894, ISO/IEC 42001, NIST AI RMF

Für die Methodik müssen Sie nicht bei null anfangen. Drei Rahmenwerke sind besonders verbreitet, alle freiwillig:

• ISO/IEC 23894:2023 ist ein Leitfaden (Guidance) für das Risikomanagement von KI. Er richtet sich an Organisationen, die KI entwickeln, bereitstellen oder nutzen, und beschreibt, wie sich KI-spezifische Risiken managen und in bestehende Abläufe integrieren lassen. Die Norm gibt Empfehlungen, stellt aber keine Anforderungen auf, an denen eine Organisation formal gemessen wird.
• ISO/IEC 42001:2023 legt Anforderungen an ein KI-Managementsystem fest und bietet einen strukturierten Rahmen, Risiken und Chancen von KI zu steuern. Sie ist keine harmonisierte Norm zum AI Act und begründet keine Vermutung der Konformität mit der Verordnung. Mehr dazu im Beitrag EU AI Act und ISO 42001.
• NIST AI Risk Management Framework 1.0 des US-amerikanischen National Institute of Standards and Technology gliedert das Risikomanagement in die Funktionen Govern, Map, Measure und Manage. Ergänzend gibt es seit Juli 2024 das Profil NIST AI 600-1 für generative KI. Laut NIST wird das Rahmenwerk im Rahmen des White House AI Action Plan überarbeitet; eine Neufassung lag bis Ende Oktober 2026 nicht vor.

Wer bereits ein ISMS nach ISO/IEC 27001 betreibt, kann den vorhandenen Risikoprozess um KI-spezifische Kriterien erweitern, statt einen zweiten aufzubauen.

Ein Beispiel zur Veranschaulichung

Ein hypothetischer Fall: Ein mittelständischer IT-Dienstleister möchte eingehende Bewerbungen mit einem KI-System vorsortieren lassen, das Lebensläufe analysiert und eine Rangfolge vorschlägt.

Regulatorische Einordnung: KI-Systeme, die für die Einstellung oder Auswahl von Personen bestimmt sind, insbesondere zum Analysieren und Filtern von Bewerbungen und zur Bewertung von Bewerbern, sind in Anhang III Nr. 4 AI Act genannt. Ein solches System kommt damit als Hochrisiko-System in Betracht, mit Betreiberpflichten nach Art. 26 ab dem 2. Dezember 2027, darunter die Information von Beschäftigten und ihrer Vertretung vor der Einführung am Arbeitsplatz. Die Ausnahmen nach Art. 6 Abs. 3 gelten nicht, wenn das System ein Profiling natürlicher Personen vornimmt, was bei der Bewertung von Bewerbenden naheliegt. Die Einordnung ist im Einzelfall rechtlich zu prüfen. Zusätzlich ist Art. 22 DSGVO zu beachten.

Identifizierte Risiken (Auswahl): Benachteiligung bestimmter Gruppen durch verzerrte Trainingsdaten, Übernahme der Rangfolge ohne eigene Prüfung, Verarbeitung sensibler Angaben aus Lebensläufen, fehlende Nachvollziehbarkeit gegenüber Bewerbenden.

Interne Bewertung: hoch, wegen erheblicher Auswirkungen auf Personen und rechtlicher Risiken.

Maßnahmen: keine automatische Absage, nur Vorschlag mit Begründung; Prüfung jeder Bewerbung durch eine Person; regelmäßige Auswertung der Ergebnisse nach Auffälligkeiten; Datenschutz-Folgenabschätzung; Klärung der Anbieterinformationen.

Entscheidung: Einsatz nur mit diesen Maßnahmen, Restrisiko durch die Geschäftsführung akzeptiert, Überprüfung nach sechs Monaten. Alternativ wäre der Verzicht auf die Rangfolge und die Nutzung nur zur formalen Vollständigkeitsprüfung zu erwägen.

Was Sie jetzt tun können

1. Bewertungskriterien festlegen: Eintrittswahrscheinlichkeit, Schadensausmaß und Akzeptanzschwelle einheitlich definieren.
2. Mit den wichtigsten Systemen beginnen: zuerst die Anwendungen mit Auswirkungen auf Personen, Finanzen oder vertrauliche Daten.
3. Sechs Blickwinkel nutzen: Aufgabe, Daten, Modell, Nutzungskontext, Betrieb, Lebenszyklus.
4. AI-Act-Kategorie und interne Klasse getrennt dokumentieren.
5. Restrisiken formal akzeptieren lassen, mit Name, Datum und Überprüfungstermin.
6. Vorhandene Prozesse nutzen: KI-Risiken in ein bestehendes Risiko- oder Sicherheitsmanagement integrieren.

Wenn Sie dabei Unterstützung wünschen, begleitet KI Security Audit den Aufbau von KI-Risikomanagement und KI-Governance.

Fazit

KI-Risikomanagement ist kein einmaliges Gutachten, sondern ein wiederkehrender Prozess: identifizieren, analysieren, bewerten, behandeln, überwachen. Für Anbieter von Hochrisiko-Systemen schreibt der AI Act diesen Prozess vor, für alle anderen Unternehmen ist er gute Praxis mit klarer Methodik aus ISO/IEC 23894, ISO/IEC 42001 und dem NIST AI RMF. Wer interne Risikoklassen und die Kategorien des AI Act sauber trennt, schafft eine Bewertung, die rechtlich und betrieblich trägt.

Quellen

• Verordnung (EU) 2024/1689 (KI-Verordnung), Amtsblatt der Europäischen Union
• AI Act, Artikel 9: Risikomanagementsystem, AI Act Service Desk, Europäische Kommission
• AI Act, Artikel 6: Einstufungsvorschriften für Hochrisiko-KI-Systeme, AI Act Service Desk, Europäische Kommission
• AI Act, Anhang III: Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2, AI Act Service Desk, Europäische Kommission
• AI Act – Regulatory framework for AI, Europäische Kommission
• AI Risk Management Framework, National Institute of Standards and Technology (NIST)
• ISO/IEC 42001:2023 – Artificial intelligence – Management system, ISO
• ISO/IEC 23894:2023 – Artificial intelligence – Guidance on risk management, ISO
• NIST AI 100-1: Artificial Intelligence Risk Management Framework (AI RMF 1.0), National Institute of Standards and Technology (NIST)
• Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Amtsblatt der Europäischen Union