KI sicher im Unternehmen einsetzen: Governance, Risiko und Kontrolle

KI kann Routinearbeit abnehmen, Texte vorbereiten, Anfragen sortieren und Daten auswerten. Wer KI sicher im Unternehmen einsetzen will, muss aber mehr klären als die Wahl des richtigen Werkzeugs: Wer entscheidet über den Einsatz? Welche Risiken entstehen? Wie werden Ergebnisse kontrolliert? Und wie fügt sich das in bestehende Abläufe ein?

Dieser Leitfaden gibt einen Überblick über die Bausteine, die dafür zusammenwirken müssen. Er beschreibt jeden Baustein kurz und verweist für die Vertiefung auf einen eigenen Beitrag. Der eigentliche Mehrwert liegt im Zusammenhang: Welche Bausteine hängen voneinander ab, und in welcher Reihenfolge gehen Sie sinnvoll vor?

Der Leitfaden richtet sich an Geschäftsführungen sowie IT- und Compliance-Verantwortliche in kleinen und mittleren Unternehmen, die KI bereits nutzen oder einführen wollen.

Warum ein sicherer KI-Einsatz eine Reihenfolge braucht

KI-Sicherheit umfasst zwei Seiten. Zum einen die Sicherheit des Systems gegen Angriffe, etwa durch manipulierte Eingaben. Zum anderen die Verlässlichkeit der Ergebnisse, etwa wenn ein Modell plausibel klingende, aber falsche Antworten liefert. Beides lässt sich nicht allein mit klassischer IT-Sicherheit beherrschen.

Viele Maßnahmen setzen andere voraus. Technische Schutzmaßnahmen lassen sich nur planen, wenn bekannt ist, welche Systeme im Einsatz sind. Eine Risikobewertung braucht eine verantwortliche Person, die über Maßnahmen entscheidet. Wer mit der Technik beginnt und die Organisation auslässt, schützt deshalb oft das Falsche.

Wie Sie KI sicher im Unternehmen einsetzen: die sechs Bausteine

1. Verantwortung der Leitung und verbindliche Regeln

Ob und wofür KI eingesetzt wird, ist eine unternehmerische Entscheidung. Die Geschäftsleitung legt den Rahmen fest, benennt Zuständigkeiten und setzt eine KI-Richtlinie in Kraft. Ohne diesen Auftrag fehlt allen weiteren Bausteinen die Verbindlichkeit.

Wie viel Organisation dafür nötig ist und warum es keine eigene Abteilung braucht, erläutert der Beitrag KI-Governance im Mittelstand.

2. Überblick und Vorab-Prüfung

Steuern lässt sich nur, was bekannt ist. Ein zentrales Verzeichnis aller KI-Anwendungen hält fest, welche Systeme wofür und mit welchen Daten genutzt werden. Wie ein solches Verzeichnis aufgebaut ist, zeigt der Beitrag zum KI-Register.

Neue Anwendungen sollten vor der Einführung geprüft werden: Welches Problem sollen sie lösen, wie kritisch ist die Aufgabe, welche Alternativen gibt es? Die passenden Fragen enthält die Checkliste Fragen vor der KI-Einführung.

3. Risiken erkennen, bewerten und behandeln

KI bringt eigene Risiken mit: Abhängigkeit von Datenqualität, nicht vollständig vorhersagbares Verhalten, Verzerrungen und neue Angriffswege. Ein strukturiertes Risikomanagement identifiziert diese Risiken je Anwendung, bewertet sie und legt Maßnahmen fest. Den Ablauf beschreibt der Beitrag zum KI-Risikomanagement.

Für Anbieter von Hochrisiko-KI ist das Risikomanagementsystem nach Art. 9 AI Act ausdrücklich Bestandteil ihres Qualitätsmanagementsystems (Art. 17 Abs. 1 Buchst. g). Für Betreiber eingekaufter Standardlösungen ist eine Risikobewertung meist keine ausdrückliche Pflicht aus dem AI Act, aber gute Praxis und häufig aus Datenschutzgründen ohnehin erforderlich.

4. Technische und organisatorische Schutzmaßnahmen

Zu den technischen Maßnahmen gehören eingeschränkte Zugriffsrechte, Prüfung von Eingaben und Ausgaben, Protokollierung und harte Grenzen, die nicht nur in natürlicher Sprache formuliert sind. Welche Angriffe und Schwächen dabei zu berücksichtigen sind, katalogisiert der Beitrag zu KI-Bedrohungen, unter anderem mit Bezug auf die OWASP Top 10 für LLM-Anwendungen.

Besondere Sorgfalt verlangen KI-Agenten, die selbstständig Werkzeuge bedienen, E-Mails versenden oder Daten verändern. Welche Leitplanken hier nötig sind, vertieft der Beitrag zur Sicherheit von KI-Agenten. Organisatorisch gehören Schulungen und klare Meldewege für Auffälligkeiten dazu.

5. Menschliche Aufsicht und Nachweise

KI kann Entscheidungen vorbereiten, die Verantwortung bleibt bei Menschen. Für Betreiber von Hochrisiko-Systemen wird die menschliche Aufsicht durch Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis ab dem 2. Dezember 2027 zur Pflicht (Art. 26 Abs. 2 AI Act). Auch außerhalb dieser Pflicht sollte feststehen, wann ein Mensch Ergebnisse prüft oder freigibt. Formen, Rechtsgrundlagen und Gestaltung der Aufsicht erläutert der Beitrag zur menschlichen Aufsicht.

Nachweise machen sichtbar, dass Risiken bewertet, Maßnahmen umgesetzt und Ergebnisse kontrolliert wurden. Welche Dokumentation je System Pflicht und welche freiwillig sinnvoll ist, zeigt der Beitrag zur KI-Dokumentation.

6. Einbettung in bestehende Strukturen

Wer bereits ein Informationssicherheits-, Datenschutz- oder Notfallmanagement betreibt, sollte KI dort einbinden, statt ein Parallelsystem aufzubauen. Risikobewertung, Lieferantensteuerung, Vorfallbehandlung und interne Audits existieren dann nur einmal. Wie ein gemeinsamer Steuerungsrahmen aussieht, beschreibt der Beitrag Integriertes Managementsystem: NIS2, DSGVO und AI Act verbinden.

Wie die Bausteine zusammenhängen

Die Bausteine bilden einen Kreislauf. Die Leitung setzt den Rahmen (1), der Überblick zeigt, was gesteuert werden muss (2), die Risikobewertung bestimmt, welche Maßnahmen nötig sind (3), Schutzmaßnahmen und Aufsicht setzen diese um (4 und 5), und die Einbettung sorgt dafür, dass alles im Alltag überprüft und verbessert wird (6). Die Ergebnisse der Überprüfung fließen wieder an die Leitung zurück.

Zwei Abhängigkeiten werden oft übersehen. Erstens: Ohne Verzeichnis bleibt jede Risikobewertung lückenhaft, weil nicht erfasste Anwendungen nicht bewertet werden. Zweitens: Ohne benannte Verantwortung bleiben Maßnahmen Empfehlungen, weil niemand über Ressourcen und Prioritäten entscheidet.

Für alle Unternehmen, die als Anbieter oder Betreiber mit KI-Systemen arbeiten, gilt seit dem 2. Februar 2025 Art. 4 AI Act: Sie müssen Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Kompetenzniveau jeder einzelnen Person müssen sie nach der durch den AI-Omnibus geänderten Fassung nicht garantieren. Sie berührt jeden Baustein: Regeln, Risiken und Aufsicht funktionieren nur, wenn die Beteiligten sie verstehen.

Wo Sie einsteigen: nach Ausgangslage

Nicht jedes Unternehmen beginnt bei null. Sinnvoll ist, den Einstieg nach dem eigenen Stand zu wählen:

• Es gibt weder Zuständigkeit noch Überblick: Beginnen Sie mit Baustein 1 und 2. Erst wenn feststeht, wer entscheidet und welche KI genutzt wird, lohnt sich jede weitere Arbeit.
• Überblick und Regeln sind vorhanden, Risiken aber nicht bewertet: Setzen Sie bei Baustein 3 an, und zwar zuerst bei Anwendungen mit personenbezogenen Daten, Außenwirkung oder Handlungsbefugnis.
• KI soll Entscheidungen vorbereiten oder selbst handeln: Baustein 4 und 5 haben dann Vorrang, insbesondere harte technische Grenzen und eine festgelegte menschliche Kontrolle.
• Ein ISMS oder Datenschutzmanagement läuft bereits: Planen Sie Baustein 6 von Anfang an mit, damit keine Doppelstrukturen entstehen.

Den vollständigen Ablauf mit Ergebnissen je Phase beschreibt der Beitrag KI-Governance aufbauen. Wenn Sie Ihren Stand zunächst einordnen lassen möchten, unterstütze ich Sie gern bei der Bewertung und dem Aufbau Ihrer KI-Governance.

Fazit

KI sicher einzusetzen ist vor allem eine Frage der Organisation. Technische Schutzmaßnahmen sind unverzichtbar, wirken aber nur, wenn Verantwortung, Überblick und Risikobewertung vorausgehen. Wer die Bausteine in einer sinnvollen Reihenfolge angeht und in vorhandene Strukturen einbettet, kommt mit überschaubarem Aufwand zu einem kontrollierten KI-Einsatz. Welche gesetzlichen Pflichten im Einzelfall gelten, hängt von Rolle und Einsatzzweck ab und sollte im Zweifel rechtlich geprüft werden.

Quellen

• Regulatory framework on AI (AI Act), Europäische Kommission
• Artikel 4 KI-Kompetenz, AI Act (konsolidierte Fassung), AI Act Service Desk der Europäischen Kommission
• Artikel 17 Qualitätsmanagementsystem, AI Act Service Desk der Europäischen Kommission
• Artikel 26 Pflichten der Betreiber von Hochrisiko-KI-Systemen, AI Act Service Desk der Europäischen Kommission
• Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden, Bundesamt für Sicherheit in der Informationstechnik (BSI)
• OWASP Top 10 for LLM Applications 2026, OWASP GenAI Security Project
• AI Risk Management Framework, National Institute of Standards and Technology (NIST)