KI-Governance im Mittelstand: Braucht es eine eigene KI-Abteilung?

Ein Chat-Assistent im Vertrieb, ein Übersetzungsdienst im Einkauf, eine KI-Funktion in der Buchhaltungssoftware: In vielen Betrieben ist KI im Alltag angekommen, oft ohne dass jemand den Überblick hat. Damit stellt sich die Frage nach der passenden KI-Governance im Mittelstand, also nach den Regeln, Zuständigkeiten und Kontrollen, mit denen ein Unternehmen seinen KI-Einsatz steuert. Viele Geschäftsführungen befürchten, dafür eine eigene Abteilung oder neue Stellen schaffen zu müssen.

Die kurze Antwort lautet: Der EU AI Act schreibt keine KI-Abteilung vor. Was er verlangt, hängt davon ab, welche Rolle ein Unternehmen einnimmt und wofür es KI einsetzt. Dieser Beitrag zeigt, wie Sie den Bedarf an Governance nach Einsatz und Risiko abstufen, warum ein reines Verbot selten trägt und wie sich die Aufgaben auf vorhandene Funktionen verteilen lassen. Stand der Angaben: 29. Oktober 2026.

Wie Sie eine Governance anschließend Schritt für Schritt aufbauen, beschreibe ich im Beitrag KI-Governance aufbauen.

Was der AI Act organisatorisch verlangt und was nicht

Die KI-Verordnung (VO (EU) 2024/1689, kurz AI Act) knüpft ihre Pflichten an Rollen (Begriffe in Art. 3). Die wichtigsten sind der Anbieter, der ein KI-System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt, und der Betreiber, der ein KI-System in eigener Verantwortung verwendet, sofern das nicht rein privat geschieht. Die meisten mittelständischen Unternehmen sind Betreiber eingekaufter Lösungen.

Eine bestimmte Organisationsform schreibt die Verordnung nicht vor. Sie verlangt keine KI-Abteilung, keinen „KI-Beauftragten“ als Pflichtfunktion und keine eigene KI-Security-Rolle. Gefordert sind je nach Rolle und Risiko bestimmte Ergebnisse: etwa dass verbotene Praktiken unterbleiben (Art. 5, seit 2. Februar 2025), dass Maßnahmen zur KI-Kompetenz der Beschäftigten ergriffen werden (Art. 4, seit 2. Februar 2025) oder dass Transparenzpflichten erfüllt werden (Art. 50, seit 2. August 2026). Wie ein Unternehmen das organisiert, bleibt ihm überlassen.

Hinzu kommt: KI-Governance ist kein reines IT-Sicherheitsthema. Sie berührt Datenschutz, Arbeitsrecht, Haftung, Qualität und Kundenkommunikation. Deshalb gehört sie auch nicht ausschließlich in die IT.

„Wir nutzen keine KI“: Warum diese Annahme selten trägt

Ein Unternehmen, das tatsächlich keine KI-Systeme entwickelt oder beruflich einsetzt, ist weder Anbieter noch Betreiber. Die Pflicht aus Art. 4, Maßnahmen zur KI-Kompetenz zu ergreifen, richtet sich ausdrücklich an Anbieter und Betreiber und greift dann nicht. Eine eigene KI-Governance-Struktur ist in diesem Fall rechtlich nicht vorgeschrieben.

Die Frage ist allerdings, wie belastbar die Annahme ist. KI-Funktionen stecken in vielen Office-Paketen, Suchmaschinen, Übersetzungsdiensten, CRM-Systemen und Telefonanlagen. Dazu kommt Schatten-KI: Beschäftigte nutzen frei zugängliche KI-Dienste für dienstliche Aufgaben, ohne dass dies freigegeben oder bekannt ist. Typischer Auslöser ist, dass es im Unternehmen kein geeignetes Angebot gibt. Das Risiko liegt weniger im Werkzeug selbst als in den Daten: Kundendaten, Angebote oder interne Unterlagen landen in Diensten, deren Verarbeitung niemand geprüft hat.

Ob eine solche geduldete Nutzung bereits eine Betreiberrolle begründet, ist eine Auslegungsfrage, die im Zweifel rechtlich geprüft werden sollte. Unabhängig davon ist sie ein Datenschutz- und Informationssicherheitsproblem.

Verbieten oder geprüfte Werkzeuge bereitstellen?

Ein pauschales Verbot wirkt auf den ersten Blick sicher. Es verhindert die Nutzung aber nur auf dem Papier, solange Beschäftigte einen Bedarf haben und auf private Geräte ausweichen können. Für einzelne Anwendungsfälle, etwa die Verarbeitung besonders schutzbedürftiger Daten, kann ein Verbot trotzdem richtig sein.

Bewährt hat sich ein anderer Weg: wenige geprüfte Werkzeuge bereitstellen, klare Spielregeln dazu formulieren und die Beschäftigten sensibilisieren. Dann gibt es weniger Anlass, auf ungeprüfte Dienste auszuweichen, und das Unternehmen weiß, welche KI tatsächlich im Einsatz ist.

KI-Governance im Mittelstand nach Einsatz und Risiko staffeln

Der Aufwand für Governance sollte dem tatsächlichen Einsatz folgen. Eine einfache Einteilung in drei Stufen hilft bei der Orientierung. Wichtig: Diese Stufen sind eine interne Arbeitshilfe, keine Risikoklassen des AI Act.

Stufe	Typische Lage	Gesetzlicher Rahmen (Auswahl)	Bewährte Organisation
1 – kein Einsatz	keine KI-Systeme im Betrieb, Annahme bestätigt	keine KI-spezifischen Pflichten aus der Rolle	regelmäßig prüfen, ob die Annahme noch stimmt; Regel zum Umgang mit frei verfügbaren Diensten
2 – überschaubarer Einsatz	Assistenzwerkzeuge, KI-Funktionen in Standardsoftware, ggf. Website-Chat	Art. 4 KI-Kompetenz, Art. 5 Verbote, ggf. Art. 50 Transparenz; daneben DSGVO	Aufgaben in vorhandene Funktionen integrieren, eine koordinierende Person, Freigabe vor Einführung
3 – Hochrisiko-KI	Einsatz in Bereichen nach Anhang III, etwa Personalauswahl oder Kreditwürdigkeitsprüfung	zusätzlich Betreiberpflichten nach Art. 26, ggf. Art. 27; Anwendung ab 2. Dezember 2027	formale Zuständigkeiten, dokumentierte Aufsicht, enge Abstimmung mit Datenschutz und Recht

Für die meisten mittelständischen Unternehmen ist Stufe 2 die realistische Ausgangslage. Ein kleiner Rahmen darf trotzdem nicht beliebig sein: Auch ein überschaubarer Einsatz braucht eine benannte Zuständigkeit, eine Freigabe vor der Einführung und die Prüfung von Datenschutz und Informationssicherheit.

Was bei Hochrisiko-KI hinzukommt

Wer ein Hochrisiko-System nach Anhang III betreibt, muss es ab dem 2. Dezember 2027 unter anderem gemäß Betriebsanleitung nutzen, die menschliche Aufsicht kompetenten und befugten Personen übertragen, den Betrieb überwachen und Protokolle mindestens sechs Monate aufbewahren (Art. 26). Für KI-Systeme, die als Produkt oder Sicherheitsbauteil unter Anhang I fallen, gelten die Pflichten ab dem 2. August 2028.

Eine Grundrechte-Folgenabschätzung nach Art. 27 betrifft nur einen begrenzten Kreis von Betreibern: Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Risikobewertung in der Lebens- und Krankenversicherung (Anhang III Nr. 5 b und c). Eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO kann unabhängig davon erforderlich sein.

Wann aus dem Betreiber ein Anbieter wird

Art. 25 regelt einen Rollenwechsel, der im Mittelstand leicht übersehen wird. Ein Betreiber, Händler, Einführer oder sonstiger Dritter gilt selbst als Anbieter eines Hochrisiko-Systems, wenn er

• ein bereits in Verkehr gebrachtes Hochrisiko-System mit eigenem Namen oder eigener Marke versieht (vorbehaltlich abweichender vertraglicher Regelungen),
• ein solches System wesentlich verändert und es dabei hochriskant bleibt oder
• die Zweckbestimmung eines bisher nicht hochriskanten Systems so ändert, dass es zu einem Hochrisiko-System wird.

Dann treffen ihn die deutlich umfangreicheren Anbieterpflichten nach Art. 16, darunter ein Qualitätsmanagementsystem nach Art. 17. Wer eingekaufte KI anpasst, umbenennt oder für neue Zwecke einsetzt, sollte diese Frage vorab klären lassen.

Wer im Unternehmen was verantwortet

Ohne eigene Abteilung lässt sich KI-Governance auf Funktionen verteilen, die es in den meisten Unternehmen bereits gibt:

• Geschäftsleitung: legt fest, wofür KI eingesetzt werden darf, gibt die Richtlinie frei und trägt die Gesamtverantwortung.
• Koordinierende Person für KI: hält den Überblick, pflegt das Verzeichnis der eingesetzten Systeme, organisiert Freigaben und Schulungen. Das ist eine Aufgabe, keine Vollzeitstelle.
• Fachbereiche: verantworten den jeweiligen Anwendungsfall, den fachlichen Nutzen und die Kontrolle der Ergebnisse.
• IT und Informationssicherheit: prüfen Zugriffe, Schnittstellen, Datenflüsse und technische Schutzmaßnahmen.
• Datenschutz: bewertet die Verarbeitung personenbezogener Daten, ggf. mit Datenschutz-Folgenabschätzung.

Entscheidend ist ein verbindlicher Freigabeweg: Neue KI-Werkzeuge werden vor der Nutzung angemeldet, kurz geprüft und ausdrücklich freigegeben oder abgelehnt. Was ein solches Verzeichnis enthalten sollte, erläutere ich im Beitrag zum KI-Register, die Inhalte einer Richtlinie im Beitrag KI-Richtlinie und Führungsverantwortung.

Vorhandene Managementsysteme nutzen statt Parallelstrukturen

Viele Unternehmen haben bereits ein Informationssicherheitsmanagement, ein Datenschutzmanagement oder ein Qualitätsmanagement. Dort gibt es Risikobewertungen, Freigabeprozesse, Schulungen und interne Prüfungen. KI-Anforderungen lassen sich in diese Abläufe einhängen, statt einen zweiten Apparat aufzubauen. Das spart Doppelarbeit und hält Zuständigkeiten zusammen.

Die KI-spezifischen Pflichten bleiben dabei vollständig bestehen. Wie KI-Management und Informationssicherheit technisch-organisatorisch zusammenspielen, zeigt der Beitrag KI-Managementsystem und ISMS verbinden.

Was Sie jetzt tun können

1. Einsatz grob erfassen: Fragen Sie in allen Bereichen nach, welche KI-Werkzeuge und KI-Funktionen genutzt werden, auch inoffiziell. Für die Einordnung genügt zunächst eine Rohliste.
2. Rolle bestimmen: Klären Sie für jedes System, ob Ihr Unternehmen Betreiber oder (etwa durch Anpassung oder eigene Marke) möglicherweise Anbieter ist.
3. Stufe einordnen: Ordnen Sie Ihren Einsatz einer der drei Stufen zu und prüfen Sie, ob ein Anwendungsfall in einen Bereich nach Anhang III fällt.
4. Zuständigkeit benennen: Bestimmen Sie eine koordinierende Person und legen Sie fest, wer KI-Werkzeuge freigibt.
5. Geprüfte Alternativen anbieten: Stellen Sie für häufige Aufgaben ein freigegebenes Werkzeug mit klaren Regeln bereit, bevor Sie andere Dienste untersagen.
6. KI-Kompetenz sichern: Planen Sie Unterweisungen, die zum jeweiligen Einsatz passen.

Wenn Sie dabei Unterstützung suchen, begleite ich Sie gern beim Aufbau einer passenden KI-Governance.

Fazit

Eine eigene KI-Abteilung braucht der Mittelstand in aller Regel nicht. Ob KI-Governance wirkt, zeigt sich daran, ob jeder weiß, wer über ein neues Werkzeug entscheidet, und ob die Regeln auch bei Termindruck eingehalten werden. Der Umfang richtet sich nach Rolle und Risiko: Wer nur Assistenzwerkzeuge nutzt, kommt mit wenigen, gut integrierten Bausteinen aus. Wer Hochrisiko-KI betreibt oder eingekaufte Systeme verändert, braucht deutlich mehr Struktur und sollte die Rollenfrage frühzeitig klären. Ob und in welchem Umfang ein Unternehmen betroffen ist, hängt vom Einzelfall ab und sollte im Zweifel rechtlich geprüft werden.

Quellen

• Regulatory framework on AI (AI Act), Europäische Kommission
• Artikel 3 Begriffsbestimmungen, AI Act (konsolidierte Fassung), AI Act Service Desk der Europäischen Kommission
• Artikel 4 KI-Kompetenz, AI Act Service Desk der Europäischen Kommission
• Artikel 25 Verantwortlichkeiten entlang der KI-Wertschöpfungskette, AI Act Service Desk der Europäischen Kommission
• Artikel 26 Pflichten der Betreiber von Hochrisiko-KI-Systemen, AI Act Service Desk der Europäischen Kommission
• Artikel 27 Grundrechte-Folgenabschätzung, AI Act Service Desk der Europäischen Kommission
• Anhang III Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2, AI Act Service Desk der Europäischen Kommission