KI unter Kontrolle.
Nicht auf dem Papier.

Die häufigste Governance-Reihenfolge in KI-Projekten sieht ungefähr so aus: Erst bauen. Dann produktiv gehen. Dann fragt der Wirtschaftsprüfer nach. Dann anfangen zu dokumentieren. Zu spät.

Governance, die später ergänzt wird, ist teuer und oft lückenhaft. Governance, die von Anfang an mitgeplant wird, ist im Betrieb kaum sichtbar, weil sie in Architektur und Abläufe eingebaut ist. Das ist keine Stilfrage, sondern wirtschaftlich relevant: Compliance nachzurüsten kostet in der Regel mehr als sie früh mitzudenken.

Für den regulierten Mittelstand in Gesundheitswesen, Finanz, öffentlichem Sektor oder Energie kommt dazu: „Später fertig werden“ ist oft keine Option. Ein Audit kann das gesamte System stilllegen. Eine Datenschutzbeschwerde kann ein Projekt beenden.

Wir denken Governance in vier Schichten: von der konkreten Architektur bis zur strategischen Verantwortung. Jede Schicht hat eigene Werkzeuge und eigene Fallstricke.

Der EU AI Act ist seit August 2024 in Kraft, die meisten Pflichten gelten schrittweise bis 2026. In der Praxis relevant für den Mittelstand sind vor allem drei Dinge:

Einstufung der Systeme

Der AI Act klassifiziert Systeme in Risikoklassen. Die meisten typischen Anwendungsfälle im Mittelstand, etwa interne Suche, Dokumentenextraktion oder Support-Assistenz, fallen häufig in die unteren Risikokategorien und erfordern vor allem Transparenz und Dokumentation. Systeme, die in HR-Entscheidungen, Kreditvergabe oder kritischer Infrastruktur eingesetzt werden, fallen in die Hochrisiko-Kategorie mit deutlich höheren Pflichten.

Pflichten für Betreiber

Wer ein KI-System im Unternehmen einsetzt, hat Pflichten, auch wenn es extern gebaut wurde: Risikoprüfung vor Einführung, Überwachung im Betrieb, menschliche Aufsicht an kritischen Punkten, Protokollierung von Entscheidungen und Schulung der Nutzer. Das betrifft nicht nur KI-Abteilungen, sondern jede Fachabteilung, die ChatGPT oder Copilot nutzt.

Was sofort zu tun ist

Drei Dinge, die jede Organisation unabhängig von ihrer KI-Reife heute machen sollte: Bestandsaufnahme aller KI-Werkzeuge, die bereits im Einsatz sind (Shadow-AI inklusive). Eine Mindestregel, die festlegt, welche Daten überhaupt mit externen KI-Diensten geteilt werden dürfen. Ein benanntes Rollenverständnis: Wer ist im Haus für KI-Fragen ansprechbar? Alles Weitere lässt sich darauf aufbauen.

Die DSGVO ist älter als der aktuelle KI-Hype, aber sie gilt trotzdem. In der Praxis werden dabei drei Punkte regelmäßig unterschätzt:

„Der Moment, in dem ein Mitarbeiter personenbezogene Daten in ein öffentliches LLM kopiert, ist eine Datenübermittlung in ein Drittland mit allen Folgen, die das hat.“

Auftragsverarbeitung

Wer ein KI-System nutzt, das personenbezogene Daten verarbeitet, braucht einen Auftragsverarbeitungsvertrag mit dem Anbieter. Bei den großen KI-Anbietern gibt es solche Verträge mittlerweile. Aber nicht jede Konfiguration ist DSGVO-konform. Besonders Training auf eingegebenen Daten, Datenresidenz außerhalb der EU und Speicherdauer sind die kritischen Punkte.

Zweckbindung

Daten, die für einen bestimmten Zweck erhoben wurden, dürfen nicht einfach für einen anderen Zweck in ein KI-System eingespeist werden. Wer Kundendaten für den Versand erhebt, darf sie nicht ohne Weiteres zum Training eines Empfehlungs-Systems nutzen. Das klingt einfach, wird aber in der Praxis täglich verletzt.

Betroffenenrechte

Wenn ein KI-System über einen Menschen eine Entscheidung trifft oder maßgeblich vorbereitet, muss diese Entscheidung erklärbar und anfechtbar sein. Das ist bei LLMs anspruchsvoll und einer der Gründe, warum Hochrisiko-Systeme so viel Dokumentation brauchen.

Während Governance-Pflichten und AI-Act-Fragen in Besprechungen diskutiert werden, passiert in der Realität etwas anderes: Mitarbeiter nutzen KI-Werkzeuge ohne Wissen der IT. Das nennt sich Shadow-AI und ist heute in fast jedem Mittelständler ein relevantes Risiko.

Typische Szenarien

• Vertragsentwürfe im Browser-LLM: Ein Mitarbeiter kopiert einen sensiblen Vertrag in ChatGPT, um ihn „kurz durchzugehen“. Die Daten wurden geteilt und bleiben je nach Dienst teilweise dauerhaft gespeichert.
• Chrome-Erweiterungen mit KI-Funktionen: Viele Produktivitätswerkzeuge lesen mittlerweile den gesamten Seiteninhalt und geben ihn an externe Modelle weiter. Oft ist das den Nutzern nicht klar.
• Code-Assistenten mit Firmen-Code: Entwickler nutzen KI-Werkzeuge mit proprietärem Code. Je nach Konfiguration fließen Teile des Codes in Trainingsdaten oder verbleiben in Chatverläufen.
• HR-„Automatisierung“ ohne Freigabe: Mitarbeiter automatisieren eigene Aufgaben mit KI-Werkzeugen. Bewerberdaten, Gesprächsnotizen und interne Dokumente fließen unkontrolliert.

Was gegen Shadow-AI hilft

Die schlechteste Antwort ist Verbot. Verbote funktionieren nicht, weil der Druck, produktiv zu sein, stärker ist. Die zweitschlechteste Antwort ist Ignorieren. Die richtige Antwort ist: Sichtbar machen, gute Alternativen anbieten, Regeln klar kommunizieren.

Konkret: Ein Shadow-AI-Audit deckt auf, wo bereits KI im Einsatz ist und welche Daten dabei fließen. Auf dieser Basis entsteht eine Entscheidung, welche Werkzeuge offiziell freigegeben werden, welche mit Einschränkung erlaubt sind, welche verboten werden und warum. Ohne diese Transparenz bleibt jede Richtlinie Theorie.

Wer heute beginnen möchte, braucht nicht gleich ein umfangreiches Governance-Regelwerk. Das Minimum, das jede Organisation haben sollte, besteht aus sechs Elementen: