KI Compliance im Unternehmen: Was der EU AI Act von Ihnen verlangt – und wie Sie es umsetzen
Inhaltsverzeichnis
Veröffentlicht: 22. Juli 2026 · Lesezeit: ca. 13 Minuten
Wann haben Sie zuletzt geprüft, ob Ihr Unternehmen die Anforderungen des EU AI Act erfüllt? Und wenn Sie ChatGPT, ein KI-gestütztes Buchhaltungstool oder einen automatisierten E-Mail-Filter im Einsatz haben – wissen Sie, ob Ihre Mitarbeitenden dafür ausreichend geschult sind?
Viele Geschäftsführer antworten auf diese Fragen mit einem ehrlichen Schulterzucken. Nicht aus Gleichgültigkeit, sondern weil die Regelungen komplex sind, sich laufend ändern und kaum jemand die Zeit hat, europäische Verordnungstexte zu lesen. Doch genau das ist das Problem: Seit Februar 2025 gelten bereits erste Pflichten verbindlich – unabhängig davon, ob Sie die Verordnung kennen oder nicht.
KI Compliance Unternehmen – das klingt nach einem Thema für Konzerne mit eigener Rechtsabteilung. Tatsächlich betrifft der EU AI Act jeden Betrieb, der KI-Systeme einsetzt, beschafft oder seinen Mitarbeitenden zur Verfügung stellt. Seit dem 2. Februar 2025 gelten das Verbot bestimmter KI-Systeme mit unannehmbarem Risiko sowie die Kompetenzpflicht nach Artikel 4 der Verordnung: Wer KI einsetzt, muss dafür sorgen, dass die betroffenen Mitarbeitenden ausreichend geschult sind.
Für kleine und mittelständische Unternehmen ohne Compliance-Abteilung ist das eine echte Herausforderung. Ein Drittel der befragten Mittelständler setzt KI bereits ein (KI-Index Mittelstand 2025, Deutscher Mittelstands-Bund / Salesforce) – doch bei rund 43 Prozent fehlt noch jede strukturierte KI-Strategie. Das Risiko: Wer KI nutzt, aber keine Dokumentation, kein Schulungskonzept und keine Risikoeinschätzung vorweisen kann, steht bei einer Prüfung schnell vor einem Problem.
Dieser Ratgeber zeigt Ihnen, welche Pflichten heute gelten, welche Fristen noch kommen, welche Fehler typische Stolperfallen sind – und wie Sie Schritt für Schritt ein belastbares Fundament schaffen, ohne Ihren Betrieb auf den Kopf zu stellen.
| Kennzahl | Wert | Quelle |
|---|---|---|
| Mittelständler ohne konkrete KI-Strategie | ca. 43 % | KI-Index Mittelstand 2025, DMB / Salesforce |
| KI-Nutzung in deutschen Unternehmen (2025 vs. 2024) | 40 % nutzen KI – +118 % gegenüber Vorjahr | IW Consult / eco, 2025 |
| Kleine Unternehmen mit KI-Einsatz | nur 17 % | Destatis, 2024 |
| Unternehmen, bei denen KI „kein Thema“ ist | nur noch 17 % (2023: 52 %) | Bitkom, 2025 |
Was auf dem Spiel steht, wenn KI Compliance im Unternehmen fehlt
Stellen Sie sich vor, Sie setzen in Ihrer Buchhaltung oder im Personalbereich ein KI-gestütztes Tool ein – und ein Mitarbeiter hat keine Schulung erhalten, wie er die Ausgaben dieses Systems kritisch einordnen soll. Genau das ist seit Februar 2025 nicht mehr nur ein betriebliches Qualitätsproblem, sondern ein regulatorisches. Artikel 4 des EU AI Act verpflichtet jedes Unternehmen, das KI einsetzt, zu nachweisbarer KI-Kompetenz bei den betroffenen Beschäftigten.
Wer das ignoriert, riskiert nicht nur Bußgelder – er riskiert Reputationsschäden, wenn eine fehlerhafte KI-Entscheidung öffentlich wird, ohne dass das Unternehmen eine dokumentierte Governance vorweisen kann. Ein Handwerksbetrieb in Heiligenstadt, der eine KI-gestützte Angebotssoftware nutzt, ist genauso betroffen wie ein Maschinenbauer aus Duderstadt, der KI in der Qualitätsprüfung einsetzt. Die Verordnung unterscheidet nicht nach Unternehmensgröße.
Besonders kritisch: Die technischen Standards, die Unternehmen bei der Umsetzung orientieren sollten, verzögern sich. CEN und CENELEC haben angekündigt, dass die ursprünglich für August 2025 geplanten Normen wohl erst Ende 2026 vorliegen werden – ein Graubereich, den Aufsichtsbehörden trotzdem nicht als Freifahrtschein interpretieren werden.
- Prüfen Sie, welche KI-Tools in Ihrem Unternehmen aktuell im Einsatz sind – auch informell genutzte wie ChatGPT.
- Klären Sie, ob und wie Mitarbeitende im Umgang mit diesen Tools unterwiesen wurden.
- Dokumentieren Sie den Status quo – auch wenn er noch lückenhaft ist.
- Holen Sie sich einen ersten Überblick über Ihre Pflichten bei der Digitalisierungsberatung der TTG GmbH.
Unternehmen in der Region – von Nordthüringen bis in den Raum Göttingen – stehen vor denselben Anforderungen. Der Unterschied liegt darin, wer jetzt handelt und wer wartet, bis eine Prüfung den Anlass erzwingt.
Die häufigsten Missverständnisse – und wo sie gefährlich werden
In Gesprächen mit Unternehmern begegnen uns immer wieder dieselben Annahmen – und fast alle davon sind falsch. Das Gefährliche daran: Sie klingen plausibel.
„Wir nutzen KI nur für einfache Dinge – das fällt sicher nicht unter das Gesetz.“ Falsch. Der EU AI Act unterscheidet nach Risikoklassen, nicht nach gefühlter Komplexität. Selbst ein KI-Tool zur Priorisierung von Kundenanfragen kann in bestimmten Kontexten als hochriskant eingestuft werden – etwa wenn es Entscheidungen über Vertragsabschlüsse beeinflusst.
„Wir kaufen das Tool ein, also ist der Anbieter verantwortlich.“ Teils richtig, aber nicht ausreichend. Der AI Act kennt mehrere Verantwortliche: Hersteller, Importeure, Händler – und Betreiber. Als Betreiber tragen Sie eigene Pflichten, insbesondere zur Schulung Ihrer Mitarbeitenden und zur Risikoüberwachung.
„Hochrisiko-Systeme betreffen uns nicht.“ Das kann sich ändern. Wer heute ein KI-Tool kauft, das morgen als Hochrisikoanwendung klassifiziert wird, muss die Anforderungen nachrüsten. Und die Hochrisiko-Pflichten wurden zwar per Digital-Omnibus-Beschluss auf Dezember 2027 verschoben – aber Bußgelder für General Purpose AI (GPAI) greifen bereits ab August 2026.
- Erstellen Sie eine Liste aller eingesetzten KI-Tools – und überprüfen Sie deren Risikoklasse.
- Lesen Sie die Nutzungsbedingungen Ihrer KI-Anbieter gezielt auf Haftungsfragen durch.
- Klären Sie, welche Rollen Ihr Unternehmen im Sinne des AI Act einnimmt (Betreiber, Händler, Entwickler).
- Sprechen Sie mit Ihrer Rechtsberatung über Ihre spezifische Haftungssituation.
- Informieren Sie sich über die Empfehlungen zur Datensicherheit beim KI-Einsatz – TTG GmbH.
Unserer Erfahrung nach unterschätzen vor allem Betriebe mit 10 bis 50 Mitarbeitenden ihre Rolle als Betreiber – weil sie sich nicht als „KI-Unternehmen“ verstehen. Doch sobald ein Werkzeug auf maschinellem Lernen basiert und Entscheidungen beeinflusst, gilt die Verordnung. Das BSI – KI sicher einsetzen bietet dazu praxisnahe Orientierung.
Schritt für Schritt zur regelkonformen KI-Nutzung
KI Compliance Unternehmen aufzubauen ist kein Einmalproject, das man abhaken kann. Es ist ein kontinuierlicher Prozess – aber er muss irgendwo beginnen. Die gute Nachricht: Sie müssen nicht alles gleichzeitig lösen. Eine strukturierte Reihenfolge hilft.
Schritt 1: Inventar erstellen. Dokumentieren Sie alle KI-gestützten Systeme in Ihrem Betrieb. Dazu gehören auch eingebettete Funktionen – etwa KI-Funktionen in Ihrer CRM-Software oder in Microsoft 365.
Schritt 2: Risikoklassen einordnen. Der EU AI Act unterteilt in vier Klassen: unannehmbares Risiko (verboten), hohes Risiko (strenge Auflagen), begrenztes Risiko (Transparenzpflichten), minimales Risiko (kaum Anforderungen). Die meisten KMU-Tools fallen in die letzten beiden Kategorien – aber prüfen Sie das konkret.
Schritt 3: Schulungskonzept entwickeln. Artikel 4 verlangt keine Zertifizierung, aber einen nachvollziehbaren Nachweis, dass Mitarbeitende wissen, wie sie KI-Ausgaben kritisch bewerten. Eine interne Schulungsdokumentation reicht oft aus.
Schritt 4: Verantwortlichkeiten definieren. Benennen Sie intern eine Person, die das Thema KI Compliance Unternehmen koordiniert – das muss kein Volljurist sein, aber jemand mit klarem Mandat.
Schritt 5: Prozesse dokumentieren. Halten Sie fest, wie KI-Entscheidungen in Ihrem Betrieb entstehen, wer sie überprüft und wie Sie bei Fehlern vorgehen.
- Nutzen Sie eine einfache Tabelle als KI-Inventar (Name, Zweck, Anbieter, Risikoklasse).
- Orientieren Sie sich an den Leitlinien der BMWK – Digitalisierung im Mittelstand für strukturierte Umsetzung.
- Planen Sie eine jährliche Überprüfung des KI-Inventars ein.
- Dokumentieren Sie Schulungsmaßnahmen schriftlich – auch wenn sie intern stattfinden.
Als ISO/IEC 27001 zertifizierter IT-Partner – TTG GmbH unterstützen wir Sie dabei, diese Schritte systematisch und ohne unnötigen Aufwand umzusetzen.
Technische Anforderungen – was KI Compliance Unternehmen konkret bedeutet
KI Compliance Unternehmen hat auch eine technische Seite – aber keine, die Sie als Geschäftsführer im Detail beherrschen müssen. Was Sie verstehen sollten: welche technischen Maßnahmen Sie von Ihren IT-Dienstleistern und Softwareanbietern verlangen dürfen und sollten.
Der EU AI Act verlangt bei Hochrisikosystemen unter anderem Protokollierungsfunktionen (Logging), menschliche Überwachung (Human Oversight) und technische Robustheit. Für Betreiber bedeutet das: Sie müssen sicherstellen, dass die eingesetzten Systeme diese Funktionen tatsächlich haben – und dass Ihre Mitarbeitenden sie nutzen.
| Situation | Empfehlung | Warum |
|---|---|---|
| KI-Tool vom Cloud-Anbieter (z. B. Microsoft, Google) | Nutzungsbedingungen und Compliance-Dokumentation des Anbieters anfordern | Anbieter tragen Herstellerpflichten, Sie als Betreiber tragen Nutzungspflichten |
| Eigenentwickelte KI-Anwendung | Vollständige Risikoabschätzung und technische Dokumentation erstellen | Sie sind gleichzeitig Hersteller und Betreiber |
| KI-Funktion in bestehender Software (z. B. CRM) | Beim Anbieter nachfragen, ob die Funktion als KI-System im Sinne des AI Act gilt | Viele Anbieter haben das noch nicht transparent kommuniziert |
Wichtig ist außerdem: KI-Compliance und IT-Sicherheit gehen Hand in Hand. Wer KI-Systeme einsetzt, muss auch sicherstellen, dass die zugrunde liegende IT-Infrastruktur sicher ist. Aktuell – im Juli 2026 – wurde eine Sicherheitslücke im Veeam-Updater bekannt, die Rechteausweitung ermöglicht: Wer Veeam zur Datensicherung nutzt, sollte das Update umgehend einspielen. Solche Schwachstellen untergraben jede Compliance-Struktur, wenn sie ungepatcht bleiben.
- Fordern Sie von Ihren KI-Anbietern eine Compliance-Dokumentation an.
- Stellen Sie sicher, dass Logging-Funktionen aktiviert und zugänglich sind.
- Etablieren Sie einen regelmäßigen Patch-Prozess für alle eingesetzten Tools.
- Prüfen Sie, ob Ihre IT-Infrastruktur den Anforderungen der Förderberatung für Digitalisierungsprojekte – TTG GmbH entspricht – es gibt Fördermittel für genau diese Investitionen.
Was KI Compliance kostet – und was es kostet, sie zu ignorieren
Reden wir konkret über Zahlen. Der EU AI Act sieht bei Verstößen Bußgelder von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes vor – je nachdem, welcher Betrag höher ist. Für einen Mittelständler mit 5 Millionen Euro Umsatz wären das bis zu 350.000 Euro. Solche Beträge sind keine theoretischen Drohkulissen, sondern reale Risikopositionen, sobald Aufsichtsbehörden aktiv kontrollieren.
Auf der anderen Seite: Was kostet sinnvolle KI Compliance Unternehmen tatsächlich? Für die meisten KMU liegt der realistische Aufwand beim Einstieg zwischen einem gut geführten halben Arbeitstag für die Inventarisierung, einigen Stunden für eine erste Schulungsmaßnahme und dem Aufwand, Verantwortlichkeiten zu dokumentieren. Das ist überschaubar – wenn man strukturiert vorgeht.
Was hingegen teuer wird: nachträgliche Korrekturen, wenn ein KI-System bereits tief in Prozesse integriert ist und sich nachträglich als nicht compliant erweist. Oder Reputationsschäden, wenn eine fehlerhafte KI-Entscheidung in der Öffentlichkeit landet und Ihr Unternehmen keine Dokumentation vorweisen kann.
- Kalkulieren Sie den Aufwand für erste Compliance-Maßnahmen realistisch – oft reichen 2–3 Tage für den Grundrahmen.
- Prüfen Sie, ob Förderprogramme für Digitalisierungsprojekte auch Compliance-Maßnahmen abdecken (etwa über das BAFA oder Landesförderungen in Thüringen).
- Vergleichen Sie die Kosten einer vorausschauenden Compliance mit dem kalkulierten Bußgeldrisiko.
- Planen Sie KI Compliance Unternehmen als laufenden Posten ein – nicht als Einmalinvestition.
- Nutzen Sie die IT-Infrastruktur für den digitalen Wandel – TTG GmbH als Basis, um technische und regulatorische Anforderungen gemeinsam zu adressieren.
Unserer Erfahrung nach lohnt es sich, frühzeitig in strukturierte Compliance zu investieren – nicht weil Kontrollen unmittelbar bevorstehen, sondern weil eine saubere Dokumentation auch intern Sicherheit schafft und im Schadensfall Vertrauen erzeugt.
Was in der Praxis funktioniert: Erfahrungen aus der Region
Ein Steuerberatungsbüro aus dem Eichsfeld stand vor einer typischen Situation: Das Team hatte begonnen, KI-gestützte Tools für die Mandantenkommunikation und die Belegprüfung einzusetzen – ohne dass irgendjemand im Betrieb wusste, ob das mit dem EU AI Act vereinbar ist. Der erste Schritt war keine aufwändige Rechtsanalyse, sondern schlicht eine Liste: Welche Tools nutzen wir, wofür, und wer entscheidet auf Basis der Ausgaben?
Das klingt banal – ist es aber nicht. Allein das Erstellen dieser Liste hat im konkreten Fall zwei Tools ans Licht gebracht, deren KI-Funktion dem Team gar nicht bewusst war. Anschließend folgte eine zweistündige interne Schulung, in der alle Mitarbeitenden lernten, wie sie KI-Ausgaben kritisch hinterfragen. Dokumentiert, abgeheftet, fertig.
Ähnliche Erfahrungen machen wir im Raum Göttingen und Südniedersachsen: Betriebe, die das Thema KI Compliance Unternehmen zunächst für überwältigend halten, stellen nach dem ersten strukturierten Schritt fest, dass der Aufwand beherrschbar ist – wenn man weiß, wo man anfangen soll.
Als ISO/IEC 27001-zertifizierter IT-Partner mit über 25 Jahren Erfahrung in Nordthüringen und der Eichsfeld-Region begleitet die TTG GmbH genau diese ersten Schritte: von der Inventarisierung über die Schulungsplanung bis zur laufenden technischen Absicherung. Dabei orientieren wir uns an den Empfehlungen des Bitkom zu Künstlicher Intelligenz im Unternehmen – und an dem, was in der Praxis kleiner und mittelständischer Betriebe tatsächlich funktioniert.
- Beginnen Sie mit einem einfachen, internen KI-Inventar – das schafft sofort Klarheit.
- Nutzen Sie bestehende Schulungsformate (z. B. Teambesprechungen) für erste KI-Kompetenz-Einheiten.
- Lassen Sie Ihr Digitalisierungs-Potenzial prüfen – als erster unverbindlicher Schritt.
Drei konkrete erste Schritte für mehr KI Compliance ab heute
KI Compliance Unternehmen muss nicht mit einem großen Projekt beginnen. Drei Schritte, die Sie innerhalb der nächsten zwei Wochen umsetzen können, schaffen bereits eine solide Grundlage.
Erster Schritt: KI-Inventar anlegen. Erstellen Sie eine einfache Tabelle mit allen KI-gestützten Tools, die Ihr Unternehmen nutzt. Spalten: Name des Tools, Zweck, Anbieter, eingesetzte Abteilung, geschätzte Risikoklasse. Das dauert einen halben Vormittag – und gibt Ihnen sofort einen Überblick, den die meisten Mittelständler schlicht nicht haben.
Zweiter Schritt: Schulungsnachweis erstellen. Artikel 4 des EU AI Act verlangt KI-Kompetenz – aber keine aufwändige Zertifizierung. Führen Sie eine einstündige Teambesprechung zum Thema „Wie gehen wir mit KI-Ausgaben um?“ durch und dokumentieren Sie Teilnehmende, Datum und Inhalte. Das reicht als erster Nachweis.
Dritter Schritt: Verantwortlichkeit benennen. Legen Sie fest, wer in Ihrem Unternehmen das Thema KI Compliance Unternehmen koordiniert. Das muss keine neue Stelle sein – eine klare Zuständigkeit genügt. Halten Sie fest, wer erreichbar ist, wenn Fragen zur KI-Nutzung auftauchen.
- Setzen Sie einen Kalendertermin für Schritt 1 in den nächsten fünf Werktagen.
- Nutzen Sie eine einfache Tabellenvorlage – keine Software notwendig.
- Kommunizieren Sie die Verantwortlichkeit klar ins Team – per E-Mail reicht.
- Planen Sie eine Wiedervorlage in drei Monaten, um den Status zu prüfen.
Diese drei Schritte sind kein Ersatz für eine vollständige KI-Compliance-Strategie – aber sie sind der Unterschied zwischen einem Unternehmen, das nichts dokumentieren kann, und einem, das bei einer Prüfung zeigen kann: Wir haben das Thema auf dem Schirm und handeln. Für die nächste Stufe – vollständige Risikoklassifizierung, technische Dokumentation, Schulungsprogramm – stehen wir Ihnen als regionaler IT-Partner gern zur Seite.
Ihre Checkliste: So starten Sie jetzt
- Erstellen Sie ein vollständiges Inventar aller KI-gestützten Tools in Ihrem Unternehmen – auch eingebettete Funktionen in bestehender Software erfassen.
- Ordnen Sie jeden Eintrag einer Risikoklasse nach EU AI Act zu (unannehmbares Risiko / hohes Risiko / begrenztes Risiko / minimales Risiko).
- Dokumentieren Sie, wer in Ihrem Betrieb die Ergebnisse dieser KI-Tools nutzt und auf deren Basis Entscheidungen trifft.
- Führen Sie eine erste interne Schulungseinheit durch und halten Sie Teilnehmer, Datum und Themen schriftlich fest.
- Benennen Sie eine Person, die das Thema KI Compliance Unternehmen intern koordiniert und als Ansprechpartner fungiert.
- Fordern Sie bei Ihren KI-Anbietern eine Compliance-Dokumentation oder einen AI-Act-Konformitätsnachweis an.
- Stellen Sie sicher, dass alle eingesetzten Softwaretools – auch Backup- und Sicherheitslösungen – aktuell gepatcht sind.
- Prüfen Sie, ob Fördermittel für Digitalisierung und Compliance-Maßnahmen in Ihrem Bundesland verfügbar sind.
Häufig gestellte Fragen
Gilt der EU AI Act auch für kleine Unternehmen mit weniger als 50 Mitarbeitenden?
Ja, der EU AI Act macht keine Ausnahme nach Unternehmensgröße. Allerdings berücksichtigt die Verordnung den Verhältnismäßigkeitsgrundsatz: Kleine Betriebe, die ausschließlich KI-Systeme mit minimalem Risiko einsetzen, haben kaum bürokratische Pflichten. Wer jedoch Hochrisiko-Systeme nutzt oder als Betreiber fungiert, ist vollständig an die Anforderungen gebunden – unabhängig davon, wie viele Mitarbeitende beschäftigt sind.
Was genau bedeutet die Kompetenzpflicht nach Artikel 4 – und wie weise ich sie nach?
Artikel 4 verpflichtet Unternehmen sicherzustellen, dass Mitarbeitende, die mit KI-Systemen arbeiten, ausreichend geschult sind, um die Ausgaben kritisch zu bewerten und Grenzen des Systems zu erkennen. Einen festgelegten Zertifizierungsstandard gibt es aktuell nicht. Eine dokumentierte interne Schulung – mit Datum, Teilnehmern und Themen – gilt in der Praxis als erster belastbarer Nachweis und ist ein sinnvoller Ausgangspunkt.
Muss ich sofort handeln oder gibt es noch Zeit bis zur nächsten Frist?
Die Kompetenzpflicht und das Verbot unannehmbarer KI-Risiken gelten bereits seit Februar 2025 – das sind keine zukünftigen Fristen, sondern geltendes Recht. Hochrisiko-Pflichten wurden auf Dezember 2027 verschoben, Bußgelder für General Purpose AI (GPAI) greifen jedoch bereits ab August 2026. Wer jetzt mit dem KI-Inventar beginnt, schafft sich Spielraum – und ist bei Prüfungen in einer deutlich besseren Position.
Was kostet eine professionelle Begleitung beim Aufbau von KI Compliance?
Das hängt stark vom Ausgangszustand und der Komplexität Ihrer KI-Nutzung ab. Für viele KMU reicht ein strukturiertes Erstgespräch mit anschließender Inventarisierung und Schulungsplanung – das ist in wenigen Tagen umsetzbar und kostet deutlich weniger, als ein späterer Nachbesserungsbedarf oder ein Bußgeldverfahren. TTG GmbH bietet dazu eine unverbindliche Ersteinschätzung an.
Gilt die DSGVO weiterhin parallel zum EU AI Act – und wie verhalten sich beide zueinander?
Ja, die DSGVO bleibt vollständig in Kraft. Beide Regelwerke ergänzen sich, überschneiden sich aber in einigen Bereichen. Wer personenbezogene Daten in KI-Systemen verarbeitet, muss sowohl datenschutzrechtliche Anforderungen (Zweckbindung, Löschfristen, Betroffenenrechte) als auch die Transparenz- und Dokumentationspflichten des EU AI Act erfüllen. Eine saubere KI-Compliance stärkt damit automatisch auch Ihre DSGVO-Konformität.
Martin Trappe ist Geschäftsführer der TTG Daten- und Bürosysteme GmbH in Dingelstädt. Mit über 25 Jahren Erfahrung im IT-Mittelstand betreut er kleine und mittelständische Unternehmen in Nordthüringen, Eichsfeld und Südniedersachsen. Die TTG GmbH ist ISO/IEC 27001 zertifiziert – dem höchsten Standard für Informationssicherheit.
Kontakt aufnehmen · Über TTG GmbH
Wissen Sie heute mit Sicherheit, welche KI-Systeme in Ihrem Unternehmen laufen – und könnten Sie das im Zweifelsfall auch dokumentiert nachweisen?
Digitalisierungspotenzial ausschöpfen
Welche Prozesse können Sie automatisieren? Die TTG GmbH analysiert Ihr Unternehmen und entwickelt einen praxisnahen Digitalisierungsplan für KMU im Eichsfeld.
