EU AI Act: Was Mittelständler beim Einstieg in lokale KI jetzt wirklich wissen müssen

Von der Pflicht zur Chance – ein Überblick zur aktuellen Rechtslage

Der EU AI Act (offiziell: KI-Verordnung, kurz KI-VO) ist in Kraft, die ersten Pflichten gelten bereits. Und trotzdem ist die Lage für mittelständische Unternehmen, die gerade erst mit dem Thema KI beginnen, deutlich entspannter als viele befürchten. Wer den Einsatz eines lokalen, internen KI-Systems plant, muss zwar einige Regeln kennen. Aber die schweren Compliance-Lasten treffen zunächst andere.

Was bereits gilt

Seit dem 2. Februar 2025 (Art. 113 KI-VO) sind zwei Pflichten für alle Unternehmen verbindlich, die KI einsetzen, unabhängig von Größe, Branche oder Art des Systems.

Verbote unannehmbar riskanter KI (Art. 5 KI-VO). Bestimmte Anwendungen sind ohne Ausnahme untersagt: das Bewerten von Menschen anhand persönlicher Merkmale (Social Scoring), die Echtzeit-Gesichtserkennung im öffentlichen Raum, manipulative Targeting-Systeme sowie Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen. Für ein internes KI-System zur Texterstellung, Digitalisierung, Datenanalyse oder Prozessunterstützung sind diese Verbote in aller Regel kein Thema. Sie müssen aber bewusst geprüft sein.

KI-Kompetenzpflicht (Art. 4 KI-VO). Wer KI einsetzt, muss sicherstellen, dass die betroffenen Mitarbeitenden wissen, was sie tun. Das klingt streng, ist aber pragmatisch gemeint: Zertifizierungen sind nicht vorgeschrieben, und der Gesetzgeber macht keine Vorgaben zum Anbieter der Schulung. Webinare von Kammern, Verbänden oder Mittelstand-Digital-Zentren reichen aus — ebenso Inhouse-Schulungen durch einen freiberuflichen KI-Berater. Letzteres hat sogar einen Vorteil: Wer die Schulung auf den konkreten Einsatzbereich im Unternehmen zuschneidet, erfüllt die Anforderung zielgenauer als mit einem generischen Standardangebot. Entscheidend ist in jedem Fall, dass die Inhalte zum tatsächlichen KI-Einsatz passen — und dass Teilnahmenachweise aufbewahrt werden.

Der KI-Omnibus: Erleichterungen für den Mittelstand

Am 7. Mai 2026 einigten sich EU-Parlament und Rat auf das sogenannte „Digital Omnibus on AI“-Paket — eine erhebliche Vereinfachung des ursprünglichen Regelwerks (faz, 13.05.2026). Für den Mittelstand sind zwei Punkte besonders relevant:

Fristen für Hochrisiko-KI verschoben. KI-Systeme, die in sensiblen Bereichen wie Personalauswahl, Kreditvergabe oder kritischer Infrastruktur eingesetzt werden, müssen erst ab Dezember 2027 vollständig compliant sein. Ursprünglich war August 2026 der Stichtag. Für in Produkte eingebettete Hochrisiko-Systeme gilt sogar August 2028.

KMU-Erleichterungen ausgeweitet. Die Sonderregeln für kleine und mittlere Unternehmen gelten nun auch für sogenannte „Small Mid-Caps“ — Firmen mit bis zu 200 Millionen Euro Jahresumsatz. Konkret bedeutet das: vereinfachte Dokumentationspflichten, interne Selbstbewertungen statt externer Audits und reduzierte Bußgeldrahmen.

Der Omnibus muss noch formal verabschiedet werden, wird aber noch im Sommer 2026 rechtskräftig erwartet.

Was für den typischen Mittelstand gilt, und was nicht

Ein Unternehmen, das ein lokales KI-System intern betreibt und dieses nicht öffentlich anbietet, bewegt sich in der Regel in der Risikoklasse „minimal“ oder „begrenzt“. Für diese Systeme gilt: kein Risikomanagementsystem, keine Konformitätsbewertung, keine CE-Kennzeichnung, keine EU-Datenbankregistrierung.

Die Transparenzpflicht für KI-generierte Inhalte (ab August 2026) betrifft interne Nutzung ebenfalls kaum. Wer einen KI-Entwurf liest, überarbeitet und als eigene E-Mail versendet, ist nicht kennzeichnungspflichtig, denn der Gesetzgeber stellt ausdrücklich auf menschliche redaktionelle Kontrolle ab. Kennzeichnungspflichtig wäre erst ein vollautomatisch veröffentlichter Text zu öffentlichen Angelegenheiten oder ein Chatbot auf der eigenen Website.

Vier sinnvolle Schritte jetzt

Auch wer unter kaum regulierten Risikoklassen operiert, sollte nicht untätig bleiben. Die folgenden Maßnahmen sind weder bürokratisch aufwändig noch teuer, aber strategisch klug:

1. KI-Inventar anlegen. Welche KI-Tools werden bereits eingesetzt, bewusst oder unbewusst? ChatGPT im Vertrieb, Copilot in der Verwaltung, automatisierte Scoring-Funktionen im ERP? Wer das nicht weiß, kann nicht sicher sein, dass kein System in eine höhere Risikoklasse fällt, etwa dann, wenn KI für Personalentscheidungen genutzt wird.

2. Mitarbeitende schulen und Nachweise sichern. Die KI-Kompetenzpflicht gilt bereits. Einfache Maßnahmen reichen, Teilnahmebelege sollten aber in jedem Fall aufbewahrt werden. Ob ein Webinar bei der Handwerkskammer oder eine maßgeschneiderte Schulung durch einen KI-Berater wie Inhouse-AI: beides ist zulässig. Wichtig ist, dass die Schulungsinhalte zum tatsächlichen KI-Einsatz im Unternehmen passen.

3. Eine interne KI-Richtlinie einführen. Das ist der oft unterschätzte Schritt, und in der Praxis einer der wirkungsvollsten. Eine KI-Richtlinie regelt, welche Tools im Unternehmen erlaubt sind, wie mit KI-generierten Entwürfen umzugehen ist, wer Inhalte freigibt und wo keine KI eingesetzt werden darf. Sie schafft Klarheit für Mitarbeiter, dokumentiert den verantwortungsvollen Umgang gegenüber Behörden und ist gleichzeitig die operative Grundlage für die Transparenzpflicht: Wer intern sauber geregelt hat, dass KI-Entwürfe inhaltlich geprüft und von einer Person verantwortet werden („human in the loop“, häufig mit HITL abgekürzt), ist auf der sicheren Seite, ohne jeden Text kennzeichnen zu müssen. Eine solche Richtlinie muss kein juristisches Werk sein; ein klares, verständliches Dokument von wenigen Seiten genügt.

Mit Hilfe einer Muster-Vorlage haben Sie schnell einen Erstentwurf für Ihre eigene KI-Richtlinie aufgesetzt.

4. Den Einstieg in lokale KI jetzt vorbereiten. Wer ein lokales Sprachmodell oder eine interne KI-Infrastruktur plant, hat regulatorisch gute Karten: keine öffentlich zugänglichen Schnittstellen, keine Datenweitergabe an Drittanbieter, klare interne Kontrolle. Die Datenschutz-Grundverordnung (DSGVO) bleibt dabei zu beachten. Sie gilt parallel und unabhängig vom EU AI Act überall dort, wo personenbezogene Daten verarbeitet werden.

Deutschland: Bundesnetzagentur übernimmt Aufsicht

Im Februar 2026 hat das Bundeskabinett den Beschluss gefasst, die Bundesnetzagentur als zentrale Marktüberwachungsbehörde für den AI Act einzusetzen. Das zugrundeliegende Gesetz (KI-Marktüberwachungs- und Innovationsförderungsgesetz, KI-MIG) durchläuft noch Bundestag und Bundesrat. Die Bundesnetzagentur betreibt bereits jetzt einen kostenlosen KI-Service Desk, der Unternehmen bei Fragen zur Compliance unterstützt.

Fazit

Der EU AI Act ist kein Grund, den KI-Einstieg aufzuschieben — eher das Gegenteil. Wer jetzt mit einem lokalen, intern genutzten System beginnt, bewegt sich regulatorisch auf sicherem Terrain, baut intern Kompetenz auf und ist gut aufgestellt, wenn die schärferen Regeln ab 2027 greifen. Nichtstun schützt dabei nicht: Die Verbote und die Kompetenzpflicht gelten bereits heute.

Sie möchten die nächsten Schritte konkret angehen? Nutzen Sie als Ausgangspunkt unsere kostenlose Muster-KI-Richtlinie, passen Sie diese an Ihre Bedürfnisse an und erstellen damit einen Erstentwurf.

Sie möchten Ihren Mitarbeitern das nötige Wissen zum sicheren Umgang mit KI im Unternehmen mitgeben? Gerne unterstützen wir Sie mit Schulungen, die konkret auf Ihre KI-Anwendungsfälle zugeschnitten sind.


Stand: Mai 2026. Dieser Beitrag dient der allgemeinen Information und ersetzt keine rechtliche Beratung.