EU AI Act: Welche Pflichten haben Unternehmen, die KI einsetzen?

Anbieter oder Betreiber: Welche Rolle hat Ihr Unternehmen?

Die KI-Verordnung (EU) 2024/1689, meist EU AI Act genannt, knüpft die Pflichten an Rollen. Für Unternehmen zählen vor allem zwei:

• Anbieter entwickeln ein KI-System oder lassen es entwickeln und bringen es unter eigenem Namen oder eigener Marke in Verkehr oder nehmen es in Betrieb (Art. 3 Nr. 3).
• Betreiber verwenden ein KI-System in eigener Verantwortung im beruflichen Rahmen (Art. 3 Nr. 4). Wer ein fertiges KI-Werkzeug für Texte, Übersetzungen oder Auswertungen nutzt, ist Betreiber.

Zwei Punkte werden oft übersehen. Erstens: Wer eine KI individuell entwickeln lässt und sie unter eigenem Namen in Betrieb nimmt, etwa einen Telefonassistenten für die eigene Hotline, kann selbst Anbieter sein. Für Systeme ohne hohes Risiko bleiben die Anbieterpflichten überschaubar, vor allem Transparenz und KI-Kompetenz. Zweitens: Nach Art. 25 wird ein Betreiber zum Anbieter eines Hochrisiko-Systems, wenn er seinen Namen oder seine Marke auf ein solches System setzt, es wesentlich verändert oder den Zweck eines Systems so ändert, dass es zum Hochrisiko-System wird. Wir raten, die Rolle für jedes System einzeln und schriftlich festzuhalten.

Welche Risikoklassen gibt es im EU AI Act?

Die meisten KI-Anwendungen in Unternehmen fallen in die beiden unteren Klassen. Ein Wissensassistent für interne Dokumente ist in der Regel kein Hochrisiko-System. Eine KI-Qualitätskontrolle in der Produktion meist auch nicht: Seit dem Digital-Omnibus stellt Art. 6 Abs. 1a klar, dass KI, die ausschließlich für nicht sicherheitsrelevante Zwecke wie Qualitätskontrolle, Effizienz oder Bedienkomfort eingesetzt wird, nicht als Sicherheitsbauteil gilt. Anders ist es, wenn KI über Menschen entscheidet. Software, die Bewerbungen filtert, Leistung bewertet oder Aufgaben nach individuellem Verhalten zuteilt, fällt grundsätzlich unter Anhang III und damit unter Hochrisiko.

Welche KI-Praktiken sind verboten?

Art. 5 verbietet seit dem 2. Februar 2025 unter anderem:

• Manipulation mit unterschwelligen oder täuschenden Techniken, die erheblichen Schaden verursachen kann
• das Ausnutzen von Schwächen aufgrund von Alter, Behinderung oder einer besonderen sozialen oder wirtschaftlichen Lage
• Social Scoring, also die Bewertung von Personen nach ihrem Sozialverhalten mit nachteiligen Folgen in anderen Zusammenhängen
• die Vorhersage von Straftaten allein auf Basis von Profiling oder Persönlichkeitsmerkmalen
• das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoaufnahmen für Gesichtsdatenbanken
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer aus medizinischen oder Sicherheitsgründen
• biometrische Kategorisierung, um auf sensible Merkmale wie politische Meinung, Religion oder sexuelle Orientierung zu schließen
• biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum zur Strafverfolgung, mit engen Ausnahmen

Mit dem Digital-Omnibus kommt ab dem 2. Dezember 2026 ein weiteres Verbot hinzu (Art. 5 Abs. 1 Buchst. ba und bb): KI-Systeme, die realistische intime oder sexuell explizite Darstellungen einer bestimmbaren Person ohne deren ausdrückliche Zustimmung erzeugen oder manipulieren, und KI-Systeme, die Darstellungen sexuellen Kindesmissbrauchs erzeugen. Im Unternehmensalltag ist vor allem die Emotionserkennung relevant. Sie setzt biometrische Daten voraus, etwa Stimme oder Mimik. Eine Stimmungsanalyse von Mitarbeitenden anhand ihrer Stimme im Callcenter ist deshalb verboten, die Auswertung von Kundenanliegen nach Thema dagegen nicht.

Transparenzpflichten: Wann Sie auf KI hinweisen müssen

Seit dem 2. August 2026 gelten die Transparenzpflichten nach Art. 50. Der Digital-Omnibus hat sie nicht verschoben. Für Unternehmen sind diese Fälle wichtig:

• KI, die mit Menschen spricht oder schreibt: Chatbots und Telefonassistenten müssen so gestaltet sein, dass Personen erfahren, dass sie mit einer KI kommunizieren, sofern das nicht offensichtlich ist (Art. 50 Abs. 1). Beim KI-Sprachassistenten gehört deshalb ein kurzer Hinweis in die Begrüßung, etwa „Sie sprechen mit dem digitalen Assistenten von …“. Die Pflicht trifft den Anbieter. Wer sich einen Assistenten individuell entwickeln lässt und unter eigenem Namen einsetzt, ist oft selbst Anbieter.
• KI-erzeugte Inhalte: Anbieter generativer KI müssen Audio, Bilder, Videos und Texte maschinenlesbar als künstlich erzeugt kennzeichnen (Art. 50 Abs. 2). Für Systeme, die schon vor dem 2. August 2026 auf dem Markt waren, gilt nach Art. 111 Abs. 4 eine Frist bis zum 2. Dezember 2026.
• Betreiber, die täuschend echte Bilder, Videos oder Tonaufnahmen erzeugen (Deepfakes), müssen offenlegen, dass diese künstlich erzeugt sind.
• KI-erzeugte Texte, die die Öffentlichkeit über Themen von öffentlichem Interesse informieren sollen, sind zu kennzeichnen, außer ein Mensch hat sie redaktionell geprüft und verantwortet.
• Wer Emotionserkennung oder biometrische Kategorisierung einsetzt, muss die betroffenen Personen darüber informieren.

Der Hinweis muss spätestens bei der ersten Interaktion klar erkennbar sein (Art. 50 Abs. 5). Verstöße gegen Art. 50 können nach Art. 99 Abs. 4 mit Bußgeldern von bis zu 3 % des weltweiten Jahresumsatzes oder einem gesetzlich festgelegten Festbetrag geahndet werden, je nachdem, welcher Wert höher ist. Für kleine und mittlere Unternehmen und seit dem Digital-Omnibus auch für kleine Midcap-Unternehmen gilt der niedrigere Wert.

Welche Pflichten haben Betreiber von Hochrisiko-KI?

Setzen Sie ein Hochrisiko-System ein, etwa eine Software zur Vorauswahl von Bewerbungen, gelten nach heutigem Stand ab dem 2. Dezember 2027 die Betreiberpflichten nach Art. 26:

• das System gemäß der Betriebsanleitung des Anbieters verwenden
• menschliche Aufsicht durch Personen mit der nötigen Kompetenz, Befugnis und Unterstützung sicherstellen
• Eingabedaten auf Relevanz und Repräsentativität prüfen, soweit Sie diese kontrollieren
• den Betrieb überwachen und Risiken sowie schwerwiegende Vorfälle melden
• automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren
• Arbeitnehmervertretung und betroffene Beschäftigte vor dem Einsatz am Arbeitsplatz informieren
• betroffene Personen informieren, wenn das System Entscheidungen über sie trifft oder unterstützt

Öffentliche Stellen, private Anbieter öffentlicher Dienste und Unternehmen, die Kreditwürdigkeit prüfen oder Risiken und Prämien in der Lebens- und Krankenversicherung bewerten, müssen zusätzlich eine Grundrechte-Folgenabschätzung nach Art. 27 durchführen. Seit dem Digital-Omnibus dürfen sie dabei auf eine vorhandene Datenschutz-Folgenabschätzung verweisen. Die Verschiebung ist kein Grund, die Vorbereitung liegen zu lassen. Wer heute ein HR- oder Bewertungssystem einkauft, sollte vertraglich festhalten, dass der Anbieter die Hochrisiko-Anforderungen rechtzeitig erfüllt und die nötigen Unterlagen liefert.

Zeitplan: Was gilt ab wann? (Stand November 2026)

Die Verschiebungen stammen aus dem Digital-Omnibus zur KI, Verordnung (EU) 2026/1744, veröffentlicht im Amtsblatt am 24. Juli 2026. Die EU-Kommission führt den aktuellen Zeitplan auf ihrer Seite zum Rechtsrahmen für KI. Offen ist noch, wann harmonisierte Normen und Leitlinien zu Hochrisiko-Systemen vollständig vorliegen. Davon hängt ab, wie konkret sich die Anforderungen ab Dezember 2027 umsetzen lassen. Getrennt davon wird über Änderungen an der DSGVO verhandelt, den Datenteil des Digital-Omnibus. Der Rat hat seine Position im Oktober 2026 festgelegt, die des Europäischen Parlaments stand im November 2026 noch aus. Prüfen Sie Termine vor wichtigen Entscheidungen deshalb erneut.

Wer überwacht den AI Act in Deutschland?

Seit dem 29. Juli 2026 gilt das Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-MIG). Nach § 2 KI-MIG ist die Bundesnetzagentur die zuständige Marktüberwachungsbehörde, soweit das Gesetz nichts anderes bestimmt. Bei ihr sitzen auch das Koordinierungs- und Kompetenzzentrum, die zentrale Anlaufstelle, die zentrale Beschwerdestelle und eine unabhängige KI-Marktüberwachungskammer, die bestimmte Hochrisiko-Systeme etwa aus Strafverfolgung, Migration und Justiz beaufsichtigt.

Daneben gibt es feste Ausnahmen. Die BaFin überwacht KI, die beaufsichtigte Finanzunternehmen im direkten Zusammenhang mit ihrer regulierten Tätigkeit einsetzen. Für KI in Produkten wie Medizinprodukten oder Aufzügen bleiben die bisherigen Marktüberwachungsbehörden zuständig, für öffentliche Stellen der Länder und für Medienanbieter die Behörden nach Landesrecht. Die Datenschutzaufsicht wird einbezogen, soweit ihr Bereich berührt ist. Bußgelder verhängt die jeweils zuständige Marktüberwachungsbehörde.

Für Unternehmen praktisch ist der KI-Service-Desk der Bundesnetzagentur. Er bietet unter anderem ein Online-Werkzeug zur ersten Einschätzung der Risikoklasse und Hinweise zum Aufbau von KI-Kompetenz.

AI Act umsetzen: Bestandsaufnahme in sechs Schritten

1. KI-Inventar anlegen: alle KI-Systeme erfassen, auch eingebaute Funktionen in Office-, CRM- oder HR-Software und Werkzeuge, die Mitarbeitende selbst nutzen.
2. Rolle und Risikoklasse bestimmen: für jedes System festhalten, ob Sie Anbieter oder Betreiber sind und in welche Klasse es fällt, mit kurzer Begründung.
3. Verbote ausschließen: besonders Emotionserkennung bei Beschäftigten und manipulative Gestaltung prüfen.
4. Transparenz umsetzen: Hinweise in Chat und Telefonassistent sowie bei veröffentlichten KI-Inhalten ergänzen.
5. KI-Kompetenz nachweisen: Schulungen nach Rolle planen und dokumentieren, siehe KI-Kompetenz nach Art. 4.
6. Hochrisiko vorbereiten: für betroffene Systeme Anbieterunterlagen, menschliche Aufsicht, Protokolle und die Information des Betriebsrats bis Dezember 2027 planen.

Parallel gelten die Vorgaben der DSGVO, die der AI Act nicht ersetzt. Mehr dazu lesen Sie im Artikel KI und DSGVO. Dieser Artikel ersetzt keine Rechtsberatung.

Unser Team unterstützt Sie bei der technischen Umsetzung: beim KI-Inventar, bei der Einordnung von Systemen gemeinsam mit Ihrer Rechtsberatung, bei Transparenzhinweisen in Chat- und Telefonassistenten sowie bei Protokollierung und menschlicher Aufsicht in individuell entwickelter KI. Wenn wir eine KI für Sie entwickeln, dokumentieren wir Zweck, Daten und Grenzen so, dass Sie Ihre Pflichten belegen können. Wie ein Projekt abläuft, steht unter Ablauf eines KI-Projekts.