KI-Compliance: der EU AI Act in der Praxis

KI-Systeme landen längst im Alltag: Texterstellung, Bildanalyse, Chatbots, Entscheidungsunterstützung. Gleichzeitig wirkt der EU AI Act auf viele noch abstrakt. In der Vergabestelle, im IT-Einkauf oder im Justiziariat musst du aber sehr konkret entscheiden: Welche Risikoklasse hat das System, welche Rolle haben wir, welche Pflichten treffen uns und wie dokumentieren wir das?

Im Folgenden gehen wir praxisnah durch die Kernthemen: Risikoklassen, Rollen und Pflichten, Umgang mit KI-Tools, Governance und Dokumentation sowie das Zusammenspiel mit Datenschutzrecht.

Anwendungsbereich und Grundbegriffe: Was ist überhaupt ein KI-System?

Der EU AI Act knüpft an den Begriff des „KI-Systems“ an. Vereinfacht gesagt ist das jedes System, das mit bestimmten Techniken (z. B. maschinelles Lernen, Deep Learning, statistische Modelle) aus Eingabedaten Ausgaben generiert, die relevante Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen.

Wichtig für dich:

• Es geht nicht nur um „schlaue Roboter“, sondern auch um Chatbots, Empfehlungssysteme, Scoring, automatisierte Auswertungen.
• Auch Standardprodukte wie Office-Suiten mit KI-Funktionen, Code-Assistenten oder Übersetzungstools fallen darunter.
• Reine klassische Software ohne lernende oder inferenzbasierte Komponenten ist kein KI-System im Sinne des AI Acts.

Du solltest daher früh klären, ob ein beschafftes oder selbst entwickeltes System als KI-System einzuordnen ist. Herstellerangaben, technische Dokumentationen und Vertragsunterlagen sind hier zentrale Informationsquellen.

Risikoklassen der KI-Verordnung: Einordnung ist der Dreh- und Angelpunkt

Der AI Act unterscheidet vier Risikostufen mit sehr unterschiedlichen Rechtsfolgen:

1. Verbotene KI
2. Hochrisiko-KI
3. Bestimmte Transparenzpflichten für KI mit Interaktionsbezug
4. Sonstige KI mit geringem Risiko, für die „Soft Obligations“ und Standards eine Rolle spielen

Verbotene KI

Einige Einsatzarten sind generell untersagt, etwa:

• KI zur manipulativen Verhaltensbeeinflussung bestimmter Gruppen, wenn erhebliche Schäden drohen
• Sozialbewertung natürlicher Personen durch Behörden mit weitreichenden Folgen („Social Scoring“)
• Weitreichende biometrische Fernidentifikation in Echtzeit im öffentlichen Raum, mit engen Ausnahmen

Wenn du in einer Behörde arbeitest, musst du solche Einsatzszenarien früh erkennen und aus dem Projekt nehmen. In Unternehmen mit öffentlichen Auftraggebern als Kunden solltest du entsprechende Funktionen gar nicht erst anbieten oder klar technisch und vertraglich ausschließen.

Hochrisiko-KI

Die meisten Pflichten treffen Hochrisiko-KI. Typische Felder, die in der öffentlichen Hand und im Unternehmensumfeld relevant sind:

• Zugang zu und Inanspruchnahme von wichtigen privaten und öffentlichen Diensten, zum Beispiel:
• Scoring-Systeme für Kredite oder Förderprogramme
• KI-gestützte Systeme in der Personalgewinnung, Eignungstests
• Bildung und Berufsbildung, etwa automatische Bewertung von Prüfungsleistungen
• Beschäftigung, Personalverwaltung, Leistungsbewertung
• Kritische Infrastrukturen, Gesundheitsversorgung, Notfalldienste
• Bestimmte Systeme, die in der Strafverfolgung oder Migration eingesetzt werden

Bei jedem KI-Projekt solltest du prüfen: Fällt der Zweck in eine dieser Kategorien oder ist er funktional gleichartig? Wenn ja, musst du davon ausgehen, dass es sich um Hochrisiko-KI handelt.

Transparenzpflichtige KI

Einige KI-Systeme mit Interaktion oder Manipulationspotenzial unterliegen besonderen Transparenzpflichten, z. B.:

• Chatbots, die als KI erkennbar sein müssen
• KI, die Emotionen oder biometrische Merkmale analysiert
• Deepfakes und synthetische Inhalte, die als solche gekennzeichnet werden müssen

Diese Systeme sind nicht automatisch Hochrisiko, bringen aber klare Informationspflichten gegenüber Nutzerinnen und Nutzern mit sich.

Geringes Risiko und „Best Practice“

Für viele alltägliche KI-Tools gilt: kein Verbot, keine Hochrisiko-Einstufung, aber trotzdem Erwartungen an „Trustworthy AI“. Hier spielen Standards, interne Richtlinien und vertragliche Regelungen eine zentrale Rolle. Für die Praxis heißt das: Auch wenn der AI Act keine harten Pflichten vorschreibt, solltest du Governance, Risikoabwägung und Dokumentation nicht vernachlässigen.

Rollen nach AI Act: Wer ist wofür verantwortlich?

Der AI Act unterscheidet insbesondere:

• Anbieter: entwickelt oder lässt entwickeln und bringt das KI-System in Verkehr oder nimmt es in Betrieb
• Betreiber: setzt ein KI-System im eigenen Verantwortungsbereich ein
• Importeur, Händler: bei Inverkehrbringen in der EU
• Bevollmächtigter: handelt im Namen eines Anbieters

In der Praxis:

• Öffentliche Auftraggeber sind meist Betreiber, manchmal aber auch Anbieter, etwa wenn sie KI-Systeme selbst entwickeln oder entwickeln lassen und anderen Stellen zur Verfügung stellen.
• Unternehmen, die KI-Systeme für die öffentliche Hand entwickeln oder als SaaS bereitstellen, sind in der Regel Anbieter und oft zugleich Betreiber für eigene Zwecke.

Wichtig ist eine klare Zuordnung der Rollen im Vertrag. Wenn du Vergabeunterlagen erstellst, solltest du ausdrücklich regeln:

• Wer ist Anbieter im Sinne des AI Act?
• Wer nimmt die Konformitätsbewertung für Hochrisiko-KI vor?
• Wer ist für technische Dokumentation, Risiko-Management-System und Monitoring verantwortlich?
• Welche Pflichten treffen den Betreiber, etwa im laufenden Betrieb?

Pflichten je nach Rolle: Was bedeutet das konkret?

Pflichten des Anbieters von Hochrisiko-KI

Anbieter tragen die Hauptlast der regulatorischen Pflichten. Sie müssen insbesondere:

• Ein Risiko-Management-System für das KI-System etablieren
• Daten-Governance und Datenqualität sicherstellen
• Technische Dokumentation erstellen, die das KI-System nachvollziehbar beschreibt
• Protokollierung und Logging einrichten
• Transparenz und Nutzerinformationen gewährleisten
• Menschliche Aufsicht ermöglichen
• Robustheit, Genauigkeit und Cybersicherheit sicherstellen
• Konformitätsbewertung durchführen und gegebenenfalls ein Qualitätsmanagementsystem einsetzen

Für Vergabestellen und öffentliche Auftraggeber bedeutet das: Du solltest diese Pflichten in Leistungsbeschreibungen, EVB-IT-Verträgen oder individuellen Verträgen abbilden. Sonst bleibt unklar, ob und wie der Anbieter seine AI-Act-Pflichten erfüllt.

Pflichten des Betreibers

Betreiber müssen unter anderem:

• Das KI-System gemäß der Gebrauchsanweisung und den Einschränkungen des Anbieters einsetzen
• Für ausreichende menschliche Aufsicht sorgen
• Eingabedaten angemessen auswählen und prüfen, soweit sie im Einflussbereich des Betreibers liegen
• Verdachtsfälle von schweren Vorfällen oder Fehlfunktionen melden
• Protokolle aufbewahren und im Rahmen von Audits oder gegenüber Aufsichtsbehörden zur Verfügung stellen

In der Organisation heißt das: Du brauchst klare interne Verantwortlichkeiten, Schulungen und Prozesse, damit Fachbereiche das KI-System nicht „kreativ“ zweckentfremden.

Umgang mit KI-Tools im Alltag: Policies statt blindem Vertrauen

Viele Organisationen nutzen bereits KI-Tools, oft ohne formale Freigabe. Typische Beispiele:

• Nutzung von generativen KI-Diensten für Text, Code oder Bilder
• KI-gestützte Übersetzung
• Assistenten in Office- oder Kollaborationsplattformen
• Spezialisierte Fachtools mit integrierter KI-Funktion

Um hier rechtssicherer zu arbeiten, solltest du mindestens:

1. Ein KI-Inventar aufbauen Erfasse, welche KI-Tools offiziell und inoffiziell genutzt werden. Ohne Überblick keine Compliance.

2. KI-Nutzungspolicy definieren Kläre zum Beispiel:

• Welche Tools sind erlaubt, welche verboten?
• Welche Daten dürfen eingegeben werden, welche nicht (z. B. personenbezogene Daten, vertrauliche Informationen)?
• Wie ist mit generierten Inhalten umzugehen, insbesondere im Hinblick auf Verlässlichkeit, Urheberrechte und Geheimhaltung?

3. Risikoklassifizierung vor Nutzung Prüfe vor Einführung eines Tools:

• Fällt es in eine Hochrisiko-Kategorie?
• Sind Transparenzpflichten betroffen (Chatbot, Deepfake, Emotionserkennung)?
• Welche Datenschutzrisiken bestehen?

4. Schulung der Mitarbeitenden Erkläre, was der AI Act grob verlangt, welche Tools freigegeben sind und wo typische Fallstricke liegen, etwa „Halluzinationen“ oder verdeckte Trainingsnutzung von Eingabedaten.

Passende Seminare und Termine findest du bei uns auf cmt.de.

Governance und Dokumentation: Ohne Struktur keine Compliance

KI-Compliance ist kein einmaliges Projekt, sondern ein laufender Prozess. In der Praxis hat sich eine schlanke, aber klare Governance-Struktur bewährt.

Rollen und Gremien

Typisch sind:

• Fachverantwortliche für jedes KI-System
• IT bzw. CIO für technische Integration und Sicherheit
• Datenschutzbeauftragte für DSGVO/BDSG-Aspekte
• Informationssicherheitsbeauftragte für ISMS-Bezug
• Compliance- oder Rechtsabteilung für AI-Act-Bewertung und Vertragsgestaltung

Je nach Größe kannst du ein zentrales KI-Board oder eine Arbeitsgruppe etablieren, die KI-Projekte prüft und priorisiert.

Dokumentation: Was sollte mindestens vorliegen?

Eine pragmatische Mindestdokumentation umfasst:

• Inventar der KI-Systeme mit:
• Bezeichnung und Zweck
• Risikoklasse nach AI Act
• Rolle der Organisation (Anbieter, Betreiber)
• Verantwortliche Person oder Stelle
• Risikoanalyse:
• Betroffene Rechtsgüter und Personengruppen
• Mögliche Diskriminierungen oder Fehlentscheidungen
• Sicherheits- und Verfügbarkeitsrisiken
• Maßnahmenplan:
• Technische und organisatorische Maßnahmen
• Überwachungs- und Kontrollmechanismen
• Schulungskonzept
• Entscheidungsprotokolle:
• Warum wurde die Risikoklasse so eingeordnet?
• Warum wurde ein bestimmtes System ausgewählt oder abgelehnt?

Diese Unterlagen helfen nicht nur für den AI Act, sondern auch in Prüfungen, Audits oder bei Rückfragen von Aufsichtsbehörden.

Beispielhafte Checkliste für ein KI-Projekt

Prüffrage	Ja/Nein	Wer ist zuständig?
Ist das System ein KI-System im Sinne des AI Act?
Wurde die Risikoklasse geprüft und dokumentiert?
Ist unsere Rolle (Anbieter/Betreiber) geklärt und vertraglich abgebildet?
Liegt eine Datenschutz-Folgenabschätzung vor, falls erforderlich?
Sind Transparenzpflichten gegenüber Nutzenden definiert und umgesetzt?
Gibt es eine Regelung zur menschlichen Aufsicht?
Ist das System im zentralen KI-Inventar erfasst?
Sind Schulungen für betroffene Mitarbeitende geplant oder erfolgt?

Zusammenspiel mit Datenschutz: AI Act und DSGVO gemeinsam denken

Der AI Act ändert die DSGVO nicht, aber er verschärft in vielen Fällen die Anforderungen an Datenschutz und Datensicherheit faktisch.

Wichtige Schnittstellen:

• Rechtsgrundlage und Zweckbindung KI-Projekte, die personenbezogene Daten verarbeiten, brauchen eine tragfähige Rechtsgrundlage. Für Behörden meist § 3 BDSG i. V. m. Fachgesetzen, für Unternehmen Art. 6 Abs. 1 DSGVO. Der Zweck der KI-Verarbeitung muss klar definiert sein.

• Datenschutz-Folgenabschätzung (DSFA) Viele Hochrisiko-KI-Anwendungen werden eine DSFA nach Art. 35 DSGVO erfordern, etwa bei umfassendem Scoring, Überwachung oder sensiblen Daten. Die Risikoanalyse für den AI Act kannst du mit der DSFA verzahnen, solltest die Anforderungen aber nicht vermischen.

• Datenqualität und Fairness Der AI Act fordert Qualitätsanforderungen an Trainings-, Validierungs- und Testdaten. Aus Datenschutzsicht geht es zusätzlich um Datenminimierung, Richtigkeit und Vermeidung von Diskriminierung. Bei öffentlichen Auftraggebern ist dies auch ein Gleichbehandlungs- und Antidiskriminierungsthema.

• Transparenz gegenüber Betroffenen Informationspflichten nach Art. 13, 14 DSGVO und Transparenzpflichten des AI Act ergänzen sich. Du solltest einheitliche Kommunikationsbausteine entwickeln, die sowohl Datenschutz- als auch KI-Informationen abdecken.

• Auftragsverarbeitung und gemeinsame Verantwortung Viele KI-Dienste werden von Dritten erbracht. Prüfe, ob eine Auftragsverarbeitung vorliegt oder eine gemeinsame Verantwortlichkeit. Verträge müssen sowohl DSGVO- als auch AI-Act-Pflichten adressieren, etwa zu Logging, Fehlerberichten und Modellupdates.

Fazit: Frühzeitig strukturieren, statt später hinterherräumen

Der EU AI Act zwingt dich, KI-Projekte systematischer anzugehen. Das ist Aufwand, vermeidet aber spätere Rechts- und Reputationsschäden. Wenn du:

• deine KI-Systeme inventarisierst,
• Risikoklassen bewusst einordnest,
• Rollen und Pflichten vertraglich und organisatorisch klärst,
• Governance-Strukturen und Dokumentation etablierst und
• Datenschutz von Beginn an mitdenkst,

bist du für die praktische Umsetzung von KI-Compliance deutlich besser aufgestellt. KI bleibt damit beherrschbar und rechtlich einordbar, statt zum unkontrollierten Experiment zu werden.