Grundrechte-Folgenabschätzung nach Art. 27 KI-Verordnung: Hochrisiko-KI in Behörden rechtssicher einsetzen

Eine Behörde möchte ein KI-System einsetzen, das Anträge vorsortiert, Risikofälle priorisiert oder Beschäftigte bei Entscheidungen unterstützt. Die Fachabteilung sieht deutliche Zeitgewinne, der IT-Einkauf bereitet die Beschaffung vor, Datenschutz und Compliance werden kurz vor dem Go-live eingebunden. Genau an diesem Punkt darf die Grundrechte-Folgenabschätzung nicht zu einem nachträglichen Formular werden: Für bestimmte Hochrisiko-KI-Systeme ist sie seit dem 2. August 2026 vor dem Einsatz gesetzlich vorgeschrieben.

Art. 27 der KI-Verordnung verpflichtet bestimmte Betreiber, die Auswirkungen eines geplanten KI-Einsatzes auf Grundrechte zu prüfen. Gemeint ist nicht allein der Datenschutz. Die Bewertung muss vielmehr erfassen, ob und wie das System etwa Gleichbehandlung, Menschenwürde, Zugang zu öffentlichen Leistungen, Privatsphäre, wirksame Rechtsbehelfe oder die Rechte von Beschäftigten beeinträchtigen kann.

Für Behörden ist das besonders relevant, weil KI-Systeme häufig Entscheidungen vorbereiten, die für Bürgerinnen und Bürger spürbare Folgen haben. Aber auch private Unternehmen können erfasst sein, wenn sie öffentliche Dienstleistungen erbringen oder KI für bestimmte Kreditwürdigkeits- oder Versicherungsentscheidungen einsetzen.

Infografik zu Grundrechte-Folgenabschätzung nach Art. 27 KI-Verordnung: Hochrisiko-KI in Behörden rechtssicher einsetzen (KI-generiert).

Wann greift die Pflicht nach Art. 27 KI-Verordnung?

Die Grundrechte-Folgenabschätzung, häufig als „Fundamental Rights Impact Assessment“ oder FRIA bezeichnet, betrifft nicht jedes KI-System. Zunächst muss es sich um ein Hochrisiko-KI-System handeln, das unter Art. 6 Abs. 2 in Verbindung mit Anhang III der KI-Verordnung fällt.

Anhang III nennt unter anderem KI-Systeme für folgende Einsatzbereiche:

• Bildung und Berufsbildung, etwa zur Bewertung von Prüfungsleistungen oder zur Zulassung
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
• Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen sowie Leistungen
• Strafverfolgung, Migration, Asyl und Grenzkontrolle
• Rechtspflege und demokratische Prozesse
• bestimmte biometrische Anwendungen

Für die Pflicht aus Art. 27 reicht die Einordnung als Hochrisiko-KI jedoch nicht allein. Erfasst sind insbesondere:

• Behörden und sonstige Einrichtungen des öffentlichen Rechts, die ein Hochrisiko-KI-System einsetzen
• private Stellen, soweit sie öffentliche Dienstleistungen erbringen und ein entsprechendes Hochrisiko-KI-System einsetzen
• Betreiber von KI-Systemen zur Bewertung der Kreditwürdigkeit natürlicher Personen oder zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen

Eine wichtige Ausnahme enthält Art. 27 für bestimmte Systeme im Bereich Bildung und Berufsbildung nach Anhang III Nr. 2. Daraus folgt aber nicht, dass diese Systeme rechtlich unbedenklich wären. Datenschutzrechtliche, arbeitsrechtliche, vergaberechtliche und sonstige Anforderungen bleiben bestehen.

Entscheidend ist außerdem die korrekte Risikoeinstufung. Nicht jede Software mit KI-Funktion ist automatisch Hochrisiko-KI. Umgekehrt kann eine scheinbar unterstützende Anwendung hochrelevant sein, wenn sie faktisch Auswahlentscheidungen prägt, Prioritäten setzt oder den Zugang zu Leistungen beeinflusst. Für die Beschaffung lohnt sich deshalb eine frühe Prüfung, wie du sie auch bei KI-Systemen ausschreiben: Vergabe- und Vertragsklauseln zum EU AI Act systematisch vorbereiten kannst.

Vor dem Einsatz, nicht nach dem Go-live

Die Grundrechte-Folgenabschätzung ist vor der Inbetriebnahme durchzuführen. Sie gehört damit in die Planungs- und Beschaffungsphase. Wer erst nach Zuschlag oder nach Abschluss der technischen Einführung prüft, stellt häufig fest, dass wesentliche Schutzmaßnahmen nur mit Zusatzkosten, Vertragsänderungen oder Verzögerungen umsetzbar sind.

In der Praxis sollte die Prüfung spätestens beginnen, wenn der fachliche Einsatzzweck feststeht und der Markt ausreichende Informationen zu möglichen Lösungen liefert. Zu diesem Zeitpunkt lassen sich Anforderungen an Transparenz, menschliche Aufsicht, Protokollierung, Beschwerdewege und Datenqualität noch sinnvoll in Leistungsbeschreibung und Vertrag aufnehmen.

Eine rechtssichere Vorbereitung umfasst typischerweise diese Schritte:

1. Einsatzzweck eindeutig abgrenzen
   Beschreibe, welche Entscheidung das System unterstützt, welche Personen betroffen sind und welche Folgen eine fehlerhafte Empfehlung haben kann.

2. Hochrisiko-Einordnung dokumentieren
   Halte fest, welcher Tatbestand aus Anhang III geprüft wurde und weshalb das System als Hochrisiko-KI einzuordnen ist oder nicht.

3. Rollen und Zuständigkeiten bestimmen
   Der Fachbereich verantwortet den Zweck und die fachliche Entscheidungspraxis. IT und Informationssicherheit prüfen Integration, Zugriffe und technische Kontrollen. Datenschutz bewertet die Verarbeitung personenbezogener Daten. Vergabe und Rechtsabteilung sichern Anforderungen, Nachweise und Vertragsklauseln ab.

4. Anbieterinformationen einfordern
   Fordere die für Betreiber vorgesehenen Informationen, Gebrauchsanweisungen, Angaben zu Leistungsgrenzen, Protokollierung und menschlicher Aufsicht frühzeitig an. Die Unterlagen des Anbieters ersetzen deine Folgenabschätzung nicht, sind aber eine zentrale Arbeitsgrundlage.

5. Schutzmaßnahmen verbindlich machen
   Definiere nicht nur abstrakte Ziele. Lege konkret fest, wer Empfehlungen kontrolliert, wann Entscheidungen überstimmt werden müssen, wie Fehler gemeldet werden und welche Eskalation bei auffälligen Ergebnissen greift.

Was gehört in die Grundrechte-Folgenabschätzung?

Art. 27 benennt Mindestinhalte. Die Bewertung muss nachvollziehbar zeigen, dass du den konkreten Einsatz und seine Auswirkungen verstanden hast. Allgemeine Herstellerbroschüren oder eine knappe Datenschutznotiz genügen nicht.

Prüfpunkt	Praktische Fragen
Geplanter Einsatz	Welche Aufgabe übernimmt das System? Welche Entscheidungen werden beeinflusst?
Zeitraum und Häufigkeit	Ist der Einsatz einmalig, dauerhaft oder nur in bestimmten Verfahrensphasen vorgesehen?
Betroffene Personen	Welche Gruppen sind voraussichtlich betroffen? Gibt es besonders schutzbedürftige Personen?
Grundrechtsrisiken	Können Benachteiligungen, Ausschlüsse, fehlerhafte Priorisierungen oder intransparente Entscheidungen entstehen?
Menschliche Aufsicht	Wer prüft Ergebnisse? Welche Fachkenntnisse sind erforderlich? Wann darf nicht automatisiert entschieden werden?
Abhilfemaßnahmen	Wie werden Fehler erkannt, Beschwerden bearbeitet, Entscheidungen korrigiert und Schäden begrenzt?

Bei einer Behörde sollte die Betrachtung nicht bei abstrakten Grundrechten stehen bleiben. Wenn ein System etwa Anträge auf Sozialleistungen priorisiert, können Verzögerungen oder Fehlklassifikationen den tatsächlichen Zugang zu existenzsichernden Leistungen beeinträchtigen. Bei KI im Personalbereich können verzerrte Trainingsdaten oder ungeeignete Bewertungskriterien zu mittelbaren Benachteiligungen führen. Bei einer KI-gestützten Betrugserkennung besteht das Risiko, dass auffällige Muster vorschnell als Verdacht behandelt werden.

Prüfe deshalb immer die vollständige Entscheidungskette: Datenerhebung, Eingabedaten, KI-Ausgabe, menschliche Prüfung, Entscheidung, Kommunikation mit Betroffenen und Beschwerde. Gerade die Schnittstellen zwischen diesen Schritten bergen oft die größten Risiken.

Grundrechte-Folgenabschätzung und DSFA unterscheiden

Die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO und die Grundrechte-Folgenabschätzung nach Art. 27 KI-Verordnung haben Überschneidungen, sind aber nicht identisch.

Die DSFA prüft Risiken für Rechte und Freiheiten natürlicher Personen, die aus einer Verarbeitung personenbezogener Daten entstehen. Im Mittelpunkt stehen beispielsweise Umfang und Sensibilität der Daten, Zweckbindung, Rechtsgrundlage, Zugriffskonzepte, Speicherfristen, Datenübermittlungen und technische sowie organisatorische Maßnahmen.

Die Grundrechte-Folgenabschätzung untersucht weitergehend die Folgen des konkreten KI-Einsatzes. Sie fragt etwa, ob das System zu ungerechtfertigten Benachteiligungen führt, ob Betroffene eine Entscheidung nachvollziehen und anfechten können und ob die menschliche Aufsicht tatsächlich wirksam ist. Auch ein KI-System mit datensparsamer Verarbeitung kann erhebliche Grundrechtsrisiken auslösen, wenn seine Ergebnisse den Zugang zu Leistungen oder Chancen beeinflussen.

DSFA nach DSGVO	Grundrechte-Folgenabschätzung nach Art. 27 KI-Verordnung
Anlass ist eine voraussichtlich hochriskante Datenverarbeitung.	Anlass ist der Einsatz bestimmter Hochrisiko-KI-Systeme durch bestimmte Betreiber.
Schwerpunkt sind Datenschutz und Datensicherheit.	Schwerpunkt sind Grundrechtsauswirkungen des konkreten KI-Einsatzes.
Verantwortlich ist der datenschutzrechtlich Verantwortliche.	Verantwortlich ist der Betreiber des KI-Systems.
Betrachtet personenbezogene Datenverarbeitung.	Betrachtet auch Entscheidungsfolgen, Diskriminierungsrisiken und Zugangshürden.

Du darfst beide Bewertungen organisatorisch verbinden und gemeinsame Informationen nutzen. Die KI-Verordnung erkennt diese Möglichkeit ausdrücklich an. Dennoch müssen die jeweiligen gesetzlichen Anforderungen erkennbar erfüllt sein. Eine vorhandene DSFA ersetzt Art. 27 nicht automatisch. Für die datenschutzrechtliche Seite findest du eine praxistaugliche Vertiefung in unserem Beitrag DSFA für KI-Chatbots und KI-Agenten: Wann sie erforderlich ist und wie Sie vorgehen.

Beschaffung: Anforderungen vor Zuschlag absichern

Die Folgenabschätzung ist kein Dokument, das allein beim Fachbereich liegen sollte. Sie braucht Informationen, die nur der Anbieter liefern kann, und Schutzmaßnahmen, die vertraglich durchsetzbar sein müssen. Deshalb sollten Vergabestelle, Fachbereich, Datenschutz, Informationssicherheit und Compliance von Beginn an gemeinsam arbeiten.

Nimm insbesondere folgende Punkte in Vergabeunterlagen und Vertrag auf:

• klare Beschreibung des zulässigen Einsatzzwecks und der ausgeschlossenen Verwendungen
• nachvollziehbare Angaben zu Datenquellen, Datenqualität, bekannten Grenzen und Fehlerrisiken
• technische Protokollierung der Systemnutzung und der relevanten Ausgaben
• Funktionen für wirksame menschliche Kontrolle, Korrektur und Übersteuerung
• Dokumentation von Änderungen am Modell, an Parametern und an Schnittstellen
• Informationspflichten des Auftragnehmers bei Sicherheitsvorfällen, Leistungsproblemen oder wesentlichen Änderungen
• Unterstützung bei Beschwerden, Prüfungen und der Aktualisierung der Folgenabschätzung
• Regelungen zu Testdaten, Produktivdaten, Zugriffsrechten und Löschkonzepten

Bereits vor der Ausschreibung kann eine strukturierte Markterkundung helfen, technische Möglichkeiten und marktübliche Nachweise realistisch einzuordnen. Dabei müssen Gleichbehandlung und Transparenz gewahrt bleiben. Hinweise dazu geben wir in Markterkundung vor der IT-Ausschreibung: Marktdialog rechtssicher führen.

Nachweise, Aktualisierung und interne Governance

Die Grundrechte-Folgenabschätzung ist eine belastbare Entscheidungsunterlage. Sie sollte versioniert, freigegeben und so abgelegt werden, dass zuständige Stellen sie bei Prüfungen nachvollziehen können. Soweit dies im Einzelfall angemessen ist, müssen Betreiber das Ergebnis der zuständigen Marktüberwachungsbehörde mitteilen und die vollständige Bewertung vorlegen.

Auch nach dem Start endet die Aufgabe nicht. Überprüfe die Bewertung insbesondere, wenn sich der Zweck, die betroffenen Personengruppen, die verwendeten Daten, das Modell oder die Entscheidungsprozesse wesentlich ändern. Gleiches gilt bei auffälligen Fehlerquoten, Beschwerden, Sicherheitsvorfällen oder Erkenntnissen über diskriminierende Wirkungen.

Eine schlanke Governance verhindert, dass die Unterlage in der Ablage verschwindet:

• Benenne eine fachlich verantwortliche Stelle für den KI-Einsatz.
• Lege feste Prüftermine und auslösende Ereignisse für Aktualisierungen fest.
• Führe ein Register der eingesetzten KI-Systeme, ihrer Zwecke und Verantwortlichkeiten.
• Dokumentiere Schulungen für Personen, die KI-Ausgaben prüfen oder Entscheidungen treffen.
• Richte klare Meldewege für Fehler, Beschwerden und Verdachtsfälle ein.

Die erforderliche Kompetenz betrifft nicht nur technische Teams. Wer KI beschafft, beaufsichtigt oder ihre Ergebnisse in Entscheidungen einbezieht, muss Risiken und Grenzen verstehen. Welche Anforderungen sich daraus ergeben, erläutern wir in KI-Kompetenz nach Art. 4 KI-Verordnung: Schulungen, Nachweise und Verantwortlichkeiten richtig organisieren.

Checkliste vor der Inbetriebnahme

Bevor du ein Hochrisiko-KI-System aktiv schaltest, sollte diese Checkliste vollständig beantwortet sein:

• Ist die Hochrisiko-Einstufung nach Art. 6 und Anhang III dokumentiert?
• Fällt deine Organisation als Behörde, öffentliche Stelle, Erbringer öffentlicher Dienstleistungen oder wegen des konkreten Einsatzbereichs unter Art. 27?
• Liegt eine vollständige Grundrechte-Folgenabschätzung vor?
• Ist zusätzlich eine DSFA erforderlich und abgeschlossen?
• Sind menschliche Aufsicht, Eskalation und Korrekturmöglichkeiten praktisch umsetzbar?
• Enthalten Vertrag und Leistungsbeschreibung die notwendigen Informations-, Mitwirkungs- und Änderungsrechte?
• Wissen Mitarbeitende, wann sie KI-Ergebnisse nicht ungeprüft übernehmen dürfen?
• Sind Beschwerde-, Prüf- und Aktualisierungsprozesse festgelegt?

Passende Seminare und Termine findest du bei uns auf cmt.de.