KI-Systeme ausschreiben: Vergabe- und Vertragsklauseln zum EU AI Act

Eine Fachabteilung möchte kurzfristig einen Copiloten für die Sachbearbeitung einsetzen. Der Anbieter zeigt überzeugende Ergebnisse, die Lizenz ist schnell buchbar und die Einführung soll noch in diesem Quartal starten. Für die Vergabestelle beginnen damit die entscheidenden Fragen: Welche Daten verarbeitet das System? Trifft oder beeinflusst es Entscheidungen über Menschen? Welche Rolle übernimmt der Auftraggeber nach dem EU AI Act? Und was passiert, wenn der Anbieter Modell, Funktionen oder Nutzungsbedingungen während der Laufzeit verändert?

KI-Systeme lassen sich nicht wie gewöhnliche Standardsoftware ausschreiben. Gerade bei generativer KI, KI-gestützten Fachverfahren und cloudbasierten Copiloten entstehen Risiken aus Datenverarbeitung, nicht nachvollziehbaren Ergebnissen, Modelländerungen und Abhängigkeiten vom Anbieter. Eine belastbare Beschaffung verbindet daher Vergabeunterlagen, technische Anforderungen, Datenschutz, IT-Sicherheit und Vertragsrecht von Beginn an.

Infografik zu KI-Systeme ausschreiben: Vergabe- und Vertragsklauseln zum EU AI Act (KI-generiert).

Den Anwendungsfall vor der Vergabe sauber einordnen

Der EU AI Act, also die Verordnung (EU) 2024/1689, knüpft Pflichten nicht allein an die Bezeichnung eines Produkts, sondern an dessen konkreten Einsatzzweck und die Rolle der Beteiligten. Ob ein System als Hochrisiko-KI-System gilt, hängt deshalb wesentlich davon ab, wie du es einsetzen willst.

Seit dem 2. August 2026 gelten die meisten Regelungen des EU AI Act. Bereits seit dem 2. Februar 2025 gelten die Verbote bestimmter KI-Praktiken sowie Anforderungen an ausreichende KI-Kompetenz. Für bestimmte Hochrisiko-KI-Systeme, die Sicherheitsbauteile regulierter Produkte sind oder selbst unter besondere Produktvorschriften fallen, greifen weitere Anforderungen ab dem 2. August 2027.

Vor der Markterkundung solltest du den Einsatzfall schriftlich beschreiben. Kläre insbesondere:

• Welche Aufgabe soll das KI-System konkret unterstützen oder übernehmen?
• Wer nutzt das System und wer ist von seinen Ergebnissen betroffen?
• Werden natürliche Personen bewertet, priorisiert, ausgewählt oder überwacht?
• Haben Ergebnisse unmittelbare Auswirkungen auf Verwaltungsentscheidungen, Personalentscheidungen, Leistungsgewährungen oder Zugänge?
• Nutzt das System personenbezogene Daten, besondere Kategorien personenbezogener Daten oder vertrauliche Informationen?
• Ist eine menschliche Prüfung vor jeder folgenreichen Entscheidung vorgesehen und praktisch möglich?
• Werden Ausgaben des Systems nur als Entwurf genutzt oder automatisiert weiterverarbeitet?

Eine allgemeine Formulierung wie „KI-Unterstützung für die Sachbearbeitung“ reicht nicht. Beschreibe stattdessen konkrete Nutzungsszenarien. Beispielsweise kann ein System Dokumente zusammenfassen, Entwürfe erstellen oder Akten klassifizieren. Davon klar zu trennen ist ein System, das Bewerbungen bewertet, Betrugsrisiken priorisiert oder über die Wahrscheinlichkeit eines Zahlungsausfalls informiert.

Risikoanalyse in die Leistungsbeschreibung übersetzen

Die Leistungsbeschreibung darf nicht nur Funktionen abfragen. Sie muss festlegen, welche Risiken der Auftragnehmer beherrscht und welche Nachweise er dafür vorlegt. Dabei ist zwischen Mindestanforderungen, Zuschlagskriterien und Vertragsbedingungen zu unterscheiden.

Mindestanforderungen betreffen Punkte, ohne die das Angebot nicht wertbar ist. Dazu zählen etwa eine dokumentierte Zweckbestimmung, Sicherheitsmaßnahmen, Angaben zur Datenverarbeitung oder die Möglichkeit menschlicher Kontrolle. Zuschlagskriterien können dagegen die Qualität des Transparenzkonzepts, die Prüfkonzepte oder die Nachvollziehbarkeit der technischen Dokumentation bewerten.

Themenfeld	Anforderungen für die Vergabeunterlagen
Zweckbestimmung	Konkrete Beschreibung der vorgesehenen Aufgaben, Nutzergruppen, Einsatzgrenzen und ausgeschlossenen Verwendungen
Risikoklasse	Darlegung des Anbieters, ob und warum das System unter eine Risikokategorie des EU AI Act fällt
Daten	Angaben zu Herkunft, Qualität, Aktualität, Repräsentativität und bekannten Einschränkungen der verwendeten Daten
Transparenz	Verständliche Informationen zu Funktionsweise, Grenzen, Fehlermöglichkeiten und erforderlicher menschlicher Prüfung
Kontrolle	Bedienkonzept für menschliche Aufsicht, Korrektur, Übersteuerung und Abschaltung
Sicherheit	Schutz gegen unbefugten Zugriff, Manipulation, Prompt Injection, Datenabfluss und missbräuchliche Nutzung
Protokollierung	Nachvollziehbare Logs zu Eingaben, Ausgaben, Modellversionen, Änderungen und Eingriffen
Änderungen	Geregeltes Verfahren für Modellwechsel, neue Funktionen, geänderte Datenflüsse und geänderte Unterauftragnehmer
Exit	Export, Löschung, Übergabe von Daten und Unterstützung beim Anbieterwechsel

Formuliere Anforderungen so präzise, dass Bieter sie vergleichbar beantworten können. Statt „Das System muss transparent sein“ ist besser: „Der Auftragnehmer stellt für jede produktive Modellversion eine Dokumentation bereit, die Zweckbestimmung, bekannte Leistungsgrenzen, Datenkategorien, menschliche Kontrollmöglichkeiten und wesentliche Änderungen gegenüber der Vorversion beschreibt.“

Datenqualität und Datenflüsse verbindlich regeln

Bei KI-Systemen entscheidet die Datenbasis häufig über die Qualität und Rechtmäßigkeit des Einsatzes. Das gilt für Trainingsdaten ebenso wie für Eingabedaten, Abrufdaten und Protokolldaten. Bei einem Copiloten kann schon eine einzelne Eingabe vertrauliche Vertragsinformationen, personenbezogene Daten oder Geschäftsgeheimnisse enthalten.

Fordere deshalb eine Datenflussbeschreibung. Sie sollte nachvollziehbar darstellen, welche Daten in welchem Verarbeitungsschritt anfallen, wo sie verarbeitet werden, wie lange sie gespeichert bleiben und welche Stellen darauf zugreifen können. Bei Cloud-Angeboten gehört auch die Information dazu, ob Daten zur Verbesserung allgemeiner Modelle verwendet werden. Wenn dies ausgeschlossen sein soll, muss der Vertrag ein eindeutiges Verbot enthalten.

Für Datenqualität sind folgende Regelungen sinnvoll:

• Der Auftragnehmer dokumentiert Datenquellen und Qualitätskontrollen, soweit diese für den vorgesehenen Einsatz relevant sind.
• Bekannte Verzerrungen, Lücken und Fehlermuster werden offen benannt.
• Der Auftragnehmer informiert unverzüglich über Erkenntnisse, die die Eignung des Systems für den vereinbarten Zweck beeinträchtigen können.
• Der Auftraggeber kann fehlerhafte oder ungeeignete Datenbestände sperren, berichtigen oder deren Nutzung untersagen.
• Produktive Eingabedaten dürfen nicht zu Trainings- oder Verbesserungszwecken genutzt werden, sofern dies nicht ausdrücklich vereinbart wurde.
• Löschfristen, Speicherorte und technische Löschverfahren sind nachvollziehbar festzulegen.

Datenschutzrechtliche Anforderungen ersetzt der EU AI Act nicht. Prüfe daher zusätzlich, ob eine Auftragsverarbeitungsvereinbarung erforderlich ist, welche technischen und organisatorischen Maßnahmen notwendig sind und ob eine Datenschutz-Folgenabschätzung in Betracht kommt. Die Vertragsunterlagen müssen zu diesen Vorgaben passen.

Transparenz und menschliche Aufsicht praktisch gestalten

Transparenz ist nicht erfüllt, wenn der Anbieter lediglich ein Handbuch bereitstellt. Nutzer müssen erkennen können, wann sie mit KI arbeiten, welche Ergebnisse überprüft werden müssen und welche Grenzen das System hat. Das ist besonders wichtig, wenn Ausgaben überzeugend formuliert sind, aber sachlich falsch, unvollständig oder diskriminierend sein können.

Lege in der Leistungsbeschreibung fest, welche Hinweise die Benutzeroberfläche enthalten muss. Dazu können Warnhinweise bei unsicheren Ergebnissen, Quellenangaben bei Abruffunktionen, Kennzeichnungen KI-generierter Inhalte und Hinweise auf nicht zulässige Eingaben gehören.

Menschliche Aufsicht braucht außerdem echte Handlungsmöglichkeiten. Die zuständige Person muss Ergebnisse prüfen, verwerfen, ändern und die Nutzung nötigenfalls unterbrechen können. Eine nur formale Freigabe, die unter Zeitdruck oder ohne ausreichende Information erfolgt, genügt nicht.

Für folgenreiche Einsatzfälle solltest du festschreiben:

• KI-Ergebnisse dürfen keine automatische Entscheidung mit rechtlicher oder vergleichbarer erheblicher Wirkung auslösen.
• Fachlich verantwortliche Personen prüfen Ergebnisse vor einer Weiterverwendung.
• Das System ermöglicht die Korrektur und Dokumentation abweichender Entscheidungen.
• Nutzer erhalten aufgabenbezogene Einweisungen zu Grenzen, Fehlermustern und zulässiger Nutzung.
• Der Auftragnehmer unterstützt bei der Erstellung verständlicher Nutzerinformationen.

Audit-, Nachweis- und Meldepflichten vereinbaren

Ohne belastbare Nachweisrechte bleibt eine KI-Klausel oft wirkungslos. Der Auftraggeber muss überprüfen können, ob zugesagte Anforderungen während der gesamten Vertragslaufzeit erfüllt sind. Das bedeutet nicht zwingend, dass jede Stelle vollständigen Zugang zum Quellcode benötigt. Entscheidend sind angemessene, überprüfbare Informationen und Rechte.

Vereinbare ein abgestuftes Auditkonzept. Regelmäßige Berichte können durch Nachweise unabhängiger Prüfungen, Sicherheitsdokumentationen, Protokolle und Gespräche ergänzt werden. Bei konkreten Sicherheitsvorfällen, erheblichen Leistungsproblemen oder dem Verdacht auf Vertragsverstöße sollten weitergehende Prüfungen möglich sein.

Eine praxistaugliche Klauselstruktur umfasst:

• Regelmäßige Bereitstellung aktueller technischer und organisatorischer Dokumentationen.
• Auskunft über eingesetzte Modelle, Modellversionen, wesentliche Komponenten und Unterauftragnehmer.
• Meldung erheblicher Störungen, Sicherheitsvorfälle und erkannter Fehlfunktionen innerhalb einer vertraglich definierten Frist.
• Unterstützung bei Untersuchungen, Korrekturmaßnahmen und behördlichen Anfragen.
• Einsichtsrechte in relevante Protokolle und Nachweise unter Wahrung berechtigter Geheimhaltungsinteressen.
• Verpflichtung zur Beseitigung festgestellter Mängel nach einem verbindlichen Maßnahmenplan.

Bei Hochrisiko-KI-Systemen sind die Anforderungen deutlich weitergehend. Hier müssen insbesondere Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit nachvollziehbar abgesichert werden. Lass dir nicht nur die Konformität behaupten, sondern fordere die für deine Rolle erforderlichen Informationen und Mitwirkungspflichten ein.

Änderungen am KI-System kontrollieren

KI-Angebote ändern sich häufig. Anbieter tauschen Basismodelle aus, passen Sicherheitsfilter an, erweitern Funktionen oder verlagern Verarbeitungsschritte. Was technisch als Verbesserung erscheint, kann rechtlich ein neuer Risikofall sein. Ein Modellwechsel kann beispielsweise andere Fehlerbilder, Datenflüsse oder Speicherorte verursachen.

Der Vertrag sollte deshalb ein Change-Verfahren enthalten. Der Auftragnehmer kündigt relevante Änderungen rechtzeitig an und beschreibt deren Auswirkungen auf Funktion, Sicherheit, Datenschutz, Leistungsfähigkeit und EU-AI-Act-Einordnung. Der Auftraggeber muss ausreichend Zeit zur Prüfung erhalten.

Definiere zustimmungspflichtige Änderungen klar. Dazu gehören insbesondere:

• Austausch oder wesentliche Änderung des verwendeten Modells.
• Neue Datenkategorien oder neue Zwecke der Datenverarbeitung.
• Änderungen von Speicherorten oder Unterauftragnehmern.
• Erweiterungen automatisierter Entscheidungen oder Bewertungen.
• Änderungen der Schnittstellen zu Fachverfahren.
• Wegfall vereinbarter Sicherheits-, Transparenz- oder Kontrollfunktionen.

Für kritische Änderungen sollte der Auftraggeber die produktive Nutzung aussetzen oder ablehnen können. Ergänze dies um Rückfalloptionen, damit ein Fachverfahren bei Problemen ohne KI-Unterstützung weiter betrieben werden kann.

Exit-Rechte schon vor dem Zuschlag absichern

Ein Exit ist bei KI-Systemen mehr als die Rückgabe von Daten. Du brauchst auch Zugriff auf Konfigurationen, Prompt-Vorlagen, Wissensbestände, Schnittstellendokumentationen, Prüfprotokolle und nutzerspezifische Einstellungen. Nur so kannst du das Verfahren fortführen oder zu einem anderen Anbieter wechseln.

Regle daher, welche Daten und Unterlagen in welchem Format herauszugeben sind. Vereinbare offene, maschinenlesbare Formate, angemessene Übergabezeiten und Unterstützung bei Migration und Löschung. Wichtig ist auch die Frage, was mit individuell entwickelten Anpassungen geschieht und welche Nutzungsrechte nach Vertragsende bestehen.

Bei uns vermitteln wir diese Schnittstelle aus Vergaberecht, EVB-IT, Datenschutz und IT-Compliance anhand konkreter Beschaffungsfälle. Passende Seminare und Termine findest du bei uns auf cmt.de.

Checkliste für deine KI-Ausschreibung

Vor Veröffentlichung der Vergabeunterlagen solltest du prüfen:

• Ist der konkrete Einsatzzweck einschließlich ausgeschlossener Nutzungen beschrieben?
• Hast du die mögliche Risikokategorie nach EU AI Act bewertet?
• Sind Datenschutz, Informationssicherheit und Fachverantwortung frühzeitig eingebunden?
• Fordert die Leistungsbeschreibung prüfbare Nachweise statt allgemeiner Zusagen?
• Sind Datenflüsse, Datennutzung und Löschung eindeutig geregelt?
• Gibt es Anforderungen an Transparenz, Protokollierung und menschliche Kontrolle?
• Sind Audit-, Informations- und Meldepflichten vertraglich durchsetzbar?
• Erfasst das Change-Verfahren Modellwechsel und neue Datenflüsse?
• Sind Rückfallbetrieb, Datenexport und Anbieterwechsel vorbereitet?

Wer diese Punkte strukturiert behandelt, beschafft nicht nur ein leistungsfähiges KI-Werkzeug. Du schaffst auch die Grundlage dafür, dass die Nutzung über den gesamten Lebenszyklus kontrollierbar, nachvollziehbar und rechtlich belastbar bleibt.