DSFA für KI-Chatbots und KI-Agenten: Wann sie erforderlich ist und wie Sie vorgehen

Ein Fachbereich möchte einen KI-Agenten einsetzen, der eingehende Kundenanfragen analysiert, passende Antworten vorbereitet, Termine im CRM anlegt und bei Bedarf Tickets an den Support weiterleitet. Im Pilotbetrieb kopieren Mitarbeitende jedoch auch Vertragsauszüge, Beschwerdefälle und Informationen zu gesundheitlich eingeschränkten Kunden in das Chatfenster. Spätestens jetzt reicht die Frage „Ist das Tool datenschutzkonform?“ nicht mehr aus. Du musst strukturiert prüfen, ob eine Datenschutz-Folgenabschätzung, kurz DSFA, erforderlich ist und wie sich die tatsächlichen Risiken beherrschen lassen.

Eine DSFA ist kein Formular, das man erst nach Einführung einer KI ausfüllt. Sie ist ein Prüf- und Steuerungsprozess vor Beginn der Verarbeitung. Bei KI-Chatbots und insbesondere bei handlungsfähigen KI-Agenten hilft sie dir, Datenflüsse, Rollen, Zugriffsmöglichkeiten und Fehlerszenarien nachvollziehbar zu machen. Das ist wichtig, weil generative KI nicht nur Daten entgegennimmt, sondern Inhalte zusammenfassen, bewerten, weitergeben und unter Umständen Folgeaktionen auslösen kann.

Infografik zu DSFA für KI-Chatbots und KI-Agenten: Wann sie erforderlich ist und wie Sie vorgehen (KI-generiert).

Wann eine DSFA verpflichtend wird

Art. 35 DSGVO verlangt eine DSFA, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat. Entscheidend ist nicht, ob ein Produkt „KI“ heißt. Maßgeblich sind Zweck, Umfang, Kontext und Folgen der konkreten Verarbeitung in deiner Organisation.

Ein einfacher, intern abgegrenzter Chatbot, der ausschließlich freigegebene Wissensartikel ohne Personenbezug durchsucht, löst nicht automatisch eine DSFA aus. Anders liegt der Fall häufig, wenn Mitarbeitende, Kunden oder Bewerbende mit dem System interagieren und dabei personenbezogene Daten verarbeitet werden.

Besonders sorgfältig solltest du prüfen, wenn mehrere der folgenden Merkmale zusammenkommen:

• Der Chatbot verarbeitet umfangreich Beschäftigten-, Kunden- oder Bewerberdaten.
• Das System bewertet, priorisiert oder klassifiziert Personen, etwa bei Bewerbungen, Supportfällen oder Zahlungsrückständen.
• Der KI-Agent erstellt Profile, leitet Präferenzen ab oder trifft Vorhersagen über Verhalten.
• Besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO können eingegeben, verarbeitet oder aus Texten abgeleitet werden.
• Der Agent greift auf mehrere Systeme zu, etwa CRM, Personalakte, Ticketsystem, E-Mail-Postfach oder Fachverfahren.
• Der Agent löst Handlungen aus, etwa das Ändern von Stammdaten, Versenden von Nachrichten oder Freigeben von Vorgängen.
• Betroffene Personen können die Verarbeitung nur eingeschränkt überblicken oder ihr schwer ausweichen.
• Daten werden an externe KI-Anbieter, Unterauftragnehmer oder Empfänger in Drittländern übermittelt.
• Fehlerhafte Antworten oder Aktionen können erhebliche wirtschaftliche, berufliche oder persönliche Nachteile verursachen.

Die Datenschutzaufsichtsbehörden veröffentlichen Listen von Verarbeitungsvorgängen, für die eine DSFA erforderlich sein kann. Diese Listen sind eine wichtige Orientierung, ersetzen aber nicht deine Einzelfallprüfung. Dokumentiere daher auch dann nachvollziehbar, warum du keine DSFA für erforderlich hältst. Gerade bei KI-Agenten kann sich diese Einschätzung schnell ändern, wenn zusätzliche Datenquellen, neue Werkzeuge oder weitergehende Berechtigungen hinzukommen.

Chatbot oder KI-Agent: Warum der Unterschied wichtig ist

Ein KI-Chatbot beantwortet typischerweise Fragen oder erzeugt Text. Ein KI-Agent kann darüber hinaus Werkzeuge einsetzen, Daten aus Systemen abrufen und Aktionen anstoßen. Diese zusätzliche Handlungsfähigkeit erhöht regelmäßig das Risiko.

Ein Agent kann beispielsweise eine Kundenanfrage lesen, den Vertrag im CRM suchen, eine Kulanzentscheidung vorbereiten und eine Antwort versenden. Dabei entstehen nicht nur Risiken durch falsche Textausgaben. Kritisch sind auch unzutreffende Datenabrufe, übermäßige Berechtigungen, falsche Zuordnungen von Personen und nicht autorisierte Änderungen in Fachsystemen.

Für die DSFA musst du daher den vollständigen Ablauf erfassen. Beschreibe nicht nur das Sprachmodell, sondern auch die angebundenen Datenquellen, Schnittstellen, Rechtekonzepte, Prüfungen durch Mitarbeitende und die konkreten Aktionen des Agenten. Ein Agent mit rein lesendem Zugriff ist anders zu bewerten als ein Agent, der Datensätze ändern oder externe Kommunikation auslösen darf.

Wenn KI für Entscheidungen mit erheblichen Folgen eingesetzt wird, musst du zudem Art. 22 DSGVO prüfen. Vollautomatisierte Entscheidungen, die rechtliche Wirkung entfalten oder Betroffene ähnlich erheblich beeinträchtigen, sind nur unter engen Voraussetzungen zulässig. Eine nachträgliche, rein formale Kontrolle durch Menschen genügt nicht. Die menschliche Prüfung muss tatsächlich wirksam sein.

Das Prüfschema für die Praxis

Für eine belastbare Entscheidung empfehlen wir bei uns ein Prüfschema in fünf Schritten. Es verbindet Datenschutzprüfung, technische Gestaltung und die spätere Betriebsorganisation.

1. Verarbeitung und Zweck präzise beschreiben

Beginne mit einer verständlichen Beschreibung des Vorhabens. Welche Aufgabe soll der Chatbot oder Agent übernehmen? Wer nutzt ihn? Wer ist von der Verarbeitung betroffen? Welche Entscheidungen oder Arbeitsschritte unterstützt oder automatisiert das System?

Grenze den Zweck eng ab. „Unterstützung durch KI“ ist kein ausreichender Zweck. Besser wäre etwa: „Zusammenfassung eingehender Supportanfragen zur Vorbereitung einer Antwort durch autorisierte Supportmitarbeitende.“ Aus dem Zweck ergeben sich Datenminimierung, Zugriffsrechte und Aufbewahrungsregeln.

Prüfe zudem, ob der geplante Einsatz mit der Rechtsgrundlage vereinbar ist. Im Beschäftigungskontext ist besondere Zurückhaltung geboten. Die Freiwilligkeit einer Einwilligung kann wegen des Abhängigkeitsverhältnisses zweifelhaft sein. Bei Kundendaten kommt es darauf an, ob die Verarbeitung für die Vertragsdurchführung erforderlich ist oder auf berechtigte Interessen gestützt werden kann.

2. Datenflüsse und Beteiligte sichtbar machen

Erstelle eine Datenflussbeschreibung. Sie muss erkennen lassen, wo Daten eingegeben werden, welche Komponenten sie verarbeiten, wo sie gespeichert werden und an wen sie übermittelt werden. Erfasse auch Protokolle, Chatverläufe, Feedbackdaten, Sicherheitslogs und Inhalte, die zur Qualitätsverbesserung verwendet werden könnten.

Beantworte mindestens diese Fragen:

• Welche personenbezogenen Daten können Nutzende aktiv eingeben?
• Welche Daten ruft der Agent selbst aus angebundenen Systemen ab?
• Werden Daten an den Anbieter des KI-Dienstes oder weitere Dienstleister übermittelt?
• Werden Eingaben oder Ausgaben zum Training oder zur Verbesserung des Modells genutzt?
• Wo befinden sich Verarbeitung und Speicherung?
• Welche Unterauftragnehmer sind beteiligt?
• Wie lange bleiben Chatverläufe, Protokolle und Zwischenspeicher erhalten?

Bei externen Diensten ist regelmäßig zu klären, ob eine Auftragsverarbeitung vorliegt und ob der Vertrag die Anforderungen aus Art. 28 DSGVO erfüllt. Die zentralen Anforderungen erläutern wir auch in unserem Beitrag zum Auftragsverarbeitungsvertrag (AVV): Pflichten nach Art. 28 DSGVO. Erfolgen Übermittlungen in Drittländer, brauchst du zusätzlich eine belastbare Prüfung der Übermittlungsgrundlage und der tatsächlichen Schutzmaßnahmen. Dazu findest du weitere Hinweise in unserem Ratgeber Cloud und Datenschutz: DSGVO, Drittland, Schrems II.

3. Risiken aus Sicht der Betroffenen bewerten

Eine DSFA fragt nicht zuerst, welches Risiko das Unternehmen trägt. Sie fragt, welche Nachteile betroffene Personen erleiden können. Bei KI-Systemen sind neben Vertraulichkeitsverletzungen auch Fehler, Verzerrungen und mangelnde Transparenz relevant.

Typische Risiken sind:

• Unbefugte Offenlegung vertraulicher Informationen durch falsche Antworten oder zu weitgehende Datenabrufe.
• Verarbeitung besonderer Kategorien personenbezogener Daten ohne tragfähige Rechtsgrundlage oder Schutzmaßnahmen.
• Diskriminierende oder sachlich falsche Empfehlungen aufgrund fehlerhafter Daten oder verzerrter Modelle.
• Unzutreffende automatisierte Priorisierung von Bewerbungen, Beschwerden oder Leistungsfällen.
• Manipulation durch Eingaben, die den Agenten dazu bringen, Schutzvorgaben zu umgehen.
• Unklare Zuständigkeiten, wenn Mitarbeitende auf KI-Ausgaben vertrauen, ohne sie fachlich zu prüfen.
• Fehlende Nachvollziehbarkeit, weil Eingaben, Quellen oder ausgelöste Aktionen nicht ausreichend protokolliert sind.

Bewerte Eintrittswahrscheinlichkeit und Schwere der möglichen Folgen. Beschreibe dabei konkrete Szenarien. „Datenleck“ ist zu allgemein. Aussagekräftiger ist: „Der Agent kann bei einer unzureichenden Berechtigungsprüfung Vertragsdaten eines anderen Kunden abrufen und im Chat anzeigen.“

Schutzmaßnahmen wirksam gestalten

Aus der Risikoanalyse folgen technische und organisatorische Maßnahmen. Allgemeine Aussagen wie „Der Anbieter ist zertifiziert“ reichen nicht. Schutzmaßnahmen müssen zum jeweiligen Risiko passen und nachweisbar umgesetzt sein.

Wichtige Maßnahmen sind:

• Rollen- und Berechtigungskonzepte nach dem Prinzip minimaler Rechte.
• Trennung von Entwicklungs-, Test- und Produktionsumgebungen.
• Filter und Regeln, die Eingaben mit besonderen Kategorien personenbezogener Daten erkennen und je nach Zweck blockieren oder besonders schützen.
• Keine Nutzung von Eingaben und Ausgaben zum Training, sofern dies nicht ausdrücklich geprüft, vereinbart und rechtlich abgesichert ist.
• Freigabeprozesse für risikoreiche Aktionen des Agenten.
• Verbindliche menschliche Kontrolle bei Entscheidungen mit erheblichen Folgen.
• Protokollierung von Datenabrufen, Werkzeugaufrufen, Änderungen und Freigaben.
• Lösch- und Aufbewahrungskonzepte für Chatverläufe, Logs und temporäre Dateien.
• Regelmäßige Tests gegen Manipulationsversuche und unberechtigte Datenzugriffe.
• Schulungen für Nutzende, damit sie keine unzulässigen oder unnötigen Daten eingeben.

Die Anforderungen an technische und organisatorische Maßnahmen solltest du nicht losgelöst vom KI-Einsatz behandeln. Unser Beitrag TOM: Datenschutz technisch und organisatorisch umsetzen zeigt, wie du Maßnahmen nachvollziehbar strukturierst. Bei Systemen, die unter den EU AI Act fallen können, müssen Datenschutz, Informationssicherheit und KI-Governance zudem zusammengedacht werden. Eine praktische Einordnung bietet unser Ratgeber KI-Compliance: der EU AI Act in der Praxis.

Restrisiken dokumentieren und Entscheidung treffen

Nach Umsetzung der Schutzmaßnahmen bewertest du die Risiken erneut. Bleibt ein hohes Risiko bestehen, darf der Betrieb nicht einfach starten. Dann ist vor der Verarbeitung eine vorherige Konsultation der zuständigen Datenschutzaufsichtsbehörde nach Art. 36 DSGVO erforderlich.

Die DSFA selbst sollte mindestens enthalten:

• Beschreibung der Verarbeitung, Zwecke und berechtigten Interessen, soweit darauf gestützt.
• Bewertung der Notwendigkeit und Verhältnismäßigkeit.
• Risikoanalyse aus Sicht der betroffenen Personen.
• Geplante Schutzmaßnahmen einschließlich organisatorischer Verantwortlichkeiten.
• Bewertung der Restrisiken und Entscheidung über die Freigabe.
• Zeitpunkt der nächsten Überprüfung sowie Auslöser für eine außerplanmäßige Aktualisierung.

Lege außerdem fest, wer die DSFA fachlich verantwortet, wer Datenschutz und Informationssicherheit einbindet und wer Änderungen am System freigibt. Änderungen sind besonders relevant, wenn neue Datenquellen angebunden, Berechtigungen erweitert oder autonome Agentenaktionen freigeschaltet werden.

DSFA als laufende Steuerung verstehen

Eine einmal erstellte DSFA ist bei generativer KI schnell überholt. Modelle, Funktionen, Schnittstellen und Nutzungsweisen ändern sich häufig. Prüfe die DSFA daher erneut, wenn sich Zweck, Datenarten, Empfängerkreis, Speicherort oder Entscheidungsbefugnisse des Systems wesentlich ändern.

Für Vergabestellen und IT-Einkauf gehört diese Anforderung bereits in die Leistungsbeschreibung und Vertragsgestaltung. Fordere nachvollziehbare Informationen zu Datenverarbeitung, Unterauftragnehmern, Sicherheitsmaßnahmen, Löschkonzepten, Protokollierung und Änderungen des Dienstes. Bei KI-Beschaffungen helfen klare Vergabe- und Vertragsanforderungen, damit Datenschutz nicht erst im Produktivbetrieb auffällt.

Passende Seminare und Termine findest du bei uns auf cmt.de.