Stellungnahme zum "Bridge Blueprint"

Die folgende Stellungnahme habe ich zu dem Entwurf "The Bridge Blueprint" (Version 0.9) abgegeben:

I. Vorbemerkung

Zunächst möchte ich anmerken, dass dem Arbeitspapier in seiner aktuellen Version eine meiner Auffassung nach falsche Prämisse durchklingt, dass technologischer Fortschritt um seiner selbst willen schützenswert und daher zu ermöglichen ist. Das Gegenteil ist der Fall: Technologische Entwicklungen müssen, um Erwägungsgrund 4 Satz 1 DSGVO zu zitieren, "im Dienste der Menschheit stehen". Das bedeutet natürlich nicht, dass sich jede technologische Entwicklung unmittelbar positiv auswirken muss. Selbstverständlich sind auch Grundlagenforschung und die Exploration neuer technischer Ansätze schützenswert. Das allein bedeutet aber auch nicht, dass eine Technologie gut ist, nur weil sie neu ist.

Unter dem Schlagwort der "KI"-Technologie finden sich eine große Bandbreite unterschiedlicher Systeme. Während es hierunter unzweifelhaft und unbestreitbar vernünftige und gewinnbringende Einsatzfelder gibt – ich denke bspw. an spezialisierte bilderkennende Systeme, die in der Medizin bei der Diagnose von Krankheiten helfen können – liegen der Verwendung des "KI"-Begriffs zurzeit eher andere Arten von Systeme zugrunde, insbesondere sog. "generative ‚KI‘". Diese anderen Arten von Systemen sind vielfacher berechtigter Kritik ausgesetzt, z. B. wegen ihres Energieverbrauchs, wegen der ungewünschten und unzulässigen Aneignung der Arbeit anderer, wegen ihrer Unzuverlässigkeit, die ohne Fachkenntnisse leicht übergangen werden kann, wegen ihrer gesellschaftlichen und politischen Auswirkungen, wegen der mit ihnen verbundenen Auswirkungen auf die Nutzer wie u. a. einer zunehmenden Abhängigkeit und zugleich eines Verlusts der Fähigkeit zum kritischen Denken u. v. m.

Es mag insofern zwar zutreffen, dass das Datenschutzrecht manchen Einsatzformen solcher "KI" entgegensteht oder sie erheblichen Schwierigkeiten aussetzt. Bevor jetzt aber deshalb am Datenschutzrecht rumjustiert wird – sei es durch Änderung oder Ergänzung der rechtlichen Rahmenbedingungen, durch Rechtsfortbildung oder durch Veränderung oder Neukonkretisierung der Auslegungsmaßstäbe, muss sich die Frage gestellt werden, ob es nicht vielmehr etwas gutes ist, wenn das Datenschutzrecht bestimmte Technologien verhindert, z. B. weil diese Technologien mit einer auf Freiheitlichkeit und Selbstbestimmung angelegten Gesellschaftsordnung und mit den dieser zugrundeliegenden Grundrechten schlechterdings nicht vereinbar ist.

Wir dürfen nicht vergessen, dass Datenschutz ein Grundrecht ist, zugleich eines, dass in besonderem Maße allen anderen Grundrechten Geltung zu verschaffen dient. Was sind jedoch Grundrechte wert, wenn die Antwort darauf, dass ein bestimmtes Vorgehen mit ihnen nicht vereinbar ist, ihre Abschaffung und nicht die Unterlassung dieses Vorgehens ist?

II. Zur Rechtsgrundlage

Zu dem Punkt III.1. Ihres Arbeitspapiers möchte ich insbesondere Stellung nehmen.

Die Prüfung, ob eine Datenverarbeitung wegen berechtigter Interessen gerechtfertigt ist, setzt nach der Rechtsprechung des EuGH ein dreischrittiges Prüfprogramm voraus: Erstens muss geprüft werden, ob ein berechtigtes Interesse besteht. Zweitens muss die Datenverarbeitung für dieses berechtigte Interesse erforderlich sein. Drittens dürfen die Interessen der betroffenen Person das berechtigte Interesse nicht überwiegen.

Ich verstehe die Ausführungen zu den konkreten Erwartungen bzw. zu den rechtlichen Maßstäben so, dass es hierbei um den dritten Schritt geht. In der Tat sind die vernünftigen Erwartungen der betroffenen Person gemäß Erwägungsgrund 47 Satz 1 DSGVO zu berücksichtigen. Nachvollziehbar ist es auch, hierbei die aus anderen gesetzlichen Bestimmungen hervorgehende "objektive Wertordnung" zu berücksichtigen.

Hieraus allein kann sich nach dem oben genannten Prüfprogramm, das Art. 6 Abs. 1 UAbs. 1 Buchst. f DSGVO aufwirft, noch nicht die Rechtfertigung der Datenverarbeitung ergeben.

Erforderlich ist zunächst ein jeweils konkret zu bestimmendes berechtigtes Interesse im Einzelfall. Der "KI"-Einsatz kann also kein Selbstzweck sein. Zudem gilt: Ein "KI"-System, dessen Einsatz rechtlich missbilligten Zwecken dient, kann daher also nicht aufgrund der berechtigten Interessen datenschutzrechtlich zulässig in Betrieb genommen werden. Bei der Beurteilung, ob das Interesse berechtigt ist, dürften auch Art. 5 KI-VO sowie vergleichbare Vorschriften zu berücksichtigen sein.

Größere Fragestellungen ergeben sich dann jedoch bei der Erforderlichkeit. Insofern wird ein "KI"-System regelmäßig eine besonders hohe Eingriffsintensität aufweisen. Es verarbeitet eine große Menge von Daten, es verwendet neuartige Technologien, es gewährleistet weder die algorithmische Korrektheit seines Ergebnisses noch, dass dieses Ergebnis tatsächlich unter sachlicher Berücksichtigung der Eingabe und ohne Diskriminierung erzeugt wurde.

Ein "KI"-System verwirklicht typischerweise eine Vielzahl der Kriterien, die nach dem WP248 auf ein hohes Risiko hindeuten, wie bspw. – je nach Einsatzzweck – das Bewerten oder Einstufen, die automatisierte Entscheidungsfindung, ggf. die Verarbeitung vertraulicher oder höchst persönlicher Daten, die Datenverarbeitung in großem Umfang, das Abgleichen oder Zusammenführen von Datensätzen, ggf. die Verarbeitung von Daten zu schutzbedürftigen Betroffenen sowie die innovative Nutzung oder Anwendung neuer technologischer oder organisatorischer Lösungen.

Zudem bringt die Verarbeitung personenbezogener Daten in einem "KI"-System, insbesondere wegen der diesen innewohnenden Tendenz, falsche Ausgaben zu erzeugen, regelmäßig viele Einzelfallrisiken im Sinne der Erwägungsgründe 75, 85 DSGVO mit sich, wie bspw. Die Gefahr der Diskriminierung, der Rufschädigung oder dem Verlust der Vertraulichkeit von dem Berufsgeheimnis unterliegenden personenbezogenen Daten mit sich führen.

Daher dürfte es in aller Regel und für die meisten Einsatzzwecke mildere Mittel geben, die in aller Regel auch gleich oder ggf. sogar besser geeignet sind, den Verarbeitungszweck zu erfüllen.

Schließlich müssen alle diese Umstände auch im Rahmen der Prüfung, ob nicht die Interessen der betroffenen Personen überwiegen, berücksichtigt werden. Eine betroffene Person, die ein System nutzt, wird in aller Regel ein erhebliches Interesse daran haben, nicht diskriminiert zu werden, möglichst richtige oder zumindest vernünftig erwogene Antworten zu erhalten und von dem Verantwortlichen nicht einer technisch-bedingt willkürlichen Behandlung ausgesetzt zu werden. Jedenfalls wenn es gute, funktionierende Alternativen zu dem "KI"-Einsatz gibt (z. B. wenn die Entscheidung durch einen deterministischen Algorithmus nach von Menschen bestimmten Regeln gefällt werden kann oder wenn die Tätigkeit leicht von Menschen übernommen werden kann), dürfte daher das Interesse der betroffenen Person regelmäßig überwiegen.

Soweit in dem dritten Absatz unter III.1. darauf abgestellt wird, dass ein "berechtigtes Interesse" daran besteht, "die Einhaltung der KI-Verordnung zu gewährleisten", erscheint mir eine Bezugnahme auf berechtigte Interessen fehl am Platz. Vielmehr gibt es mit Art. 6 Abs. 1 UAbs. 1 Buchst. c und e DSGVO passendere Rechtsgrundlagen für eine Verarbeitung, die vorgenommen werden, um eine gesetzliche Verpflichtung zu erfüllen.

III. Zu den Betroffenenrechten

Im Abschnitt zu den Betroffenenrechten (IV.) fehlt mir bedauerlicherweise das – meines Erachtens – entscheidende Problem, wieso "KI"-Systeme vielfach nicht datenschutzkonform einsetzbar sind: Die Erfüllung der Betroffenenrechte ist technisch schlechterdings nicht möglich.

So kann eine Auskunft zwar gegebenenfalls über den Trainingsdatensatz gewährt werden, in der Regel kann jedoch nicht mehr nachvollzogen werden, ob und welche Daten so im Modell gespeichert sind, dass sie wieder hervorgerufen werden können. Eine Berichtigung falscher Daten ist, wenn diese einmal in das Modell eingefügt worden sind, regelmäßig nur dadurch möglich, dass das gesamte Modell neu – diesmal mit den richtigen Daten – aufgebaut wird. Das gleiche gilt für Löschbegehren einschließlich der Ausübung von Widerspruchs- und Widerrufsrechten. Schließlich weisen Sie selber auf die Probleme im Zusammenhang mit der Erfüllung des Art. 22 DSGVO hin.

Diese Schwierigkeiten bei der Erfüllung von Betroffenenrechten stoßen gegen Kerngrundsätze des Datenschutzrechts – insbesondere die Gedanken der Transparenz und der Intervenierbarkeit.

Die Bedeutung von Transparenz im Datenschutzrecht wurde bereits im Volkszählungsurteil (BVerfGE 65, 1 (43)) betont. Ich zitiere: "Wer nicht mit hinreichender Sicherheit überschauen kann, welche ihn betreffende Informationen in bestimmten Bereichen seiner sozialen Umwelt bekannt sind, und wer das Wissen möglicher Kommunikationspartner nicht einigermaßen abzuschätzen vermag, kann in seiner Freiheit wesentlich gehemmt werden, aus eigener Selbstbestimmung zu planen oder zu entscheiden. Mit dem Recht auf informationelle Selbstbestimmung wären eine Gesellschaftsordnung und eine diese ermöglichende Rechtsordnung nicht vereinbar, in der Bürger nicht mehr wissen können, wer was wann und bei welcher Gelegenheit über sie weiß. Wer unsicher ist, ob abweichende Verhaltensweisen jederzeit notiert und als Information dauerhaft gespeichert, verwendet oder weitergegeben werden, wird versuchen, nicht durch solche Verhaltensweisen aufzufallen. Wer damit rechnet, daß etwa die Teilnahme an einer Versammlung oder einer Bürgerinitiative behördlich registriert wird und daß ihm dadurch Risiken entstehen können, wird möglicherweise auf eine Ausübung seiner entsprechenden Grundrechte (Art. 8, 9 GG) verzichten. Dies würde nicht nur die individuellen Entfaltungschancen des Einzelnen beeinträchtigen, sondern auch das Gemeinwohl, weil Selbstbestimmung eine elementare Funktionsbedingung eines auf Handlungsfähigkeit und Mitwirkungsfähigkeit seiner Bürger begründeten freiheitlichen demokratischen Gemeinwesens ist."

Auch die Intervenierbarkeit in Datenverarbeitungssysteme ist eine der zentralen und in besonderem Maße datenschutztypischen Grundsätze des Datenschutzrechts. Zurecht wird sie daher vom Standard-Datenschutzmodell als Gewährleistungsziel geführt. Dem liegt die Erkenntnis zugrunde, dass der Computer bloß ein Hilfsmittel ist, dass ein Computer falsche Informationen haben kann oder auf eine Weise handeln kann, die die Rechte der betroffenen Person verletzt. Im Kern steckt hierin ein Menschenwürdegedanke: die betroffene Person soll nicht bloßes Objekt der Datenverarbeitung sein, sondern vielmehr selbstbestimmt ihre eigenen Interessen geltend machen und hiermit Beachtung finden können.

An dieser Stelle schließt sich der Kreis zu meiner Vorbemerkung. Es muss sich doch ernsthaft die Frage gestellt werden, ob das Datenschutzrecht für eine Technologie, die mit Grundprinzipien des Datenschutzrechts schlechterdings nicht vereinbar ist, verbogen werden muss. Es ist schon bemerkenswert, dass es ausgerechnet immer die Technologien sind, um die ein besonderer Hype befeuert wird, die monate- und jahrelang auf LinkedIn als "alternativlos" und "die Zukunft" bezeichnet werden bis der Hype irgendwann wie ein Soufflee in sich zusammenfällt, die auf eine solche Weise mit Grundrechten schlechterdings unvereinbar sind – sei es "Big Data", "Blockchain" (und Konsorten) oder eben nun "KI".

Darin liegt am Ende auch ein wesentlicher wertungsmäßiger Unterschied zu der in ihren Einzelheiten umstrittenen Frage, ob Betroffenenrechte wegen Unmöglichkeit oder Unverhältnismäßigkeit eingeschränkt werden können. Gewiss mag es Fälle geben, in denen die Wahrnehmung eines Betroffenenrechts im Einzelfall unangemessenen Aufwand für den Verantwortlichen auslöst. Wer jedoch mit sein Datenverarbeitungssystem sehenden Auges in die Rechtswidrigkeit rennt, verdient nicht den Schutz der Rechtsordnung.

IV. Abschlussbemerkung

Ich hoffe, dass Ihnen diese Stellungnahme bei der Ausarbeitung des "Bridge Bluepoints" weiterhilft. Bei Rückfragen können Sie sich gerne zurückmelden.