DAT417 Analyse von Datenschutzerklärungen mit KI (Luka Nenadic, Teil 2)

Sprecher: Willkommen bei den Datenschutz-Plaudereien.

Sprecher: Aktuelles, Bemerkenswertes und Persönliches

Sprecher: rund um den Datenschutz und verwandte Themen.

Luka Nenadic: Und zum Thema KI, aber auch noch – denke ich – recht

Luka Nenadic: spannend für uns war es, dass wir grosse KI-Modelle, speziell GPT-5, für die Analyse verwendet haben.

Luka Nenadic: Also wer denkt, ich habe hier fast 30'000 Datenschutzerklärungen selber gelesen und genau annotiert, täuscht sich jetzt leider.

Luka Nenadic: Wir haben natürlich die Hilfe von grossen Sprachmodellen verwendet,

Luka Nenadic: aber auch, wie es typisch ist bei Studien, wo Texte statistisch ausgewertet werden,

Luka Nenadic: auch validiert, dass die Modelle die Datenschutzerklärung eigentlich richtig und gut annotieren.

Luka Nenadic: Und wir sind eigentlich sehr zufrieden gewesen und haben gute Ergebnisse bekommen.

Luka Nenadic: Aber natürlich ist auch da eine mögliche weitere Fehlerquelle.

Luka Nenadic: Die Modelle sind nicht perfekt, aber ich habe herausgefunden, ich bin nicht perfekt.

Luka Nenadic: Ich habe immer wieder herausgefunden, dass das Modell mich korrigiert hat

Luka Nenadic: bei der Annotation dieser Datenschutzerklärungen.

Martin Steiger: Luka, das war ein guter Hinweis auf die Digitale Gesellschaft und die Automatisierten Entscheidungssysteme.

Martin Steiger: Da gibt es ein Positionspapier, das Du eben auch mit anderen Fachpersonen mitgemacht hast.

Martin Steiger: Das ist unterdessen schon bald zwei Jahre alt, nämlich vom September 2024.

Martin Steiger: Ich kann mich noch an die Diskussion erinnern.

Martin Steiger: Man hat ja den Begriff KI, Künstliche Intelligenz.

Martin Steiger: Und Fachpersonen – zumindest damals – hat das eigentlich gestört,

Martin Steiger: dass man alles einfach als KI bezeichnet und nicht so differenziert.

Martin Steiger: Und bei der Digitalen Gesellschaft haben wir gesagt, wir müssen uns zur Regulierung von Automatisierten Entscheidungssystemen äussern,

Martin Steiger: weil bei den Entscheidungen dort auch die grössten Risiken liegen.

Martin Steiger: Ich denke, fachlich völlig richtig.

Martin Steiger: Beim Vokabular habe ich aber den Verdacht, da ist der Zug unterdessen sehr schnell davongefahren.

Martin Steiger: Also heute bezeichnen wir ganz viele Sachen als KI, als künstliche Intelligenz,

Martin Steiger: was natürlich nicht heisst, dass Fachpersonen auch in der Wissenschaft usw. nicht präzise Begriffe verwenden sollen.

Martin Steiger: Und GPT-5, das gerade erwähnt wurde, ist etwa ein Jahr alt, so nach meinem Gespür.

Martin Steiger: Das heisst, ihr habt auch noch ein bisschen davon profitiert, dass ihr einerseits die Daten 2023 gesammelt habt.

Martin Steiger: Und im Dezember 2023 waren die Möglichkeiten mit generativer KI, mit grossen Sprachmodellen, noch ganz andere,

Martin Steiger: als jetzt, zum Beispiel beim erwähnten GPT-5.

Luka Nenadic: Genau, das ist so, und es ist eigentlich natürlich ein gewisses Glück, in dieser Zeit, in der man jetzt die PhD macht, wo wir die Modelle haben, die exzellent sind, um Datenschutzerklärungen in extrem grossen Mengen zu analysieren.

Luka Nenadic: Aber es ist eigentlich hauptsächlich so, dass wir warten mussten, bis wir Daten gut vorbereitet

Luka Nenadic: haben und dass wir geschaut haben, ob die Analyse mit den Sprachmodellen Sinn macht.

Luka Nenadic: Und wir haben eigentlich gedacht, GPT-4o zu verwenden.

Luka Nenadic: Und das hat eigentlich auch schon recht gute Ergebnisse erzielt.

Luka Nenadic: Mehr oder weniger am Tag, als wir das durchführen wollten,

Luka Nenadic: kam dann GPT-5 raus.

Luka Nenadic: Und der Hauptgrund, weshalb wir uns für GPT-5 entschieden haben,

Luka Nenadic: ist eigentlich, dass es ein bisschen besser war als GPT-4o,

Luka Nenadic: aber wir haben vor allem erwartet, dass das Modell hoffentlich noch ein bisschen länger

Luka Nenadic: effektiv zur Verfügung stehen würde und dass man es auch noch später verwenden könnte.

Luka Nenadic: Ein grosses Problem, das ich bei Forschungen schade finde, ist einerseits, dass man nicht immer die ganz genau gleichen Ergebnisse bekommt, wenn man das LLM am Text laufen lässt.

Luka Nenadic: Und auf der anderen Seite ist die andere grosse Limitation, dass sich die Modelle ständig verändern und man nie weiss, ob vielleicht in zwei, drei Jahren dann auch GPT-5 einfach nicht mehr verfügbar ist.

Luka Nenadic: Und es kann schon sein, dass die neuen Modelle – ich würde es sogar erwarten – noch besser sind als GPT-5.

Luka Nenadic: Aber wenn es wirklich darum geht, die Wissenschaft zu reproduzieren,

Luka Nenadic: dann ist das leider etwas, das als Trade-off gegenüber der guten Qualität dieser Modelle ein bisschen verloren geht.

Martin Steiger: Es ist unglaublich, dass Du GPT-4 auch erwähnst.

Martin Steiger: Das erweckt gerade nostalgische Gefühle.

Martin Steiger: Obwohl das irgendwie für uns ja 2024 war.

Martin Steiger: Das O steht für Omni.

Martin Steiger: Ich glaube, es war das erste grosse Sprachmodell, frei zugänglich, zum Beispiel von OpenAI.

Martin Steiger: Wie man nicht nur Texte eingegeben hat, gleichzeitig, sondern auch noch Ton und Bild.

Martin Steiger: Eben, wenn man überlegt, was heute möglich ist.

Martin Steiger: Und an ein paar Stellen ändert sich schnell – aber genug Nostalgie.

Martin Steiger: Ein Thema, das ich heute schon erwähnt habe – natürlich auch als eigenes Interesse –, die Datenschutz-Generatoren.

Martin Steiger: Sind die für Euch sichtbar gewesen?

Martin Steiger: Es gibt ja nicht nur die von Datenschutzpartner, es gibt auch noch andere.

Martin Steiger: Es gibt auch Mustervorlagen, heute vielleicht weniger als damals noch.

Martin Steiger: Es gibt ja ganz unterschiedliche Möglichkeiten, wie man eine Datenschutzerklärung erstellen kann.

Martin Steiger: Es gibt eben Generatoren, Mustervorlagen, Copy-Paste in allen möglichen und unmöglichen Formen.

Martin Steiger: Generative KI haben wir natürlich auch verwendet – heute mehr als damals, von den Möglichkeiten her.

Martin Steiger: Wie sieht es da aus?

Luka Nenadic: Ja, genau, das ist so eigentlich die dritte grosse Schiene des Forschungsprojekts gewesen,

Luka Nenadic: neben der Messung der Revision des DSG

Luka Nenadic: und nebst dem technischen Beitrag mit dem Einsatz von KI zur Analyse von Datenschutzerklärungen,

Luka Nenadic: das war eigentlich eine Art Zufallsfund.

Luka Nenadic: Wir waren so viele Datenschutzerklärungen am Lesen, dass wir irgendwann gesehen haben,

Luka Nenadic: hey, da steht noch häufig etwas von irgendeinem Datenschutz-Generator

Luka Nenadic: oder da sieht man immer wieder die gleichen Vorlagen

Luka Nenadic: für die ganze Datenschutzerklärung oder wenigstens für einzelne Klauseln.

Luka Nenadic: Und dann haben wir uns überlegt, wie es möglich wäre, erstens zu messen,

Luka Nenadic: wie viele Datenschutzerklärungen generiert worden sind, also mit Datenschutz-Generatoren,

Luka Nenadic: und zweitens, vor allem der Vergleich der generierten Datenschutzerklärungen mit dem ganzen Rest.

Luka Nenadic: Und das Erste, was wir herausgefunden haben – mit einer knapp zusammenfassenden Methode,

Luka Nenadic: die relativ konservativ ist.

Luka Nenadic: Wir würden erwarten, dass eigentlich mehr Datenschutzerklärungen generiert worden sind,

Luka Nenadic: als wir herausfinden, weil wir wirklich nur schauen, ob der Generator explizit genannt wird.

Luka Nenadic: Wenn das nicht der Fall ist, zählen wir das als nicht generierte Datenschutzerklärung.

Luka Nenadic: Und da finden wir,

Luka Nenadic: vor allem in der Schweiz, in der Lokalgruppe, eine sehr grosse Nutzung, also fast 20 % – konkret 18 % der Datenschutzerklärungen sind hier generiert worden.

Luka Nenadic: Das sind zahlenmässig für den Oktober, so über alle Gruppen hinweg, um die 2000 von ca. 14'000 Datenschutzerklärungen, die wir haben.

Luka Nenadic: Und was wir da auch noch sehen – und was eigentlich nicht so überraschend ist –, ist, dass die generierten Datenschutzerklärungen eher bei kleineren, also weniger besuchten Websites vorkommen, wo wir uns überlegt haben, dass eben die ganz grossen, die wahrscheinlich dann eher

Luka Nenadic: Hilfe eines Anwalts oder eines Inhouse-Teams holen, um die Datenschutzerklärung selbst zu erstellen.

Luka Nenadic: Und auf der anderen Seite, wenn es darum geht, wie der Vergleich zwischen den generierten und nicht generierten ist, sieht man vor allem, dass die generierten eigentlich fast

Luka Nenadic: durchgehend die datenschutzrechtlichen Ansprüche, die wir messen,

Luka Nenadic: mehr explizit erwähnen als die nicht generierten Datenschutzerklärungen.

Luka Nenadic: Der einzige Fall, den wir nicht sehen, ist bei den ADMS, Automated Decision-Making Systems,

Luka Nenadic: die in generierten Datenschutzerklärungen weniger erwähnt werden.

Luka Nenadic: Der letzte Punkt, den wir auch noch analysiert haben, ist etwas, was ich recht spannend fand, technisch aber ganz vereinfacht,

Luka Nenadic: ist es darum gegangen, dass wir all die Datenschutzerklärungen, die generierten und nicht generierten, zweidimensional darzustellen und zu schauen, wie ähnlich die einander sind.

Luka Nenadic: Und dann haben wir die Datenschutzerklärungen, die generiert wurden, in der jeweiligen Farbe koloriert.

Luka Nenadic: Und wir haben gesehen, dass es klare – «Clusters», so nennt sich das auf Englisch – Gruppen gibt,

Luka Nenadic: die sich aus Datenschutzerklärungen bilden, die ziemlich ähnlich zueinander sind und die vom gleichen Generator stammen.

Martin Steiger: Das ist sehr interessant, auch mit dem Identifizieren.

Martin Steiger: Beim Datenschutz-Generator von Datenschutzpartner zum Beispiel muss man nicht deklarieren, dass man den Datenschutz-Generator verwendet hat.

Martin Steiger: Ich weiss auch, dass es ganz viele Datenschutzerklärungen gibt, wo dann nicht deklariert ist,

Martin Steiger: Ich erkenne es aber natürlich auch sonst, weil ich die meisten Texte geschrieben habe.

Martin Steiger: Ich erkenne meine Bausteine auch häufig in Datenschutzerklärungen, die anders klingen.

Martin Steiger: Weil dort hat es gewisse stilistische Besonderheiten, die eigentlich sonst niemand verwendet.

Martin Steiger: Es ist auch so, dass in den Datenschutzerklärungen, die ich erstelle oder der Datenschutz-Generator von Datenschutzpartner erstellt,

Martin Steiger: hat es auch vielleicht das eine oder andere Easter Egg drin.

Martin Steiger: Das merkt man dann, wenn es mal jemand genau liest und auch eine entsprechende Rückmeldung gibt,

Martin Steiger: je nachdem amüsiert oder vielleicht auch mal empört.

Martin Steiger: Also nichts Schlimmes, aber vielleicht mal eine Drehung in der Datenschutzerklärung,

Martin Steiger: wo es mich dann nämlich sehr ärgert, ist, wenn ich es mit der Konkurrenz sehe.

Martin Steiger: Und dort ärgert mich manchmal weniger, dass die das einfach kopiert haben, sondern dass sie es lieblos kopiert haben.

Martin Steiger: Mittendrin in ihrem eigenen System – man kann es sehr unterschiedlich machen – ist dann plötzlich ein ganzer Textblock von mir.

Martin Steiger: Ich finde dann eher: «Hey, schaut, die Inspiration ist gut, aber passt es doch an, so dass es zu Eurer Datenschutzerklärung passt.»

Martin Steiger: Weil das ist dann manchmal nicht so, und da merkt man es dann auch sehr gut.

Martin Steiger: Und dann gibt es manchmal spannende Ausreiten, wenn man entsprechend anklopft.

Martin Steiger: Aber doch ganz viele spannende Erkenntnisse. Luka, vielleicht zum Schluss: Willst Du noch verraten, wie ihr das eigentlich technisch gemacht habt, falls das möglich ist? Einerseits Scraping haben wir von den Datenschutzerklärungen gemacht, und andererseits, wie gesagt, haben wir GPT-5 verwendet.

Martin Steiger: Aber dort finde ich auch spannend, wie die Ergebnisse vom Scraping,

Martin Steiger: in welcher Form, in welchem Format ihr das im LLM vorgesetzt habt,

Martin Steiger: damit sie – wie soll ich sagen – darauf herumkommen.

Luka Nenadic: Ja, sehr gerne.

Luka Nenadic: Das Crawling beruht auf einem früheren

Luka Nenadic: Forschungsprojekt, bei dem ich auch beteiligt war, aber hauptsächlich von der rechtlichen Seite, wo es darum ging, dass man mit einem Scraper um die 800'000 Websites monatlich aufrufen wollte.

Luka Nenadic: Und bei denen sowohl die Datenschutzerklärung als auch die AGB, Terms of Service,

Luka Nenadic: herunterzuladen, mit der Idee und der Hoffnung, dass die Forschungswelt,

Luka Nenadic: vielleicht allenfalls auch mal die Bundesverwaltung, sich

Luka Nenadic: dass man diese Dokumente in sehr grosser Menge anschauen kann,

Luka Nenadic: vor allem mit den heutigen Möglichkeiten der LLMs,

Luka Nenadic: und dass diese dann als Basis für weitere Forschungen verwendet werden können.

Luka Nenadic: Wie funktioniert der Crawler?

Luka Nenadic: Das ist eigentlich eine Art Pipeline für den Server, die letztlich nach einem bestimmten Auftrag die 800'000 Websites aufruft.

Luka Nenadic: Dann funktioniert er, glaube ich, in über 30 Sprachen,

Luka Nenadic: eine Liste von Stichwörtern, mit denen man sich dann anhand des Quellcodes der Website orientiert.

Luka Nenadic: Sie setzt die Stichwörter in Anführungszeichen, klickt auf den richtigen Link und arbeitet sich durch die Website, bis sie es gefunden hat.

Luka Nenadic: Und speichert das dann auf und verarbeitet es, damit die HTML-Elemente entfernt sind.

Luka Nenadic: Und als Schluss hat man dann hoffentlich das richtige Dokument für jede Website abgespeichert.

Luka Nenadic: Und das Gute ist, dass diese Dokumente dann relativ gut direkt für weitere Forschung verwendet werden können.

Luka Nenadic: Wir haben auch einen Classifier, also eine Art Algorithmus,

Luka Nenadic: der jedem Dokument zusätzlich eine Wahrscheinlichkeit zuweist,

Luka Nenadic: ob es eine Datenschutzerklärung ist oder einen AGB-Text.

Luka Nenadic: Und das haben wir dann auch noch verwendet, um bei dem jetzigen Projekt möglichst sicherzustellen, dass es wirklich eine Datenschutzerklärung ist.

Luka Nenadic: Und dann haben wir ein grosses Dokument, Codebook heisst das,

Luka Nenadic: wir haben es mit all diesen Fragen, die uns interessieren,

Luka Nenadic: welche auch ein Mensch für jede Datenschutzerklärung fragen würde.

Luka Nenadic: In unserem Projekt wird gefragt, ob der Anspruch auf Datenportabilität ausdrücklich erwähnt wird.

Luka Nenadic: Das haben wir dann einzeln über die API von OpenAI, GPT-4, zur Analyse gegeben.

Luka Nenadic: Er hat pro Schritt jeweils die Anweisungen und Fragen gegeben.

Luka Nenadic: sowie die jeweilige Datenschutzerklärung, die beantwortet werden muss.

Luka Nenadic: Und dann hatten wir auch noch das Glück, dass OpenAI seit kurzer Zeit Structured Outputs hat.

Luka Nenadic: Also, das heisst: Wenn ich zum Beispiel eine 0 oder 1 als Antwort auf die Frage will,

Luka Nenadic: ob ein bestimmter Anspruch genannt wird oder nicht,

Luka Nenadic: dann kann ich das wirklich sicherstellen, und es kommt auch nicht irgendeine andere Antwort, die ich nicht will.

Martin Steiger: Ja genau, grosse Sprachmodelle, die können geschwätzig sein, wenn man nicht aufpasst.

Martin Steiger: Luka, vielen Dank. Wirklich faszinierend, was Du mir jetzt erzählt hast.

Martin Steiger: Ich kann allen nur empfehlen, einen Blick auf das Paper zu werfen.

Martin Steiger: Wie gesagt, es ist in den Shownotes verlinkt.

Martin Steiger: Ich werde Luka selber verlinken, falls Ihr noch Fragen direkt bei ihm habt.

Martin Steiger: Ich kann auch verraten, dass er sonst noch ganz spannende Sachen veröffentlicht.

Martin Steiger: Also lohnt es sich, ihm auch bei LinkedIn zu folgen.

Martin Steiger: Er hat auch eine eigene Website, auch das ist in den Shownotes.

Martin Steiger: Für mich noch zum Schluss.

Martin Steiger: Ich habe Euch erst nachgeschaut, wie das bei diesen Generatoren eigentlich aussieht.

Martin Steiger: Er hat auch eine kleine Rangliste gemacht.

Martin Steiger: Und im Paper sieht es dann so aus.

Martin Steiger: An erster Stelle ist Swiss Anwalt aus der Schweiz.

Martin Steiger: Das ist letztlich ein Anwaltsvermittlungsportal.

Martin Steiger: Das war ein gratiser Datenschutz-Generator.

Martin Steiger: Ich rede in der Vergangenheitsform, weil es den nicht mehr gibt.

Martin Steiger: Der ist nicht mehr da, schade. Der war auch ehrlich gesagt ein bisschen trümelig.

Martin Steiger: Aber den haben natürlich viele verwendet, weil er gratis war.

Martin Steiger: An zweiter Stelle dann der Generator von Datenschutzpartner, kostenpflichtig.

Martin Steiger: An dritter Stelle E-Recht24 aus Deutschland.

Martin Steiger: Ich glaube, da zahlt man auch etwas.

Martin Steiger: An vierter Stelle Privacy B, und dann an fünfter Stelle – es geht noch weiter – aber an fünfter Stelle ist dann noch die Deutsche Gesellschaft für Datenschutz, so heisst es, glaube ich, wo es auch einen gratis Generator gibt.

Martin Steiger: Also eine interessante Mischung für mich: kommerziell, nicht kommerziell – beziehungsweise: Kommerziell sind eigentlich alle, aber die, die gratis sind, die sind am Ende Werbung.

Martin Steiger: Es wird an sich gratis Content zur Verfügung gestellt, wie es heute auch noch gratis Impressumsgeneratoren gibt.

Martin Steiger: Ja, Luka, danke, dass Du Dir da die Zeit genommen hast.

Martin Steiger: Ich bin neugierig, was wir für Rückmeldungen bekommen.

Martin Steiger: Ob Du vielleicht auch direkt Rückmeldungen bekommst.

Martin Steiger: Wie gesagt, es lohnt sich, ab und zu einen Blick darauf zu werfen, was Du öffentlich sichtbar sonst noch so machst.

Luka Nenadic: Herzlichen Dank, Martin. Das hat mir wirklich Spass gemacht, dabei zu sein.

Luka Nenadic: Und ich würde mich natürlich sehr über Rückmeldungen freuen.

Luka Nenadic: Und abschliessen möchte ich noch mit einem Shoutout an meine beiden wunderbaren Co-Autorinnen,

Luka Nenadic: ohne die das nicht möglich gewesen wäre.

Luka Nenadic: Nämlich dem David Rodriguez von der UPM Madrid und dem Joseph A. Calandrino von der Carnegie Mellon University.

Sprecher: Haben Dir die Datenschutz-Plaudereien gefallen?

Sprecher: Wir freuen uns über Deine Bewertung, Deinen Kommentar oder Deine Rückmeldung.