DAT407 KI zwischen Bauchgefühl, CLOUD Act und Überforderung (David Rosenthal, Teil 2)

Shownotes

Weblinks:

Spezialgast David Rosenthal:

Weiterführende Informationen:

Frühere «Datenschutz-Plaudereien» mit David Rosenthal:

Gefallen Dir die «Datenschutz-Plaudereien»?

Wir freuen uns über Deine Bewertung, Deinen Kommentar oder Deine Rückmeldung! 🙏🏻

Über die «Datenschutz-Plaudereien»

Rechtsanwalt Martin Steiger und Andreas Von Gunten, Co-Gründer von Datenschutzpartner, plaudern über Aktuelles, Bemerkenswertes und Persönliches rund um den Datenschutz und verwandte Themen.

Impressum: https://www.datenschutzpartner.ch/impressum/

Transkript anzeigen

00:00:01: Sprecher: Willkommen bei den Datenschutz-Plaudereien.

00:00:05: Aktuelles, Bemerkenswertes und Persönliches

00:00:07: rund um den Datenschutz und verwandte Themen.

00:00:13: David Rosenthal: Ich habe aber auch den Eindruck,

00:00:14: dass der grosse Teil der Leute

00:00:17: eigentlich mit sehr wenig Technik zufrieden ist.

00:00:19: Martin Steiger: Ich finde es noch schwierig,

00:00:20: zu schätzen, wer womit zufrieden ist.

00:00:22: Das ist natürlich auch ein Problem,

00:00:24: wenn man sich in gewissen Bubbles bewegt.

00:00:27: Wobei ich glaube, die Verbreitung ist schon enorm.

00:00:29: Man merkt, dass die Verbreitung zunimmt,

00:00:31: auch wenn man von Personen darauf angesprochen wird,

00:00:33: was sie machen, und dann haben sie die rechtlichen Fragen.

00:00:36: Also ich finde das schon faszinierend.

00:00:38: Aber etwas in eine andere Richtung.

00:00:40: Ich habe gerade kurz mit einem Anwaltskollegen eine Diskussion gehabt.

00:00:43: Er hat mir gesagt: «Martin, bei E-Mail haben wir Anwältinnen und Anwälte

00:00:47: ja traditionell kein Problem.»

00:00:49: Also es ist völlig akzeptiert, dass wir alle E-Mail nutzen.

00:00:52: E-Mail ist nicht Ende-zu-Ende-verschlüsselt.

00:00:54: Es ist eine sehr heterogene Providerlandschaft.

00:00:57: Also eigentlich gibt es ja Leute, die dafür das böse Wort der digitalen Postkarte verwenden.

00:01:01: Das ist technisch nicht ganz richtig, auch rechtlich nicht.

00:01:04: Aber wieso können wir eigentlich KI nicht einfach behandeln wie E-Mail,

00:01:09: wo wir eigentlich ein einfaches Leben haben bei diesem ganzen Thema?

00:01:14: Und über die E-Mail geht ja sehr viel.

00:01:15: Auch heute noch, nach wie vor, ist es ein universelles Kommunikationsmittel.

00:01:19: Und da geht eigentlich fast alles an Daten darüber.

00:01:23: David Rosenthal: Ja, ich glaube, wir werden auch dort landen.

00:01:25: Es ist einfach so, dass wir uns bei E-Mail daran gewöhnt haben.

00:01:31: Und das, was wir dort draufmachen, ist eigentlich fest etabliert.

00:01:36: Wie ein Mail-Server funktioniert und wo dort Schwachstellen sind, das weiss man.

00:01:40: Ich glaube, bei der KI-Geschichte merke ich, dass sehr viele Leute gar nicht so genau wissen,

00:01:47: was eigentlich alles läuft und was alles passiert.

00:01:51: Die, die das cool finden, interessiert das auch nicht:

00:01:54: wo und wie was wo zugreift,

00:01:56: wenn ich irgendetwas installiere.

00:01:57: Die wollen einfach, dass es funktioniert,

00:01:59: dass es funzt.

00:02:01: Und die, die dann Bedenkenträger sind,

00:02:04: weil sie das zum Teil einfach vom Job her machen müssen,

00:02:06: denen wird unwohl,

00:02:08: weil sie das Zeug irgendwie nicht fassen können.

00:02:11: Ich habe für mich natürlich den Vorteil:

00:02:13: Weil ich das Zeug programmiere,

00:02:15: weiss ich genau, wo es hingeht,

00:02:17: und ich habe dort eigentlich meinen Frieden damit.

00:02:19: Ich sehe das genau gleich wie bei E-Mail.

00:02:21: Wenn wir jetzt eine Anfrage machen,

00:02:23: wenn ich bei uns in der Kanzlei etwas mit KI benutze,

00:02:26: dann läuft es so: Bei uns sind alle Dokumente gespeichert.

00:02:29: Und wenn ich jetzt will, dass der zum Beispiel irgendeinen Vertrag analysiert,

00:02:32: dann ziehe ich das in unsere Lösung hinein.

00:02:34: Dann wird der Text, den ich will, an den KI-Server geschickt,

00:02:39: dort wird irgendeine Antwort generiert und kommt zurück.

00:02:42: Es wird, noch besser als bei der E-Mail, nicht einmal etwas gespeichert.

00:02:46: Das heisst, es bleibt eigentlich sonst nichts übrig.

00:02:49: Und ich bin nicht nur gleich relaxed wie bei der E-Mail,

00:02:53: sondern eigentlich noch mehr.

00:02:55: Weil es einfach nur diese Anfrage rausgeht

00:02:57: und sie wieder zurückkommt.

00:02:59: Wenn ich jetzt aber schaue,

00:03:00: was jetzt hier alles gebaut und gemacht wird

00:03:03: und wohin hier überall sonst Daten hingehen,

00:03:06: dann ist das dort, wo ich, glaube ich,

00:03:09: die Concerns hätte, wenn das so wäre.

00:03:11: Wenn ich irgendwie nicht kontrollieren kann,

00:03:13: wo das hingeht.

00:03:15: Und jetzt kommt genau die Geschichte

00:03:16: mit dem Agentischen rein.

00:03:18: Agentisch, es heisst ja alles eigentlich agentisch

00:03:21: im KI-Bereich.

00:03:22: Aber im Wesentlichen

00:03:24: ist es eigentlich technisch gesehen

00:03:26: so, dass ich dem LLM,

00:03:28: also der KI, sage:

00:03:30: Das sind die Möglichkeiten,

00:03:32: die Du alle hast, die Du machen kannst.

00:03:33: Du kannst auf diese Datenbank zugreifen,

00:03:35: Du kannst auf diese zugreifen,

00:03:36: Du kannst das machen,

00:03:37: Du kannst das Word so verändern,

00:03:38: Du kannst Excel manipulieren.

00:03:40: Du sagst dem Computer,

00:03:42: worauf dann etwas läuft,

00:03:44: was ich machen soll.

00:03:46: An diesem Punkt gibt der Benutzer

00:03:48: wieder Kontrolle aus der Hand.

00:03:49: Wenn ich die KI loslasse,

00:03:50: eine Recherche zu machen,

00:03:52: dann entscheidet sie, welchen Suchbegriff sie auf die Datenbank absetzt.

00:03:58: Ich könnte das auch selber machen, aber es ist natürlich cooler, wenn sie das macht,

00:04:00: weil sie das viel schneller kann.

00:04:02: Aber ich habe eben auch weniger im Griff, was sie macht.

00:04:07: All die zusätzlichen Systeme, die ich dann meiner KI zur Verfügung stelle,

00:04:11: mit denen muss ich dann, und das sind die 20, 30 Systeme, die Du erwähnt hast,

00:04:15: die muss ich auch irgendwie alle vertraglich einbinden,

00:04:18: weil ich ja nicht weiss, was die KI ihnen erzählt.

00:04:21: Diesen Systemen und was sie dann an Daten von mir bekannt gibt,

00:04:25: ausser ich kann das irgendwie kontrollieren.

00:04:28: Aber spätestens dort hört bei vielen Leuten natürlich

00:04:32: das Verständnis auf und auch die Möglichkeit,

00:04:34: das zu kontrollieren.

00:04:36: Und dort laufen wir natürlich heute in einem gewissen Sinn

00:04:40: noch in einen Blindflug hinein.

00:04:42: Und dort habe ich immer noch das Gefühl,

00:04:44: viele Leute realisieren das gar nicht,

00:04:46: sondern sie haben einfach das Gefühl,

00:04:47: sie haben es mit dem Provider zu tun,

00:04:49: bei dem das Frontend ist.

00:04:51: Eben jetzt irgendein Tool,

00:04:53: irgendeine Cloud, um das Beispiel zu nennen,

00:04:56: und realisieren nicht,

00:04:57: wie viel man eigentlich im Prinzip

00:04:59: der KI übergibt,

00:05:00: die dann nach aussen geht und das alles

00:05:02: aufarbeitet. Und das ist dann halt

00:05:05: einfach ein Bütz, den ich machen muss,

00:05:07: wenn ich all diese Systeme

00:05:08: abdecken will, die dort dahinterstehen.

00:05:11: Aber die Risiken,

00:05:13: die dadurch entstehen, mit denen wir

00:05:15: erst noch lernen, umzugehen.

00:05:17: Und das ist viel

00:05:19: komplexer als bei einem E-Mail-System.

00:05:21: Und ich glaube, dort ist das Problem.

00:05:23: Aber nicht, dass man das nicht machen könnte.

00:05:25: Beim Basis-Setup habe ich

00:05:27: zum Beispiel überhaupt keine Concerns.

00:05:29: Ich habe auch überhaupt keine Concerns,

00:05:31: dass die das jetzt irgendwie brauchen,

00:05:32: um zu trainieren. Die Modelle lernen

00:05:35: ja nicht dazu, wenn ich ihnen eine Frage stelle,

00:05:37: sondern das sind andere Sachen. Wenn man das technisch

00:05:38: ein bisschen versteht, dann kommt man

00:05:41: sehr schnell in einen sehr relaxten

00:05:43: Zustand, was das betrifft.

00:05:44: Ob dann Provider das alles einhalten, was sie

00:05:46: mir vertraglich versprechen, das ist noch eine

00:05:49: Frage, aber die Frage stellt sich überall.

00:05:51: Und da wir in einer arbeitsteiligen

00:05:52: Gesellschaft leben, ist es gar nicht möglich,

00:05:55: anders, als auf so etwas

00:05:57: zu vertrauen. Und dort

00:05:58: müssen wir einfach ein bisschen mehr das Feeling

00:06:00: und die Erfahrung sammeln: Wo ist

00:06:02: jetzt eigentlich wirklich das Problem und wo nicht?

00:06:04: Und solange wir das nicht haben, wird es

00:06:06: viele Leute geben, die sich damit einfach unwohl

00:06:09: fühlen, weil sie die Mail,

00:06:10: verstehen sie, wie das läuft.

00:06:12: Jetzt ein Sender und ein Empfänger und dazwischen

00:06:14: irgendeine Verbindung, die verschlüsselt ist,

00:06:16: was ja heute der Standard ist, und dann

00:06:19: irgendwie so. Aber bei der KI, das ist für

00:06:21: viele Leute noch so schwammig.

00:06:23: Martin Steiger: Wie kommen wir an den Punkt, David, wo

00:06:25: Provider hilfreich sind?

00:06:27: Bei anderen Themen ist mein Eindruck, dass

00:06:29: Provider eigentlich nicht

00:06:31: gern hilfreich sind. Also nehmen wir ein ganz

00:06:33: anderes Thema, unabhängig von KI,

00:06:34: ein uraltes Thema: der Datenexport.

00:06:37: Datenexport auch in die USA.

00:06:39: Wenn das Drittstaaten sind, aus

00:06:41: datenschutzrechtlicher Sicht, wo kein angemessener

00:06:43: Datenschutz besteht, dann müssen wir

00:06:44: einen geeigneten Datenschutz herstellen.

00:06:46: Das machen wir mit diesen Standardvertrags-

00:06:49: klauseln, Standard Contractual Clauses.

00:06:51: Und dort drin ist eigentlich immer

00:06:53: ein Transfer Impact Assessment

00:06:55: vorgesehen, also eine Risikobeurteilung.

00:06:57: Du, David, bist bekannt geworden,

00:06:59: unter anderem dafür, dass Du da eine relativ

00:07:01: einfach nutzbare Methode entwickelt

00:07:03: und der Welt zur Verfügung gestellt hast.

00:07:04: Eigentlich ist es ja unsinnig, wenn

00:07:06: alle das Gleiche machen müssten,

00:07:08: sondern da könnten ja Provider hilfreich

00:07:11: sein. Manche sind hilfreich in dieser

00:07:12: Hinsicht, geben dann zum Beispiel eine Vorlage, dass sie

00:07:14: zeigen: «Wir haben das mal gemacht.» Das heisst nicht,

00:07:16: dass das eins zu eins für Dich als Kundin oder

00:07:19: Kunde passt, aber wir haben das schon mal gemacht, weil es ja eigentlich immer ums Gleiche geht.

00:07:22: Also es sollte ja zum Beispiel nicht jede Nutzerin von einem amerikanischen KI-Dienst

00:07:27: das selber machen müssen, weil die Ergebnisse häufig sehr ähnlich sein dürften.

00:07:31: Da wäre es ja sehr einfach, gerade für die Grosskonzerne, die haben ja Legal-Leute

00:07:35: oder auch ihre KI-Tools heute im Legal-Bereich oder überhaupt.

00:07:38: Wieso sind die da nicht hilfreich?

00:07:41: Ich weiss, David, wir drehen uns da ein bisschen im Kreis,

00:07:43: aber irgendwie fehlt es einfach an der Nachfrage der Kundschaft.

00:07:46: Oder kann man sagen: Ja, wir können es auch anders machen.

00:07:49: Es wäre gar kein grosser Aufwand für die, es wäre vollkommen unverbindlich, aber einfach ein wenig hilfreich zu sein.

00:07:54: David Rosenthal: Ja, ich glaube, das Thema ist einfach zu komplex.

00:07:58: Ich merke ja, wie viele mit diesen Fragen völlig überfordert sind.

00:08:02: Wir reden hier von ganz vielen Themen im Zusammenhang mit diesen Legal-Geschichten schon.

00:08:07: Was es alles für Berufsgeheimnis, für Geheimhaltung, für Datenschutz braucht,

00:08:11: schon die Aufteilung ist für die meisten Leute eine totale Überforderung.

00:08:16: Wenn wir mit einer Tabelle rauskommen, und sie sollte jetzt eigentlich demnächst hoffentlich kommen,

00:08:21: welche Providerverträge wie geeignet sind und für was, ist das eine riesige Nachfrage.

00:08:27: Nicht, weil es die Informationen nicht gibt; es gibt sie zum Teil auch von den grossen Providern,

00:08:31: aber weil fast alle mit dieser Thematik, mit diesen vielen sich bewegenden Teilen und den Produkten,

00:08:38: die ständig neu sind, völlig überfordert sind.

00:08:41: Und dazu gehören auch die Provider selber.

00:08:44: Dass ich überhaupt von den Providern klare Aussagen bekomme, wie und wo und was läuft, das ist schwierig.

00:08:52: Sie kommen ja selber nicht klar mit all diesen Sachen.

00:08:55: Warum kann Microsoft nicht kommen und sagen: Wir halten genau dort die gleichen Bedingungen ein wie an einem anderen Teil des Unternehmens?

00:09:03: Es kann sein, dass sie etwas Böses machen, aber viel wahrscheinlicher ist, dass sie einfach selber total überfordert sind mit dieser Frage.

00:09:10: Aber das ist, glaube ich, einfach ein Zeichen von unserer Zeit.

00:09:16: Und ich habe das Gefühl, es ist auch so,

00:09:18: dass viele Themen für die Leute auf eine Art ein bisschen emotional gestört sind.

00:09:24: Ich habe das schon vor 15 Jahren gesagt,

00:09:26: dass eigentlich im Datenschutz das alles immer ein Vorgang vom Bauchgefühl ist.

00:09:30: Und im Moment ist zum Beispiel das Thema internationaler Transfer völlig weg.

00:09:35: Eine Zeit lang waren die Datenschützer völlig crazy wegen dieses Themas,

00:09:38: und jetzt ist es plötzlich weg.

00:09:39: Es ist eigentlich nicht da.

00:09:42: Man kann das vorher nicht so richtig begründen,

00:09:44: man kann es jetzt nicht so richtig begründen,

00:09:46: aber ich glaube, es ist einfach eine totale Überforderung,

00:09:50: damit, die ganzen Systeme zu verstehen,

00:09:53: wie sie zusammen funktionieren.

00:09:56: Und man kann dort halt einfach versuchen,

00:09:58: es entweder nachzumachen von denen,

00:10:00: die das Gefühl haben, sie hätten es im Griff,

00:10:02: oder versuchen, das einigermassen zu verstehen.

00:10:04: Das ist das, was wir machen, das ist unser Business.

00:10:07: Aber es ist auch für uns challenging.

00:10:08: Wobei ich immer meinen Mitarbeitenden, meinen Kollegen bei mir im Büro sage:

00:10:12: Wir sollen froh sein, dass sie ständig mit irgendwelchen Sachen kommen.

00:10:16: Weil dann braucht es uns noch, auch wenn wir versuchen, aktiv dagegen zu arbeiten,

00:10:20: im Sinne davon, dass wir es irgendwo standardisieren wollen.

00:10:24: Aber ich glaube, das ist es.

00:10:26: Und ich glaube nicht, dass das irgendwie böse Absicht ist,

00:10:29: oder dass sie sagen, sie wollen das nicht machen.

00:10:34: Und an gewissen Orten wissen sie natürlich einfach, sie können es einfach realisieren.

00:10:38: Also was den internationalen Transfer betrifft, wieder Thema Copilot, weil die allzu erfolgreich sind,

00:10:44: wir müssen sie die ganze Zeit erwähnen, wo sie dort kürzlich das sogenannte Flexible Routing oder Flex Routing einfach eingeschaltet haben,

00:10:52: haben die Leute plötzlich feststellen müssen, dass, ohne dass der Vertrag sich eigentlich geändert hat,

00:10:57: plötzlich die Daten in die USA gehen,

00:10:59: weil das Copilot sonst zu langsam ist

00:11:02: und sie dann das mehr auf andere Rechenzentren verteilen.

00:11:05: Was jetzt im normalen Datenschutzbereich

00:11:07: nicht unbedingt ein Problem ist,

00:11:08: weil das kann man mit diesen Verträgen,

00:11:09: wie Du es gewählt hast, lösen.

00:11:11: Aber zum Beispiel das Berufsgeheimnis für Leute

00:11:12: oder für die, die das sonst nicht wollen,

00:11:14: ein Issue ist.

00:11:15: Und was hat man gemacht?

00:11:16: Man hat jetzt einfach das Produkt geändert

00:11:18: und gesagt, das ist jetzt eine Option,

00:11:20: dass jetzt die Daten dorthin gehen.

00:11:21: Ups, sie ist halt einfach schon automatisch eingeschaltet.

00:11:24: Ich muss sie ausschalten.

00:11:25: Und das zeigt, dass es ja nicht einmal mehr nur reicht,

00:11:28: die Verträge anzuschauen.

00:11:30: Ich muss ja auch noch die ganzen Konfigurationen anschauen.

00:11:32: Das haben wir immer gesagt.

00:11:34: Und bieten auch dafür irgendwelche Prüfschemen an,

00:11:37: um das alles anzuschauen.

00:11:39: Aber selbst das überfordert die Leute.

00:11:42: Und das ist die Komplexität, von der ich hier spreche,

00:11:45: die wir aber nicht wegkriegen, weil die Alternative dazu,

00:11:49: das ist ja die andere Frage,

00:11:51: das ist ja immer die grosse Diskussion mit den Datenschützern,

00:11:53: sind wir dann besser, wenn wir das alles nicht machen?

00:11:56: ist wahrscheinlich eben auch nicht richtig.

00:11:58: Also das heisst, wenn ich jetzt sage,

00:11:59: ich mache das alles nur mit meinem eigenen System,

00:12:01: habe ich es dann wirklich besser im Griff

00:12:04: als das?

00:12:06: Und mit dem, wie wir irgendwo umgehen,

00:12:08: und wenn dann noch irgendwelche Themen

00:12:10: dazukommen, dass man sagt,

00:12:11: man will im Zuge der digitalen

00:12:14: Souveränität, um das Schlagwort

00:12:15: auch noch gebracht,

00:12:16: nur zu schauen, dass man vielleicht mit

00:12:18: zwei Providern zusammenarbeitet,

00:12:20: dann hat man die Komplexität noch höher.

00:12:22: Wir sind jetzt zum Beispiel dran,

00:12:24: wir haben jetzt sowohl Microsoft- wie Google-Berufsgeheimnislösungen.

00:12:27: Wir haben das Abuse-Monitoring abgetauscht.

00:12:29: Wir haben jetzt immerhin zwei,

00:12:31: sollte der eine ausfallen,

00:12:32: weil die Erfahrung haben wir auch gemacht.

00:12:34: Bei uns ist einmal Google einen Tag lang ausgefallen,

00:12:35: und die Leute sind im Kopf gestanden,

00:12:37: weil sie sich so daran gewöhnt haben.

00:12:39: Und dann nimmt die Komplexität noch zu.

00:12:41: Und mit dem werden wir uns halt abfinden müssen.

00:12:44: Deshalb glaube ich,

00:12:47: dass wir auch nicht so schnell keine Arbeit mehr haben,

00:12:48: weil schon allein das ganze Zeug irgendwo zu unterhalten

00:12:50: und zu verstehen, sehr viel Aufwand braucht,

00:12:53: auch mit Hilfe von KI.

00:12:56: David Rosenthal:

00:12:58: Martin Steiger: David, Du hast jetzt nach meinem Verständnis gesagt,

00:13:00: ja, mit dem Datentransfer,

00:13:01: Datenexport, das ist so ein bisschen gegessen.

00:13:03: Ich muss sagen, meine Erfahrung ist ein bisschen anders,

00:13:05: vor allem bei Microsoft, und ich habe

00:13:07: fast schon Mitleid mit Vertreterinnen

00:13:09: und Vertretern von Microsoft, die an Veranstaltungen

00:13:11: auftreten, weil an jeder Veranstaltung

00:13:14: immer die Frage kommt:

00:13:15: Aber der US-CLOUD Act

00:13:17: plus irgendwelche Anekdoten,

00:13:19: die dazu dann brühwarm

00:13:21: erzählt werden, was Microsoft

00:13:23: gerade wieder Schlimmes gemacht hat oder hat

00:13:25: machen müssen.

00:13:27: David Rosenthal: Ja, aber da muss man jetzt also

00:13:29: auch sagen: Wir sind ja immer

00:13:31: auf der Gegenseite von Microsoft in all diesen

00:13:33: Verhandlungen. Da wird natürlich

00:13:35: viel, sage ich, erzählt.

00:13:37: Also es hat kürzlich da wieder

00:13:39: die Schlagzeile gegeben, dass sie

00:13:41: Angaben, was ist es gewesen, glaube ich, über holländische

00:13:44: Regierungsbeamte den USA

00:13:45: weitergegeben haben, und dann gesagt haben,

00:13:46: dass das der ultimative

00:13:48: Beweis sei, wie der CLOUD Act

00:13:50: funktioniert. Das ist einfach Blödsinn.

00:13:53: Weil, was haben die gemacht?

00:13:55: Die haben eigene Geschäfts-E-Mails,

00:13:57: die sie haben, mit den

00:13:58: Behörden ausgetauscht. Sie sind gebeten

00:14:00: worden: Gebt uns Eure eigenen

00:14:03: E-Mails raus. Die haben keine Kundendaten

00:14:05: rausgegeben. Das hat damit überhaupt

00:14:07: nichts zu tun. Aber das zeigt

00:14:09: für mich, dass in diesem Bereich,

00:14:11: und das ist das, was ich vorher gesagt habe,

00:14:13: da zählen nicht Fakten,

00:14:14: da zählt nicht irgendwie eine sachliche

00:14:17: Diskussion, sondern es ist eine reine

00:14:18: emotionale Diskussion, und

00:14:20: es wird draufgehauen mit allem

00:14:22: Möglichen. Das ist genau gleich, wie

00:14:25: Microsofts

00:14:26: Justiziar bei einer Anhörung

00:14:28: in Frankreich gesagt hat, er könne nicht

00:14:31: garantieren, dass nicht irgendwann

00:14:33: die Daten doch

00:14:34: irgendwie rübergehen. Es gibt

00:14:36: kein Nullrisiko.

00:14:38: Sein Nachsatz, dass es noch nie

00:14:40: passiert ist, hätte niemanden mehr interessiert.

00:14:42: Und das ist einfach symptomatisch für die

00:14:44: Diskussion. Aber ich

00:14:46: merke auch: Die Diskussion ist eine

00:14:48: öffentliche Stimmungsmache. Punkt eins.

00:14:51: Sie ist in der politischen Welt,

00:14:53: was für den Einsatz durch eine Behörde

00:14:55: natürlich relevant ist,

00:14:56: aber ich nehme die Diskussion

00:14:59: kaum wahr in der Wirtschaft,

00:15:00: die auch exponiert ist

00:15:03: und die sich im Prinzip auch

00:15:04: die Frage stellen muss: Wo sind unsere

00:15:07: Daten gefährdet? Und was ich übrigens auch

00:15:09: überhaupt nicht wahrnehme:

00:15:11: Das ist ja das nächste Thema, das kommt.

00:15:12: Was ist denn eigentlich mit allen anderen

00:15:14: europäischen Staaten, die auf die Daten

00:15:16: zugreifen können? Ich bin nicht mehr so, als wäre

00:15:19: das die USA das einzige Thema.

00:15:20: Es laufen im Moment Gesetzgebungen

00:15:23: in der EU, die dafür sorgen werden,

00:15:25: dass sogar Schweizer Provider verpflichtet

00:15:27: werden können, Daten auszugeben.

00:15:29: Und nobody really cares.

00:15:31: Also, was dort genau passiert

00:15:33: und wie das funktioniert. Also, da sind

00:15:35: die Leute auf gewissen Augen einfach blind,

00:15:37: und die da mit dem CLOUD Act,

00:15:39: ohne dass sie überhaupt wirklich verstanden haben,

00:15:40: übrigens leider auch Behördenvertreter,

00:15:43: was der CLOUD Act

00:15:44: eigentlich ist und wie das funktioniert

00:15:47: und was dort läuft,

00:15:48: erzählen über das alles mögliche

00:15:49: Zeug.

00:15:50: Ich sage nicht, dass es da keine Risiken gibt

00:15:53: und dass Microsoft nicht irgendwelche

00:15:55: oder andere Sachen macht,

00:15:57: die sie nicht machen sollten.

00:15:58: Aber wir müssen da irgendwo

00:15:59: in der Diskussion,

00:16:00: wenn wir eine ernsthafte Diskussion haben,

00:16:03: wirklich über die sachlichen Fragen

00:16:06: diskutieren und das alles zusammennehmen.

00:16:09: Also, ich mache mir mehr Sorgen

00:16:11: über irgendwelche Hacker,

00:16:12: die auf meine Daten zugreifen können,

00:16:14: als dass jetzt Trump Microsoft anweisen würde, etwas zu machen.

00:16:18: Wenn Trump Daten haben will oder irgendetwas haben will,

00:16:22: dann postet er das auf X und sagt: Wenn er das nicht macht,

00:16:25: dann kriegt er irgendwelche Zölle oder andere Sachen

00:16:28: Und dann wird geliefert.

00:16:29: Aber das hat mit dem CLOUD Act nichts zu tun.

00:16:33: Martin Steiger: Mich nervt ja diese Microsoft-Anekdote.

00:16:35: Häufig sehen wir das ja dann bei LinkedIn,

00:16:37: häufig von einer Anbieterin, die natürlich da mit Swissness oder so wirbt

00:16:42: oder eben mit digitaler Souveränität,

00:16:44: digitaler Unabhängigkeit.

00:16:45: Ich versuche dann eigentlich,

00:16:46: diese Anekdote anzugehen.

00:16:47: Mich nervt es,

00:16:48: weil es verdammt anstrengend ist.

00:16:50: Weil ich einerseits Aufwand betreiben muss.

00:16:52: Gut, ich kann auch da helfen.

00:16:53: Aber gleichzeitig stelle ich immer fest:

00:16:55: Die Anekdote stimmt ja nicht.

00:16:57: Eben, Du hast es auch erklärt,

00:16:58: mit dem Holland-Thema:

00:17:00: Die Primärquelle ist eine Paywall-Publikation

00:17:02: auf Niederländisch,

00:17:04: was schon mal nicht hilft,

00:17:05: dass man das einordnet.

00:17:06: Aber eben, es ist eigentlich ganz klar,

00:17:08: es hat jetzt nichts mit dem Thema CLOUD Act zu tun.

00:17:11: Also, mir ist ja gar nicht klar,

00:17:12: wieso jetzt die Namen von den Beamtinnen und Beamten in den Niederlanden,

00:17:16: die im Konsumentenschutz und im Wettbewerbsrecht im Staat tätig sind,

00:17:20: irgendwie besonders brisant sind.

00:17:22: Klar, das Thema ist, dass die mit Sanktionen rechnen müssen.

00:17:24: Aber ich glaube, wenn die Amerikaner weitere Amtsträger in Europa sanktionieren wollen,

00:17:29: dann brauchen sie nicht die Angaben von Microsoft.

00:17:31: Und eben das andere bei den Anhörungen:

00:17:33: Ja, dann müssen die Vertreterinnen und Vertreter von Microsoft die Frage beantworten.

00:17:37: Und die Frage bei jedem Provider ist natürlich:

00:17:39: Wenn ich frage: «Liebe Provider, kann es sein, dass meine Daten, die bei Dir liegen, ins Ausland gehen?»

00:17:45: Kann das sein?

00:17:45: Dann ist die ehrliche Antwort immer ja.

00:17:48: Es kann Dir ja kein Provider ein absolutes Versprechen geben, dass das nicht passiert, weil er einfach das entsprechende Recht hat, das es ja gibt.

00:17:54: Also, wir haben zum Beispiel internationale Rechtshilfe in Strafsachen.

00:17:57: Wir haben eine Cybercrime-Convention, also Budapest, die auch viel genutzt wird heute.

00:18:00: Es ist einfach eine ehrliche Antwort, die dann aber erstaunlicherweise bei einer bestimmten Kategorie von Providern nicht gestellt wird.

00:18:08: David Rosenthal: Vor allem dann mit Sitz in der Schweiz oder in Deutschland oder im übrigen Europa.

00:18:12: Der CLOUD Act ist ja Artikel 18 Absatz 1 der Cybercrime Convention.

00:18:18: Und jedes europäische Land hat genau das Gleiche.

00:18:21: Macht in dem Sinne auch genau das Gleiche.

00:18:23: Ich verstehe natürlich, dass ein Schweizer Provider herausstreicht und sagt:

00:18:29: Bei mir bleiben die Daten in der Schweiz.

00:18:32: Das ist sein USP, das ist das, was er bringen kann.

00:18:37: Und ich habe aufgehört, mir sagen zu lassen, es gebe nur die eine Lösung oder nur die andere.

00:18:43: Ich finde, jeder muss, weil es am Schluss etwas ist,

00:18:46: das die meisten sowieso nicht vollständig durchblicken,

00:18:49: wird es ein bisschen zu einer Glaubensfrage.

00:18:53: Und dann ist es so wie: Was finde ich jetzt besser, Mac oder Windows?

00:18:57: Du wirst jetzt Mac besser finden, ich bin mir Windows gewöhnt.

00:19:01: Und da gibt es nicht ein Richtig oder ein Falsch,

00:19:04: sondern man fühlt sich einfach mit dem einen oder anderen wohler.

00:19:08: Und da gibt es Leute, die sagen: Ich muss die Hardware bei mir im Haus haben.

00:19:11: Es gibt Leute, die sagen: Ich will das bei einem Schweizer Provider haben.

00:19:15: Und es gibt andere, die sagen: Bei mir ein Cloud-Provider.

00:19:17: Und jeder hat seine Gründe.

00:19:19: Womit ich ein Problem habe, ist,

00:19:22: einfach inhaltlich falsche Sachen zu behaupten.

00:19:26: Aber ich glaube, wir müssen akzeptieren,

00:19:28: dass es am Schluss auch ein Bauchentscheid ist,

00:19:32: wie ich das machen will.

00:19:33: Dort gibt es natürlich viele spannende Sachen.

00:19:36: Das Spannende ist ja zum Beispiel auch im anderen Bereich.

00:19:39: Das wird jetzt nicht erwähnt: Wenn ich zu einem Schweizer KI-Provider gehe,

00:19:43: was setzt der ein?

00:19:44: Und das ist immer so die digitale-Souveränitäts-Diskussion.

00:19:47: Er setzt Open-Source-Modelle ein.

00:19:49: Von wo kommen die Open-Source-Modelle?

00:19:51: Es gibt eines aus der Schweiz, aber das ist nicht das,

00:19:53: was die meisten Leute einsetzen werden.

00:19:54: Coole Sache.

00:19:55: Da haben wir ja selber mitgewirkt, mit den rechtlichen Fragen und allem.

00:19:58: Aber es wird entweder ein Modell aus den USA sein,

00:20:01: übrigens von Google ausgezeichnet,

00:20:03: schnell oder genauso

00:20:06: ausgezeichnet gut aus China.

00:20:08: Also, das heisst, jetzt kommt die

00:20:09: öffentliche Verwaltung, weil sie die Cloud-Provider

00:20:11: nicht brauchen darf, kauft sich die

00:20:13: ganzen Systeme, wo übrigens

00:20:15: irgendwelche Chips aus den USA oder anderen Ländern

00:20:17: drin sind, und

00:20:19: darauf chinesische oder

00:20:21: amerikanische Modelle laufen.

00:20:23: Und chinesische Modelle, wo sie

00:20:25: vielleicht dann irgendwelche politischen

00:20:27: Vorstösse darauf bearbeiten. Ich habe mit all dem

00:20:30: nicht ein Problem, weil ich finde:

00:20:31: Und die chinesischen Modelle, ich habe selber so eines bei mir noch installiert, die sind super.

00:20:35: Und das ist datensicherheitsmässig alles null Problem.

00:20:40: Kann man alles machen.

00:20:41: Das ist also nicht wirklich ein sachliches Problem.

00:20:44: Aber wenn man es auf der emotionalen Schiene anschaut,

00:20:48: ist das halt einfach überall so ein bisschen etwas, wo wir uns einfach bewusst sein müssen,

00:20:54: dass wir in der Schweiz nicht auf einer Insel leben, die allein ist,

00:20:58: sondern wir sind Teil von etwas Grösserem,

00:21:01: wo wir halt

00:21:02: vielleicht schauen müssen,

00:21:03: dass wir verschiedene Strategien einsetzen,

00:21:06: damit wir nicht in Abhängigkeiten kommen,

00:21:08: die wir nicht wollen,

00:21:09: aber gewisse sind unvermeidbar.

00:21:11: Und auch wenn ich von Schweizer Software rede,

00:21:13: ist das auch so ein Thema.

00:21:14: Die meisten realisieren nicht,

00:21:16: dass in jeder Schweizer Software,

00:21:18: ausser vielleicht mit ganz wenigen Ausnahmen,

00:21:21: ganz viele Bibliotheken drin sind,

00:21:23: also Programmierbibliotheken,

00:21:26: die irgendwie aus den USA kommen,

00:21:28: mit Tools entwickelt werden, die aus den USA kommen.

00:21:31: Alle haben ihre Daten bei GitHub,

00:21:32: das gehört Microsoft,

00:21:34: auch gerade ihren Source Code.

00:21:36: Also, das heisst, selbst dort sind wir das nicht vollständig.

00:21:39: Und dann sind wir wieder an einem Punkt,

00:21:41: den ich völlig berechtigt finde,

00:21:43: wo wir aber einfach realisieren müssen,

00:21:45: dass es am Schluss ein bisschen ein emotionaler

00:21:47: oder so ein Glaubensentscheid ist,

00:21:50: wo man es machen will und wie man es machen will.

00:21:53: Und ich habe mit diesem Problem,

00:21:54: wir setzen auch bei uns in der Kanzlei,

00:21:56: nicht nur auf amerikanische Provider.

00:21:58: Wir haben auch Sachen hier in der Schweiz

00:22:00: und versuchen, das ein bisschen

00:22:01: zu diversifizieren, aus Gründen,

00:22:04: die sehr sachlich sind

00:22:06: und wo ich auch glaube,

00:22:07: dass ich damit gut schlafen kann.

00:22:10: Und das ist ja am Schluss das, was dann

00:22:12: eigentlich passiert hinterher auch.

00:22:14: Aber man sollte irgendwie so

00:22:16: ehrlich sein und das auch sagen.

00:22:18: Und das ist die Diskussion, die

00:22:20: auf LinkedIn, wie Du vorher gesagt hast,

00:22:22: halt zum Teil dann stattfindet

00:22:24: in einer Art und Weise, die halt eben

00:22:26: sehr polemisch ist. Übrigens auch

00:22:28: habe ich gefühlt, dass 50 Prozent

00:22:30: der Beiträge KI-generiert sind,

00:22:32: die mir dann zum Hals raushängen.

00:22:34: Du versuchst jetzt vielleicht, dem auf den

00:22:35: Grund zu gehen. Ab einem gewissen Ort mache ich das nicht mehr,

00:22:38: ausser Klienten fragen uns: Ich will wissen,

00:22:40: ob jetzt hier wieder irgendein

00:22:41: von diesen Providern eine Sache gemacht hat

00:22:43: oder ob das alles eher eine Ente ist.

00:22:46: Aber ich habe es aufgegeben,

00:22:47: überall immer dagegenzureden,

00:22:49: weil es nichts bringt.

00:22:52: Wenn die Leute

00:22:53: diese Diskussion so führen wollen,

00:22:55: dann sollen sie sie führen. Schade finde ich es einfach,

00:22:57: wenn sie die Behörden anführen oder so.

00:22:59: Das ist dann ein anderes Thema, und dort fühle ich mich

00:23:02: nicht richtig geschützt.

00:23:04: Aber that's how it is.

00:23:05: Martin Steiger: David, bei den Modellen möchte ich noch

00:23:07: eine Lanze brechen für Mistral.

00:23:10: Also europäische

00:23:11: KI-Modellanbieter, KI-Dienstanbieter,

00:23:14: was auch viel genutzt wird.

00:23:15: Kann man zum Teil auch selber hosten.

00:23:17: In letzter Zeit für mich persönlich sehr interessant:

00:23:19: Voxtral. Das ist ein

00:23:21: Whisper-Konkurrent, den man selber

00:23:23: hosten kann, also selber betreiben kann,

00:23:25: aber auch die API nutzen kann.

00:23:26: Und zumindest gefühlt ist

00:23:28: Voxtral besser in Schweizerdeutsch

00:23:30: als Whisper,

00:23:31: wenn es zum Einsatz kommt.

00:23:34: Also, dass man das nicht vergisst.

00:23:35: Und ja, bei den chinesischen Modellen

00:23:36: ist es dann häufig ein Qwen

00:23:38: oder vielleicht noch ein Kimi,

00:23:40: Moonshot AI, sage ich mal.

00:23:42: Aber da hat man eine grosse Auswahl,

00:23:43: die man nutzen kann.

00:23:44: Eben, muss man letztlich herausprobieren,

00:23:45: was wie passt.

00:23:46: Da, wie Du es heute auch schon erwähnt hast,

00:23:47: auch bei den bekannten Providern,

00:23:49: die zum Beispiel Claude nutzen,

00:23:51: wirst Du im Alltag

00:23:51: auch nicht immer das beste Modell

00:23:53: in der höchsten Stufe nutzen.

00:23:54: Vielleicht aus Kostengründen.

00:23:56: Das ist ja auch berühmt-berüchtigt.

00:23:58: Die Fünf-Stunden-Fenster oder was es dann ist.

00:24:00: Darauf kannst Du schon das Leben einrichten.

00:24:01: Wie viel kann es jetzt sein? Wie viele Stunden und Tage?

00:24:04: Das ist so ein bisschen das Ding.

00:24:06: Da würde ich vorschlagen, wir versuchen für heute mal,

00:24:09: zu einem Schluss zu kommen.

00:24:10: Vielleicht schaffen wir es zum Endspurt,

00:24:13: möglichst einfach,

00:24:14: ein paar praktische Tipps mitzugeben.

00:24:16: Wie macht man es denn richtig?

00:24:19: Ohne dass man da völlig

00:24:21: versumpft in endlosen Recherchen

00:24:23: bei den 50-plus-KI-Diensten,

00:24:25: die man vielleicht schon im Einsatz hat

00:24:28: und jetzt mal sagt:

00:24:28: Okay, was müssen wir mal anschauen?

00:24:30: Oder was sollte man vielleicht mal anders machen?

00:24:33: David Rosenthal: Ich glaube, der wichtigste Tipp ist:

00:24:35: Als geschäftlicher Nutzer

00:24:37: habe ich andere Standards,

00:24:39: und da sollte ich keine Consumer-Versionen einsetzen.

00:24:42: Das ist mal das Wichtigste.

00:24:44: Und das Zweite ist:

00:24:46: Bei den Verträgen,

00:24:47: Datenschutz, wie Du schon gesagt hast,

00:24:48: das kriegt man überall plus/minus in irgendeiner Form,

00:24:51: also diese Datenschutzvertragsthemen.

00:24:53: Aber man sollte noch schauen,

00:24:55: was in Bezug auf Geheimhaltung,

00:24:57: wirklich zugesichert wird.

00:24:59: Und wenn man im Berufsgeheimnisbereich ist,

00:25:01: dann gibt es genaue Empfehlungen,

00:25:03: was man wie machen kann.

00:25:04: Das führt jetzt hier zu weit.

00:25:05: Aber dass man diesen Punkt,

00:25:07: dass man nicht nur auf den Datenschutz schaut,

00:25:09: und dass man auch ein bisschen versucht zu verstehen,

00:25:13: wie sie das mit der Informationssicherheit getroffen haben,

00:25:16: auch bei den Firmen,

00:25:18: wo man dort herkommt.

00:25:19: Und was ich auch glaube,

00:25:21: ist, dass man es halt auch einfach einmal machen muss.

00:25:24: Und es ist besser, wenn ein Unternehmen sagt:

00:25:28: Ihr kriegt jetzt alle KI, Ihr habt jetzt das,

00:25:30: Ihr dürft das jetzt nutzen,

00:25:31: damit Ihr das nicht privat mitnutzt,

00:25:33: weil sonst ist es privat.

00:25:35: Und dann habe ich sowieso das Problem,

00:25:37: dann nützen mir alle Überlegungen nichts.

00:25:39: Und deshalb glaube ich einfach,

00:25:41: möglichst auch die Angst zu verlieren,

00:25:43: das einzusetzen, damit wir es wie beim E-Mail haben,

00:25:45: dass wir auch keine Probleme mehr haben beim Schicken,

00:25:47: auch wenn es vielleicht nicht verschlüsselt ist.

00:25:50: Das würde ich den Leuten vielleicht mitgeben.

00:25:52: Aber macht Euch nicht verrückt mit all diesen ganz vielen Vertragsbedingungen.

00:25:57: Wir werden jetzt demnächst wieder eine Guideline publizieren,

00:26:01: wo drinsteht, welche Abos bei wem sind, für was,

00:26:05: okay, mit Farbcodes und so weiter.

00:26:07: Das kann einem sicher helfen, dass man dort sieht, wo man drin ist.

00:26:12: Aber sich nicht verrückt machen lassen.

00:26:15: Vor allem nicht, wenn man jetzt nicht unter diesen Spezialgeheimnissen drunter ist.

00:26:19: Das wären ein paar Punkte, die ich jetzt mitzugeben versuchen würde.

00:26:23: Martin Steiger: Wunderbar, David.

00:26:24: Ich möchte das noch verstärken oder ergänzen.

00:26:26: Kein Angebot für Konsumentinnen und Konsumenten nutzen.

00:26:29: Nur weil ein Angebot teuer ist,

00:26:31: heisst das nicht, dass es ein Unternehmensangebot ist.

00:26:33: Also ich sage mal, 200 Dollar für Claude, das ist das Konsumentenangebot.

00:26:37: Ganz klassisch.

00:26:38: Also dort muss man schauen,

00:26:39: dass man auf die anderen entsprechenden Angebote geht.

00:26:41: Weil sonst hat man wirklich nicht einmal das absolute Minimum regulatorisch.

00:26:45: Und das andere ist, und das ist wirklich mein Tipp:

00:26:48: Ich finde wirklich sehr gut, was Google im Moment macht.

00:26:51: Also im Kontext von einem Unternehmen, von einer Organisation

00:26:54: kommt man mit Google Workspace sehr weit, auch von der Compliance her,

00:26:57: auch von den Möglichkeiten, die man hat.

00:26:59: Ja, eben der Chatbot, also was sie anbietet, ist relativ unerquicklich.

00:27:02: Gerade in der Unternehmensversion wird es vielleicht auch noch besser.

00:27:05: Aber gerade wenn man in der Lage ist, Schnittstellen zu nutzen,

00:27:08: kommt man dort sehr weit.

00:27:08: Man kommt da sehr weit, weil die Verträge von Workspace und der Cloud-Plattform

00:27:12: vor einiger Zeit fusioniert worden sind.

00:27:15: Also man hat auch eine breite Abdeckung.

00:27:17: Und wenn man dort nachfragt,

00:27:18: bekommt man auch zusätzliche Garantien

00:27:20: rüber. Und eben der andere Weg,

00:27:22: Du hast es schon so halb erwähnt,

00:27:24: ist natürlich, dass man Red Ink nutzt.

00:27:26: Also das Angebot, das Du, David,

00:27:28: massgeblich mitgeprägt hast.

00:27:30: Und wir sagen ja auch, wir helfen Euch

00:27:32: allenfalls, den Kontakt hier herzustellen.

00:27:34: David, willst Du ganz zum Schluss

00:27:36: vielleicht noch etwas dazu sagen?

00:27:38: Du darfst auch gerne ein bisschen Werbung für Euer

00:27:40: tolles Red-Ink-Angebot noch machen.

00:27:42: David Rosenthal: Ja, das ist ja die Lösung, die wir

00:27:44: aus Frust, weil es sonst nichts

00:27:45: Gescheites auf dem Markt gab, selber entwickelt haben.

00:27:47: Und das kannst Du eigentlich mit jedem KI-Modell

00:27:50: benutzen, auch mit Mistral und mit allem.

00:27:52: Und das ist im Prinzip einfach Software,

00:27:54: die wir anbieten für Private.

00:27:55: Es ist für Windows, die Mac-Version,

00:27:57: da sind wir dran. Für Windows

00:27:59: ist es für Private kostenlos.

00:28:02: Also das kann man haben, und der Quellcode

00:28:03: ist auch offen, und man kann das dann mit all diesen

00:28:05: Sachen verbinden. Bei Unternehmen

00:28:07: kostet es etwas, aber wir zum Beispiel

00:28:09: zahlen bei uns jetzt für alles mit der

00:28:11: KI-Nutzung die Hälfte von

00:28:14: einem Copilot oder

00:28:15: so einem normalen ChatGPT-Abo.

00:28:17: Und es muss dann auch nicht

00:28:19: teuer sein. Und das kann man mit all

00:28:21: diesen Sachen zusammen kombinieren.

00:28:23: Und funktioniert als Add-in in

00:28:25: Word, Outlook und Excel.

00:28:27: Und dann kann ich eigentlich all die

00:28:29: Funktionen nutzen, die ich

00:28:31: mit der KI machen will.

00:28:33: Auch so die ganzen agentischen Sachen wie

00:28:35: bei Claude. Und das kann man sich mal anschauen.

00:28:37: Also wir haben jetzt angefangen,

00:28:38: das seit Anfang des Jahres

00:28:40: auch anderen anzubieten, weil da eine Nachfrage

00:28:43: war. Und wir sehen jetzt übrigens spannenderweise:

00:28:45: Gerade von Behörden kommen sie und wollen das Zeug nutzen,

00:28:49: weil es sich eben auch mit den eigenen KIs, die sie haben,

00:28:52: betreiben lässt.

00:28:53: Aber es geht mit Google, es geht mit Microsoft,

00:28:55: es geht mit OpenAI, mit allem zusammen.

00:28:57: Und private Nutzung ist für sie kostenlos.

00:29:02: Martin Steiger: Genau, also lohnt es sich sicher, das anzuschauen.

00:29:04: David, wir haben es auch schon diskutiert,

00:29:06: Du weisst, ich bin gegenüber dieser Microsoft-Windows-Welt

00:29:08: immer ein bisschen skeptisch.

00:29:09: Aber eben sicher etwas,

00:29:10: gerade wenn man in dieser Microsoft-Office-Welt unterwegs ist:

00:29:13: Er kann einen eigentlich im Microsoft-Office-Universum verwenden,

00:29:16: was natürlich ein Standardszenario ist, geschenkt.

00:29:18: In ganz vielen Unternehmen finde ich das wirklich eine gute Sache.

00:29:21: Du hast auch zu Recht gesagt, es ist privat kostenlos.

00:29:24: Im Moment zumindest auch für die unternehmerische Nutzung

00:29:26: eigentlich ein sehr guter, fairer Deal.

00:29:29: Also unbedingt ausprobieren.

00:29:31: Ja, David, ich habe schon den Mauszeiger auf den Start-Button verschoben.

00:29:36: In diesem Sinne danke ich Dir,

00:29:38: dass Du einmal mehr sehr spannend, sehr hilfreich, sehr lehrreich unterwegs warst.

00:29:42: Ich bin überzeugt, auch unsere Zuhörerinnen und Zuhörer,

00:29:44: die jetzt noch dabei sind am Schluss

00:29:46: von diesem Gespräch, konnten sehr viel mitnehmen.

00:29:48: Vielen Dank, David. Ja, vielen Dank Dir.

00:29:55: Sprecher: Hat Dir

00:29:56: Datenschutz-Plaudereien gefallen?

00:29:59: Wir freuen uns

00:30:00: über Deine Bewertung, Deinen Kommentar

00:30:02: oder Deine Rückmeldung.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.