Ein Vorschlag des Europarats zur Chatkontrolle, mit der die Verbreitung von Material von sexuellem Kindesmissbrauch (Child Sexual Abuse Material - CSAM) verhindert werden soll, geht nun in den Trilog zwischen Europarat, EU-Kommission und EU-Parlament. Der Vorschlag sieht keine obligatorische Überwachung vor, wie sie in vorherigen Vorschlägen angestrebt worden war. Stattdessen sollen Messengerdienste wie WhatsApp oder Signal weiterhin freiwillig Software zur automatischen Chatkontrolle installieren können, der Umfang der Überwachung kann sogar ausgeweitet werden.

Obligatorische Vorschriften sollen in Zukunft erneut überprüft werden. Gleichzeitig soll es Nutzerinnen und Nutzern erleichtert werden, Chats zu melden, in denen es um CSAM geht. Darüber hinaus sieht der neue Vorschlag eine obligatorische Alterskontrolle von Nutzerinnen und Nutzern vor. Carmela Troncoso, Direktorin am Max-Planck-Institut für Sicherheit und Privatsphäre, gehört zu den Autorinnen und Autoren eines Kommentars, der die Streichung der obligatorischen Chatkontrolle begrüßt. Gleichzeitig warnen die Unterzeichnerinnen und Unterzeichner vor Aspekten des aktuellen Vorschlags, die beim Kampf gegen die Verbreitung von CSAM nicht oder kaum helfen, aber einige unerwünschte Effekte haben. Carmela Troncoso erläutert die Unterschiede zwischen dem aktuellen Vorschlag und früheren Entwürfen, die praktischen Folgen einer freiwilligen Chat-Überwachung, die damit verbundenen Probleme und Risiken sowie mögliche Alternativen.

Frau Professor Troncoso, was sind die wichtigsten Unterschiede zwischen dem neuen Vorschlag zur Chatkontrolle und den vorherigen Vorschlägen? Gibt es Verbesserungen?

Carmela Troncoso: Es ist sehr erfreulich, dass der neue Vorschlag die obligatorische Chatkontrolle nicht mehr vorsieht. Das ist ein großer Fortschritt, um die dringend notwendigen Schutzmaßnahmen für Kinder im Internet mit den Sicherheits- und Datenschutzrisiken, die diese Maßnahmen für die Gesellschaft insgesamt mit sich bringen, in Einklang zu bringen. Andere Aspekte des Vorschlags bergen jedoch weiterhin hohe Risiken für die Gesellschaft, ohne dass klare Vorteile für Kinder erkennbar wären. So erweitert der neue Vorschlag den Umfang der Überprüfung: Nicht mehr nur Links und Bilder wie im vorherigen Vorschlag vorgesehen werden analysiert, sondern auch Textnachrichten und Videos. Dies wird unsere Persönlichkeitsrechte weiter einschränken und zu vielen weiteren falschen Meldungen führen, die die Wirksamkeit der Schutzmaßnahmen verringern. Der neue Vorschlag sieht auch eine obligatorische Altersüberprüfung vor: Zum einen, wenn Nutzerinnen Apps herunterladen wollen, bei denen ein hohes Risiko für die Verbreitung von CSAM und Grooming gesehen wird, zum Beispiel Messengerdienste, Spiele mit integrierten Chats und Soziale Medien wie X, Bluesky oder Facebook. Zum anderen soll das Alter überprüft werden, bevor diese Dienste oder bestimmte ihrer Funktionen genutzt werden.

Wie wird die Suche nach CSAM in Chats technisch umgesetzt?

Chats über Messengerdienste werden grundsätzlich anders überwacht als E-Mails. Die meisten E-Mail-Dienste verwenden heute keine Ende-zu-Ende-Verschlüsselung, sondern verschlüsseln eine E-Mail nur auf dem Weg vom Absender zum Server des Anbieters und vom Server zum Empfänger. Der Inhalt von E-Mails kann auf dem Server auf belastende Inhalte wie CSAM überprüft werden, was bereits geschieht. Chats über Messengerdienste wie WhatsApp oder Signal werden Ende-zu-Ende verschlüsselt. Das bedeutet, dass Nachrichten auf dem Gerät des Absenders verschlüsselt und erst auf dem Gerät des Empfängers entschlüsselt werden. Um sie auf CSAM zu durchsuchen, soll das sogenannte Client-Side-Scanning genutzt werden.

Warum verstößt Client-Side-Scanning gegen den Datenschutz?

Beim Client-Side-Scanning bleibt die Ende-zu-Ende-Verschlüsselung zwar bestehen, wird aber unterlaufen: Um CSAM zu erkennen, müssen Inhalte auf dem Gerät des Absenders überprüft werden, bevor sie verschlüsselt werden. In die Messenger-App oder in das Betriebssystem würde eine Erkennungssoftware eingebaut, die Chat-Inhalte überprüft und verbotene Inhalte automatisch an Strafverfolgungsbehörden weiterleitet.

Wie soll beim Client-Side-Scanning CSAM, beispielsweise Bilder, identifiziert werden?

Dabei wird zwischen der Suche nach bekanntem und unbekanntem Bildmaterial unterschieden. Wenn es um bekanntes CSAM geht, können für den Abgleich vor der Verschlüsselung bekannte kinderpornografische Bilder natürlich nicht auf die Geräte von Nutzern geladen werden, weil diese sonst in Besitz von Missbrauchsdarstellungen kämen. Daher werden von bekannten Missbrauchsdarstellungen sogenannte Hashes erzeugt und auf die Geräte von Nutzerinnen und Nutzern geladen. Ein Hash ist eine Zeichenfolge, die als mathematischer Fingerabdruck dient. Für die Suche nach unbekannten Missbrauchsdarstellungen kann eine Software mithilfe von maschinellem Lernen trainiert werden.

Ist Client-Side-Scanning bei der Erkennung von CSAM wirksam?

Die kurze Antwort lautet: Nein. Forschungsergebnisse zeigen, dass der Einsatz von Software zum Vergleich von Chat-Inhalten mit bekanntem CSAM nicht wirksam ist. Die Erkennung kann leicht umgangen werden, indem einfach einige Pixel im Foto verändert werden. Bei der KI-gestützten Suche nach unbekannten Missbrauchsdarstellungen besteht ein sehr hohes Risiko, dass auch harmlose Bilder als problematisch identifiziert werden, beispielsweise Fotos von Kindern am Strand oder von Hauterkrankungen, die Eltern an einen Kinderarzt schicken. Daher überwiegen die Vorteile dieses Gesetzes nicht die Risiken für die Privatsphäre der Nutzer.

Gilt dies auch für Textnachrichten?

Der neue Vorschlag sieht vor, Texte mithilfe von KI auf Aktivitäten wie Grooming zu analysieren. Grooming beschreibt die Art und Weise, wie ein Täter eine emotionale Bindung zu seinem Opfer aufbaut. Wie bei allen anderen KI-basierten Fällen ist die Erkennung auch hier unvollkommen. Darüber hinaus kann Grooming in Textkommunikation anderen Interaktionen sehr ähneln, die in einem freundschaftlichen Kontext völlig akzeptabel sind, wie zum Beispiel Chats mit Verwandten oder engen Freunden oder Chats zwischen Teenagern, die neue Beziehungen anbahnen. Daher wird es nur zu mehr falschen Anschuldigungen kommen, da solche Situationen mit illegalen Aktivitäten verwechselt werden. Wenn die Chatkontrolle auf Textnachrichten und Videos ausgeweitet wird, kann das den Schutz von Kindern sogar beeinträchtigen, da Ermittler mit falschen Anschuldigungen überflutet werden. So werden sie daran gehindert, die tatsächlichen Fälle zu untersuchen. Zusammenfassend lässt sich sagen, dass eine Ausweitung des gescannten Materials nur dazu führt, dass mehr Chats überwacht werden können, ohne dass es einen besseren Schutz vor der Verbreitung von Missbrauchsdarstellungen gibt.

Werden Missbrauchdarstellungen überhaupt in nennenswertem Umfang über Messengerdienste verbreitet?

Es gibt zwar Berichte, denen zufolge Kinder über Messengerdienste Missbrauch erfahren, es ist aber schwer zu ermitteln, in welchem Umfang das über verschlüsselte Kommunikation geschieht, weil das wegen der Verschlüsselung nicht gemessen werden kann.

Wären Minderjährige besser geschützt, wenn sie für die Nutzung der Dienste ihr Alter verifizieren müssten?

Eine Altersverifikation könnte dazu beitragen, Minderjährige daran zu hindern, auf bestimmte Inhalte oder Anwendungen zuzugreifen. Aber ihre Wirksamkeit ist nicht garantiert, und sie birgt Risiken für die Privatsphäre und könnte zu Diskriminierung führen. Wenn die Überprüfung durch den Scan eines vollständigen Dokuments zum Beispiel des Personalausweises erfolgt, bestehen offensichtliche Sicherheits- und Datenschutzrisiken, und sie ist unverhältnismäßig, da sie weit mehr Informationen als nur das Alter preisgibt. Und Lösungen zum Schutz der Privatsphäre können eine Abhängigkeit von Software und Hardware mit sich bringen, da die Technik nur mit bestimmten Geräten genutzt werden kann. Selbst ohne diese Probleme kann die Einführung der Technik zu Diskriminierung führen, da nur diejenigen Personen das System nutzen können, die einen Altersnachweis einer autorisierten Stelle vorlegen können. Ein erheblicher Teil der Bevölkerung wie etwa Migrantinnen und Migranten sowie Kinder aus sozial schwachen Familien hat möglicherweise keinen einfachen Zugang zu Dokumenten, die einen solchen Nachweis ermöglichen. So wechseln Nutzerinnen und Nutzer etwa im Vereinigten Königreich vermehrt zu anderen Anbietern, außerdem können sie die fraglichen Dienste über VPNs nutzen. Wenn Kinder ihre Kommunikation in alternative unsichere, möglicherweise unverschlüsselte Kanäle verlagern, könnte das die Risiken für sie erhöhen. Denn möglicherweise werden die Kanäle von böswilligen Akteuren betrieben.

Würde eine Altersprüfung anhand biometrischer, verhaltensbezogener und kontextbezogener Informationen wie etwa von Browserverläufen die von Ihnen genannten Probleme lösen?

Eine solche Altersprüfung ist wesentlich invasiver als die Alterskontrolle per Ausweisdokument, da sie einen Anreiz für eine umfangreichere Datenerhebung schafft. Sie birgt ein unverhältnismäßig hohes Risiko schwerwiegender Datenschutzverletzungen, da sie derzeit überwiegend auf KI-basierten Methoden beruht, die die erforderlichen Datentypen, zum Beispiel biometrische Daten, bekanntermaßen mit hohen Fehlerquoten verarbeiten und gegenüber bestimmten Minderheiten voreingenommen sind.

Gibt es eine Alternative zu einer stärkeren Kontrolle im Internet, die besser geeignet ist, um die Sicherheit von Kindern zu gewährleisten?

Der aktuelle Vorschlag sieht hauptsächlich technische Lösungen vor, die auf Kosten der Kommunikationssicherheit und der Privatsphäre missbräuchliche Inhalte aus dem Internet entfernen oder Barrieren schaffen. Angesichts der Grenzen der Technik dürfte das kaum dazu beitragen, den Missbrauch von Kindern zu verhindern. Wir erinnern daran, dass CSAM-Inhalte das Ergebnis sexuellen Missbrauchs von Kindern sind. Anstatt weiterhin auf Techniken mit zweifelhafter Wirkung wie die Chatkontrolle und Altersüberprüfungen zu setzen, die die Sicherheit und Privatsphäre erheblich schwächen, sollten die von Organisationen wie den Vereinten Nationen empfohlenen Maßnahmen umgesetzt werden. Dazu gehören Aufklärung über Einwilligung, Normen und Werte, digitale Kompetenz und Online-Sicherheit sowie umfassende Sexualaufklärung und traumasensible Hotlines für Meldungen.