Apple will Kinder schützen. Deshalb hat der Konzern ein aus drei Elementen bestehendes System gebaut, das die Möglichkeiten von Verschlüsselung dramatisch reduziert, ein Einfallstor für zukünftige Begehrlichkeiten bildet und in meinen Augen zu einer kontinuierlichen, lokalen, anlasslosen und unkontrollierten Überwachung aller (!) Nutzerinnen und Nutzer eines Apple-Devices führen wird. Das ist ein Dammbruch für die Firma, die den ikonischen 1984-Werbespot veröffentlicht und sich den Schutz der Privatsphäre auf ihr Banner angeheftet hat.
Prüfung der Bilddatenbank auf illegale Inhalte
Unter dem Titel der Bekämpfung von Kinderpornografie liefert Apple mit iOS 15 ein System aus, das alle lokal auf einem Apple-Device gespeicherten Bilder, sofern sie mit iCloud synchronisiert werden, auf Basis von Fingerprinting mit einer Liste illegaler Inhalte abgleicht. In diesem konkreten Fall ist es die CSAM-Liste (CSAM steht für Child Sexual Abuse Material). Stimmen Fingerprints von Bildern mit solchen aus der Liste überein, schlägt das System an; und wird eine bestimmte Anzahl von Übereinstimmungen überschritten, dann löst das eine Voruntersuchung bei Apple aus; und wird auch dabei eine Übereinstimmung (diesmal nicht mehr mit Prüfsummen, sondern im visuellen Vergleich) festgestellt, wird das Konto des Nutzers oder der Nutzerin deaktiviert und der Fall an die Behörden übergeben. Apple behauptet, dieses System erlaube ein „extremely high level of accuracy and ensures less than a one in one trillion chance per year of incorrectly flagging a given account.“
Prüfsummen ≠ Bildanalyse
Das System arbeitet mit Prüfsummen (Fingerprints) und nicht mit Bildanalyse. Die Fotodatenbank eines Nutzers oder einer Nutzerin muss also Bilder oder Variationen von Bildern beinhalten, die bereits identifiziert, als illegales Material deklariert und deren Prüfsummen in die CSAM-Liste aufgenommen wurden. John Gruber:
The CSAM detection for images uploaded to iCloud Photo Library is not doing content analysis, and is only checking fingerprint hashes against the database of known CSAM fingerprints. So, to name one common innocent example, if you have photos of your kids in the bathtub, or otherwise frolicking in a state of undress, no content analysis is performed that tries to detect that, hey, this is a picture of an undressed child. Fingerprints from images of similar content are not themselves similar. Two photographs of the same subject should produce entirely dissimilar fingerprints. The fingerprints of your own photos of your kids are no more likely to match the fingerprint of an image in NCMEC’s CSAM database than is a photo of a sunset or a fish.
Apple’s New ‚Child Safety‘ Initiatives, and the Slippery Slope
Das ist die für John Gruber übliche, Apple gegenüber sehr positive Sicht der Dinge. Sie stimmt zwar faktisch, spart aber einen ganz wesentlichen Aspekt der von Apple in seine Systeme implementierten Technologie gänzlich aus: Ein System, das Foto- und vielleicht zukünftig auch andere Daten auf Basis von Prüfsummen nach illegalem Material durchsucht, kann nicht so programmiert werden, dass das illegale Material auf einen besonderen Anwendungsfall beschränkt ist. Diese Beschränkung wird (im konkreten Fall durch die CSAM-Liste) konfiguriert. Und genau darin liegt das Problem.
Keine Einschränkungen mehr: Dammbruch
Matthew Green und andere Experten im Bereich der Kryptografie sehen in der Technologie, die Apple zu einem Teil seiner Betriebssysteme – ja, es sind alle Devices betroffen! – macht, grundlegende Vorstellungen von Eigentum und Datenschutz infrage gestellt. Bislang konnten wir immer davon ausgehen, dass unsere Daten auf unseren Geräten uns gehören und unantastbar sind und wir wussten, dass wir, verlassen unsere Daten einmal unsere Devices, nahezu alle Möglichkeiten des Schutzes dieser Daten aufgeben, wenn wir nicht zu Verschlüsselung greifen. Diese Grenze wird von Apple nun aufgehoben.
Daten auf unseren Devices werden den Folgen der Unsicherheit ausgesetzt, die bislang nur außerhalb unserer Geräte vorhanden waren: Scanning, Tracking, Tracing, Analyse usw. Noch ist es nicht der Fall und noch will Apple sein System als ausschließlich für den Schutz von Kindern verstanden wissen, aber die Möglichkeiten, die so ein System mit sich bringt, die Begehrlichkeiten, die es weckt und das Signal, das Apple mit der Implementierung eines solchen Systems an andere Unternehmen sendet, ist fatal.
Why would Apple spend so much time and effort designing a system that is specifically designed to scan images that exist (in plaintext) only on your phone? […] Regardless of what Apple’s long term plans are, they’ve sent a very clear signal. In their (very influential) opinion, it is safe to build systems that scan users’ phones for prohibited content. That’s the message they’re sending to governments, competing services, China, you. Whether they turn out to be right or wrong on that point hardly matters. This will break the dam — governments will demand it from everyone. And by the time we find out it was a mistake, it will be way too late.
Matthew Green
Jürgen Schmidt stimmt auf heise online in die Befürchtungen mit ein:
Die Liste der Dinge, nach denen da gesucht wird, wird kontinuierlich erweitert. Anfänglich ist das Kinderpornografie – wie immer, wenn man einen möglichst breiten Konsens für neue Überwachungsmöglichkeiten braucht. Dann sucht man nach Terroristen, Menschenhändlern, Drogen-Dealern und so weiter […] Staaten fordern und bekommen Einfluss auf die Suchkriterien und natürlich Zugriff auf die damit ausgelösten Alarme. Also nicht nur die USA und Deutschland. Sondern auch China, Russland, Ungarn, Belarus, Saudi-Arabien und so weiter. Schließlich müsse sich eine Firma doch an geltendes Recht halten.
Totalüberwachung durch die Hintertür – Apples fataler Sündenfall
Sprechen wir hier noch vom Schutz von Kindern? Oder sind wir bereits mitten in der (bald nicht mehr nur) Dystopie einer kontinuierlichen, lokalen, anlasslosen und unkontrollierten Überwachung aller (!) Nutzerinnen und Nutzer eines Apple-Devices? Wer noch nicht überzeugt ist… Es gibt noch zwei weitere Elemente in Apples Technologie zum Schutz von Kindern.
Echtzeitüberwachung von Nachrichten
Weil ein Hersteller von Hard-/Software und von Cloud-Angeboten natürlich mit der Aufgabe des Schutzes von Kindern betraut werden soll (Solutionismus, anyone?), hält Apple ein zweites Element in seinem Technologiestack parat: die Echtzeitüberwachung von Nachrichten. Im Gegensatz zu dem auf vorgefertigen Listen basierten Abgleich von Prüfsummen bereits auf dem Device gespeicherter Bilder, ist die auf Machine Learning basierende Überwachung von Nachrichten ein ganz anderes Biest, das selbst die Electronic Frontier Foundation zur Aussage bewegt: „To say that we are disappointed by Apple’s plans is an understatement.“
Erhält ein Kind – für Apple sind das Personen bis 13 Jahre – eine Nachricht mit sexuell expliziten Fotos oder Videos oder möchte es solche selbst versenden, kann, sofern die Eltern dieses System aktivieren, iMessage mit einer Warnfunktion ausgestattet werden.
- Erhält ein Kind (ob die Nutzerin oder der Nutzer eines iPhones ein Kind ist, wird aus der Apple-ID abgeleitet) eine Nachricht, wird sie in Echtzeit gescannt und das Foto oder Video mit vermutlich sexuellem Inhalt verschwommen dargestellt. Auf dem Screen erscheint eine Warnung, die das Kind davon in Kenntnis setzt, dass es sich hierbei um ein solches Foto oder Video handeln könnte. Das Kind muss nun bestätigen, dass es sich sicher ist, es ansehen zu wollen. Zusätzlich zu der Warnung kann das System die Eltern über den Empfang eines solchen Bildmaterials informieren.
- Will ein Kind derartige Fotos selbst versenden, gelten die gleichen zwei Maßnahmen: einerseits wird das Kind selbst darüber informiert, dass es sich bei dem Bild- und Videomaterial, das es versenden will, wahrscheinlich um „sensitive photos and videos“ handelt und die Eltern können auch darüber informiert werden.
Bei Personen zwischen 13 und 17 Jahren können diese Mechanismen auch greifen, jedoch funktionieren sie ohne Benachrichtigung der Eltern. In allen Fällen erfolgt die Analyse des Inhalts am Endgerät selbst und Apple betont: „The feature is designed so that Apple does not get access to the messages.“ Womit es für Apple getan ist, dort fängt die Electronic Frontier Foundation mit ihrer Kritik erst an:
If—for instance—a minor using an iPhone without these features turned on sends a photo to another minor who does have the features enabled, they do not receive a notification that iMessage considers their image to be “explicit” or that the recipient’s parent will be notified. The recipient’s parents will be informed of the content without the sender consenting to their involvement. Additionally, once sent or received, the “sexually explicit image” cannot be deleted from the under-13 user’s device.
Whether sending or receiving such content, the under-13 user has the option to decline without the parent being notified. Nevertheless, these notifications give the sense that Apple is watching over the user’s shoulder—and in the case of under-13s, that’s essentially what Apple has given parents the ability to do.
Ich bin gespannt, wie sich das Verhalten von unter 13-Jährigen oder von 13-17-Jährigen ändern wird, sobald diese Überwachungsfunktion aktiv ist. Oft reicht nur das Wissen über diese Funktion, um nachhaltige Verhaltensänderungen auszulösen. Die Frage, die ich mir hier stelle: Will man das? Will man das Verhalten seines Kindes einem in womöglich einem ganz anderen Kulturkreis angesiedelten Unternehmen anvertrauen? – Das ist die eine Frage.
Die andere Frage bringt mich wieder zurück zum eigentlichen Thema des Artikels, nämlich: Wie lange wird es dauern, bis das System, das „sensitive photos and videos“ erkennt, nicht mehr nur auf von Kindern genutzten Devices und nicht mehr nur dann, wenn die Eltern des Kindes es aktivieren, arbeitet. Und was heißt schon „Aktivierung“? Wir wissen nicht, ob dieses System nicht ohnehin kontinuierlich auf allen Devices aktiv ist und Nachrichten analysiert (wovon ich ausgehe), und die Bedingung „Alter und Aktivierung“ lediglich die Warnung ein- oder ausschaltet. In dem Fall stellt sich die entscheidende Frage: Ist das noch die von Apple so hochgehaltene Ende-zu-Ende-Verschlüsselung seines Messengers? Die EFF hat eine sehr klar Antwort darauf:
Since the detection of a “sexually explicit image” will be using on-device machine learning to scan the contents of messages, Apple will no longer be able to honestly call iMessage “end-to-end encrypted.” Apple and its proponents may argue that scanning before or after a message is encrypted or decrypted keeps the “end-to-end” promise intact, but that would be semantic maneuvering to cover up a tectonic shift in the company’s stance toward strong encryption. […] As a reminder, a secure messaging system is a system where no one but the user and their intended recipients can read the messages or otherwise analyze their contents to infer what they are talking about. Despite messages passing through a server, an end-to-end encrypted message will not allow the server to know the contents of a message. When that same server has a channel for revealing information about the contents of a significant portion of messages, that’s not end-to-end encryption.
Apple’s Plan to „Think Different“ About Encryption Opens a Backdoor to Your Private Life
Ich glaube, es ist nur noch eine Frage der Zeit, bis das Erkennen und Analysieren von Nachrichten Teil des Betriebssystem und nicht mehr nur Teil einer App wie iMessage sein wird. Vorläufig kann man dieser Art von Echtzeitüberwachung, wenn ich es richtig verstanden habe, unter Zuhilfenahme von Signal, Telegram oder WhatsApp entgehen. Ich bin gespannt, ob sie auch mit einer Art geschütztem Speicher ausgestattet werden, der die Analyse von Bildern verhindert, die gegenwärtig bei den meisten Messengern einfach in der Fotobibliothek des Gerätes gespeichert werden (und dort wieder den oben erwähnten Analysen ausgesetzt sind).
Will Cathcart, Head of WhatsApp bei Facebook, hat immerhin schon platziert: „People have asked if we’ll adopt this system for WhatsApp. The answer is no.“ (Die diesem folgenden Tweets sind auch nicht uninteressant, weil er kurz erklärt, wie das Problem bei WhatsApp gelöst, mit welchen Problemen man dort konfrontiert und wieso Apples Lösungsweg ein ganz, ganz schlechter ist.)
Aber es geht weiter!
Echtzeitanalyse von Suchanfragen und Siri
Das dritte Element in Apples Kinderschutzprogramm (merkt eigentlich jemand, wie unpassend das mittlerweile wirkt) ist ein Guidance-System, das auf Suchanfragen und Siri-Befehle reagiert. Apple:
Siri and Search are also being updated to intervene when users perform searches for queries related to CSAM. These interventions will explain to users that interest in this topic is harmful and problematic, and provide resources from partners to get help with this issue.
Dieses „Feature“ ist – vielleicht habe ich auch nur nichts dazu gefunden – nirgendwo genauer beschrieben. Man weiß nicht, wie Apple „queries related to CSAM“ definiert, ich vermute aber, dass das relativ strikt nach einer Prüfliste, ähnlich der Prüfsummen für Bildersuchen, funktionieren wird. Und damit sind wir bei genau dem Problem, das uns auch schon bei der Bildprüfung untergekommen ist: Ein System kann nicht auf bestimmte Inhalte eingeschränkt, sondern nur dafür konfiguriert werden.
Heute sind es Child Sexual Abuse Materials, morgen allerdings Suchanfragen zu heiklen Themen, übermorgen gar nur Namen oder Ereignisse. Man darf auch die geografische Komponente nicht vergessen, die hier mit hineinspielt. Selbst John Gruber, der bereits zu Beginn zitierte Apple-Fanboy, sieht die Gefahr deutlich vor sich:
What happens, for example, if China demands that it provide its own database […] for use with this system? […] Will Apple actually flatly refuse any and all such demands? If they do, it’s all good. If they don’t, and these features creep into surveillance for things like political dissent, copyright infringement, LGBT imagery, or adult pornography — anything at all beyond irrefutable CSAM — it’ll prove disastrous to Apple’s reputation for privacy protection.
Auf einem der Screenshots auf Apples Infoseite zum Thema kann man ein offenbar von Siri ausgelöstes Pop-Up sehen, das wohl auf bestimmte Suchwörter reagierend aufscheinen wird. Darauf steht geschrieben: „Material depicting the sexual abuse of children is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.“ Ein durch eine spezifische Suchanfrage getriggertes Warnsystem, also. Die Technik dahinter – wir erinnern uns: Systeme werden nicht für konkrete Fälle gebaut, sondern erst durch Konfiguration auf konkrete Fälle eingeschränkt – ist wertneutral. Was man so einem System als Konfiguration vorsetzt, exekutiert es. Das macht es so gefährlich. Und die Nähe der Implementierung – das iOS 15-Update ist für in ein paar Wochen geplant! – macht die als von Verschwörungstheorien durchsetzten Schreckensszenarien zur Realität gewordene Dystopie.
Wie lange dauert es noch, bis wir solche Warnungen vorgesetzt bekommen?
- Critizising a ruling political party is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.
- Participating in discussions on freedom of speech is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.
- Taking part in activities related to this belief system is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.
Wohl noch ein wenig. Doch wie sieht es mit solchen, nur ganz leicht modifizierten Warnungen aus?
- In the geographical region you are in, critizising a ruling political party is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.
- In the geographical region you are in, participating in discussions on freedom of speech is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.
- In the geographical region you are in, taking part in activities related to this belief system is illegal. Anonymous helplines and guidance exist for adults with at-risk thoughts and behavior.
Diese Nachrichten scheinen mir äußerst realistisch und wenn ich mir einige der Vorfälle, die sich selbst in Europa in den letzten Wochen ereignet haben, vor Augen führe, umso mehr.
Fazit? Enttäuschung.
Apple, ein Konzern, der sich jahrelang den Schutz der Privatsphäre auf seinen Banner geschrieben und auch glaubhaft kommuniziert hat, einen Damm gegen die Angriffe von außen errichtet zu haben, implementiert mit dem kommenden Update seiner Betriebsysteme das in meinen Augen invasivste Echtzeitüberwachungssystem, von dem ich je gehört und gelesen habe.
Das stellt, wie Matthew Green feststellt, einen Dammbruch dar, ein Einfallstor für alle bislang abgewehrten Interessen an unverschlüsselten Nutzer- und Kommunikationsdaten. Das System ist, wir brauchen hier nicht drumherum reden, eine „Backdoor to your private life“ und löst bei mir und bei Personen, mit denen ich mich darüber unterhalten habe, tiefes Misstrauen gegenüber Apple aus. Ein Freund hat das Bild eines Kraken gezeichnet, den man in genau das Gemäuer gesetzt hat, das bislang vor genau diesem Kraken schützen sollte. Der Vergleich ist passend, die Enttäuschung groß.
Das Überwachungssystem kommt zwar vorläufig nur in den USA zur Anwendung, aber die Technologie ist in iOS 15 vorhanden. Und – ich wiederhole mich, ich weiß – ist Technologie einmal implementiert und somit Teil des Systems, dann ist es nur noch eine Frage der Konfiguration, ob, wann und wie sie auch außerhalb der USA zur Anwendung kommt.
Ich habe in meinem Beitrag nur einen Bruchteil der vielen Argumente und Probleme, die Apples Echtzeitüberwachung mit sich bringt, angesprochen und vieles stark verkürzt dargestellt. Das sind Teilinformationen, die erst verarbeitet werden müssen. Das sind Eindrücke, die ich hier gesammelt habe. Es lohnt sich diesmal, so viel wie nur möglich über dieses Update zu lesen, da es tiefgreifende Folgen haben wird. Carmela Troncoso hat eine gute Auswahl von Beiträgen zum Thema erstellt. Ich lasse das jetzt, ich warte die Kommentare und Statements von Spezialisten ab und werde sie gegebenenfalls verlinken. Das ist wirklich enttäuschend, was Apple da macht. Ich zitiere ein letztes Mal Jürgen Schmidt: Apple, lasst diesen Scheiß!