Das ohnehin abzusehende Theater beginnt. Menschen, die früher gegoogelt, eine Website aufgerufen und sich dann dort die vom Betreiber der Website eingepflegten Daten angesehen haben, verlassen sich nun auf die KI-generierten Zusammenfassungen. Mit fragwürdigen Ergebnissen:
I just got a call and voicemail from an attorney who is calling to complain about content in a video game that “his son and his friends are playing”. […] He claims that he found my number online because I was associated with Funcom. […] I was just so flabbergasted that I had to talk to this *attorney* to find out why he thought it was appropriate to call a low level employee who hasn’t worked at said company for over 8 years. […] He apologized and said that his clerk found my number associated with Funcom so that it wasn’t his fault. He texts me a few minutes later. It’s an image. COME TO FIND OUT… THE GENIUS *GOOGLE AI* IS TELLING FOLKS THAT MY PHONE NUMBER IS THE NUMBER FOR MAIN CORPORATE OFFICE FOR FUNCOM. What. The. Fuck. […] My ONLY guess on how this happened is that I have my phone number on my resume that also has me listed as a past employee of Funcom… but how google AI made the leap that THAT was the number for the CORPERATE OFFICE LOCATED IN NORWAY… AND TELLING PEOPLE WITH ITS WHOLE CHEST. WTF I am aghast.
Rogelio Delgado
Ich verstehe wirklich nicht, wie soetwas passieren kann. Und damit meine ich nicht das KI-generierte Suchergebnis als solches, sondern, dass sich jemand auf eine von einer nicht zuverlässigen Technologie generierte Zusammenfassung mit potentiell rechtlichen Auswirkungen verlässt. (Ich war ja selbst schon, wenn auch auf einer viel weniger problematischen Ebene, vom Desaster automatisiert generierter Antworten betroffen.)
Wenn man sich auch nur 2 Minuten mit der Funktionsweise von KI beschäftigt, versteht man schon sehr bald, dass Halluzinieren ein ihr „inhärentes Feature“ ist und sie genau genommen nicht einmal Zusammenfassungen gut hinbekommt. Wenn man aber trotzdem auf der Nutzung von KI beharrt, dann ist das, verbessert sich die Technologie nicht massiv, nur ein Glaubenssatz und somit nicht ernst zu nehmen.
Und meine Güte: Eine Telefonnummer! Das ist ein hartes Faktum, also genau das, womit das, was wir als KI bezeichnen, aus der Natur der Technologie heraus die größten Probleme hat. Interpretationen von Daten von mir aus, wenn der intellektuelle Anspruch nicht zu hoch ist. Aber harte Fakten? Bei Fakten steigt so eine Maschine aus, wie wir alle seit Ted Chiangs Artikel über die Funktionsweise von ChatGPT wissen und dort auch erfahren, warum sie mit dem Ultimativen Faktum, nämlich der Mathematik, das größte Problem hat.
Google nennt dieses Desaster übrigens Search Generative Experience (SGE) und ich bin mir sicher, dass die so präsentierten Daten in Zukunft noch viel mehr Unheil anrichten werden als nur einen ehemaligen Mitarbeiter einer Softwarefirma zu verärgern. Schon jetzt bin ich in Meetings teilweise mit Daten, die als Fakten präsentiert werden, die mir aber nicht plausibel erscheinen, konfrontiert. Wenn ich mich nach der Quelle für diese Daten erkundige, erhalte ich mittlerweile fast immer die Antwort: „Das habe ich von der KI.“ Die KI weiß halt gar nix. Auch wenn in der Bildbeschreibung „Quelle: ChatGPT“ zu lesen ist. Was dann aber nicht als Bildbeschreibung, sondern als kreative Darstellung eines tatsächlichen Faktums zu lesen ist.