Ein kleiner, aufs Scannen von Notenblättern spezialisierter Softwarehersteller hat eine Funktion implementiert, weil ChatGPT über eine solche Funktion halluziniert hatte und Userinnen und User sie fälschlicherweise in Anspruch nahmen.
ChatGPT is telling people to go to Soundslice […] and import ASCII tab in order to hear the audio playback. […] Problem is, we didn’t actually have that feature. We’ve never supported ASCII tab; ChatGPT was outright lying to people. And making us look bad in the process, setting false expectations about our service. So that raised an interesting product question. What should we do? We’ve got a steady stream of new users who’ve been told incorrect facts about our offering. Do we slap disclaimers all over our product, saying “Ignore what ChatGPT is saying about ASCII tab support”? We ended up deciding: what the heck, we might as well meet the market demand. So we put together a bespoke ASCII tab importer […]. And we changed the UI copy in our scanning system to tell people about that feature.
Adrian Holovaty
Im Grunde genommen ist soetwas ein gemachtes Bett: Ein Unternehmen stellt fest, dass eine Funktion bereits von Userinnen und Usern genutzt wird, obwohl das Produkt sie nicht unterstützt. Es gibt also Nachfrage nach dieser Funktion. Nichts leichter als diese Nachfrage durch ein Softwareupdate zu befriedigen (und somit potentiell den Markt besser zu bedienen). Unter diesem Aspekt hat das Halluzinieren von ChatGPT keinem geschadet. Ganz im Gegenteil.
Adrian Holovaty beendet seinen Artikel allerdings mit folgendem Absatz, der eine gewisse Hilflosigkeit spüren lässt, die sicherlich schlagend wird, sobald es nicht mit einem einfachen Softwareupdate getan ist.
My feelings on this are conflicted. I’m happy to add a tool that helps people. But I feel like our hand was forced in a weird way. Should we really be developing features in response to misinformation?
Adrian Holovaty
Im konkreten Fall geht es um Software. Was aber, wenn von einem (nicht existierenden) Wellnessbereich in einem Hotel gesprochen wird? Oder von veganen Speisen in einem auf Fleisch spezialisierten Restaurant? Oder von der Vorstellung eines bestimmten Stückes, das eine Oper gar nicht mehr im Repertoire hat?
Bei Apple hat man schon Recht, wenn man – auf eine Formel reduziert, die mir, vom Arabica beglückt, eben eingefallen ist – meint, 95% richtig bedeutet immer noch 100% falsch.