Samsungs Fotos vom Mond 🌔

Fotos, die man mit einem Handy (!) vom Mond (!!) machen kann, sind mittels KI so stark verbessert, dass es eigentlich keine Fotos mehr sind. 🌬️🥛

Auf reddit hat jemand einen Beitrag gepostet, in dem Samsung seinen Senf abbekommt, weil – und hier vermischen sich die Dinge ein wenig – Anspruch und Wirklichkeit dessen, was „mit einer KI verbessert“ bedeutet, aufeinanderprallen.

The moon pictures from Samsung are fake. Samsung’s marketing is deceptive. It is adding detail where there is none. [The] reality is, it’s AI doing most of the work, not the optics, the optics aren’t capable of resolving the detail that you see. Since the moon is tidally locked to the Earth, it’s very easy to train your model on other moon images and just slap that texture when a moon-like thing is detected.

Now, Samsung does say „No image overlaying or texture effects are applied when taking a photo, because that would cause similar objects to share the same texture patterns if an object detection were to be confused by the Scene Optimizer.“, which might be technically true – you’re not applying any texture if you have an AI model that applies the texture as a part of the process, but in reality and without all the tech jargon, that’s that’s happening. It’s a texture of the moon.

If you turn off „scene optimizer“, you get the actual picture of the moon, which is a blurry mess (as it should be, given the optics and sensor that are used).

Samsung „space zoom“ moon shots are fake, and here is the proof

Man kann mit einem Samsung-Smartphone Fotos vom Mond machen. Diese Fotos sind so gut, dass ein User bezweifelt, sie wären tatsächlich mit Samsung-Technologie verbesserte Fotos und viel mehr etwas, das mittels KI de facto generiert wird, weil diese KI die Details, die die Optik nie erfassen könnte, einfach hinzufügt. Der genaue Unterschied noch einmal erklärt:

There’s a difference between additional processing a la super-resolution, when multiple frames are combined to recover detail which would otherwise be lost, and [what Samsung does], where you have a specific AI model trained on a set of moon images, in order to recognize the moon and slap on the moon texture on it […]. This is not the same kind of processing that is done when you’re zooming into something else, when those multiple exposures and different data from each frame account to something. This is specific to the moon.

Samsung beschreibt diesen Prozess auf seiner Website und erwähnt explizit, dass die verbaute KI Dinge erkennt und sie auf Basis anderer, gelernter (!) Daten verbessert. Samsung nennt dieses System sogar – festhalten! – „Moon detector“. Die von der Website entnommene, relevante Passage, ein wenig gekürzt:

We have developed the Scene Optimizer function that helps the AI recognize what you want to shoot and get the best results. […] AI can recognize objects such as the moon from a photo using the repository of data learned. It uses a detail-enhancing engine to increase the clarity of a picture taken using technologies like multi-frame processing and AI technology based on deep learning. […] Users who want the original image copy untouched by AI may disable the Scene Optimizer feature. […] The Lunar detection engine was created with the AI learning the different stages and shapes of the moon, from full moon to new, as perceived by people on the planet.

CamCyclopedia: Lunar Photography

Entweder ich habe die ganze Sache an mehreren Stellen falsch verstanden oder die Situation ist wie folgt: Jemand erkennt, dass die Fotos, die man mit einem Samsung-Smartphone vom Mond macht, physikalisch niemals die Grunddaten für den Output, den Samsung-Handys produzieren, liefern kann. Es muss also KI dahinter stecken. Samsung würde aber in die Irre führen, weil das Unternehmen das in seinem Marketing so nicht kommuniziert. Ein Blick auf die Samsung-Website, wenn auch auf die koreanische, zeigt jedoch, dass die Kamera der Smartphones über einen eigenen Mond-Modus verfügt. Dieser erkennt, ob ein:e User:in den Mond fotografieren will und aktiviert einen speziellen Mond-Erkennungsmodus (!), der das resultierende Foto – „a blurry mess, as it should be, given the optics and sensor that are used“ (siehe oben) – von einer KI gestützt um extern gelernte Details erweitert. Den Modus kann man übrigens auch ausschalten.

Ein Einwand, den ich auf reddit dann doch noch gefunden habe, der allerdings die ganze Sache dann doch wieder, wenn auch auf einer anderen Ebene, relativiert:

AI researcher here. AI sharpening techniques work by filling in lost details based on patterns they extract from a dataset of images during training. E.g. a blurry mess that looks like a person gets high resolution features that shapes like this had in the dataset. The nice thing is that the dataset includes many different people and we are able to learn a model how the features behave instead of slapping the same high res version of a person on everything. This works as long as our dataset is large enough and includes a big variety of images, so we are forced to learn general rules instead of memorizing stuff. Otherwise an effect called overfitting occurs, where we memorize an specific example and are able to reproduce it near perfectly. This is generally a bad thing as it get in our way of learning the underlying rules. The datasets used to train these models include millions or billions of images to get a large enough variety. But commonly photographed things like the moon can be an issue as they are so many times in the dataset that the model still overfits on them. So they might have used just a large dataset with naturally many moon pictures in it and the general AI sharpening overfitted on the moon. This can happen easily, but it does not rule out the possibility that they deliberately knew about it and still used it for advertisement, which would be kind of shady.

floriv1999

Wir enden also wieder bei der Frage, die auch Apple iPhone-Kameras betrifft: Was ist in Zeiten von KI-gestützter Bildoptimierung das, was wir ein „Foto“ nennen?

Update am 14.03.2023

Ich habe es mir fast gedacht, aber wirklich viele kommen zum Schluss: Alle Smartphone-Kameras verändern so dermaßen viel an den Bilddaten, dass es eigentlich eh schon egal ist, was Samsung da macht. Ganz im Gegenteil: Es ist sogar gut!

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Und Matt Birchler auf Mastodon:

My take on this Samsung moon photo “controversy” is that it’s great for Samsung. It’s tons of free media coverage for their latest phone and basically no one is actually upset about any of this.

Ja, so ist es. „Fotos“ im Jahr 2023. Das hat nichts mehr mit dem zu tun, was wir vor mehr als 10 Jahren auf Flickr hochgeladen haben.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert