Comet, der KI-Browser von Perplexity („Browse mit der Geschwindigkeit des thouchts“ [sic!]), kann erstaunlich einfach mittels Prompt Injection auf jeder beliebigen Website (!) dazu gebracht werden, Dinge zu tun, die so gar nicht im Interesse der Person sind, die den Browser benutzt. Zum Beispiel E-Mails mit Rücksetzungs- und anderen Codes zur Passwortwiederherstellung in einem öffentlichen Forum veröffentlichen.
The security team from Brave took a look at Comet, the LLM-powered „agentic browser“ extension from Perplexity, and unsurprisingly found security holes you can drive a truck through. […] Visit a Reddit post with Comet and ask it to summarize the thread, and malicious instructions in a post there can trick Comet into accessing web pages in another tab to extract the user’s email address, then perform all sorts of actions like triggering an account recovery flow and grabbing the resulting code from a logged in Gmail session.
Simon Willison
Weniger um Neutralität bemüht, David Gerard von Pivot to AI:
The AI search engine Perplexity released the Comet web browser last month. In a turn of events that could only be foreseen by people who use a brain instead of a chatbot, Perplexity can get prompt-injected by any website it looks at. Text, text in white, comments in the HTML web page code! This exploit was discovered by two security guys at the Brave web browser. They put a comment on a post on Reddit with the prompt injection in it. Then they asked Comet to summarise the Reddit web page. […] Comet then went to their test user’s Perplexity AI login page and grabbed the user’s email address. Perplexity sent back a verification email for that address to login — then Comet read the verification email. Of course it can read your GMail. Finally, Comet posted a new comment to Reddit containing the verification email and the login code — and that’s enough for the attacker to take over the test user’s Perplexity account. Then Comet errored out and said it couldn’t summarise the web page. All the user had to do for all of this to happen was go to a web page and ask Comet to summarise it.
David Gerard
Künstliche Intelligenz in all ihrer Form ist wirklich eines der Produkte, die in so einem dermaßen unfertigen und wenig produktionstauglichen Zustand eine so kleine, aber dermaßen ausgeprägte Nische so gut ausgefüllt und die Unsicherheit so vieler Menschen so treffend gedeckt hat, dass wir die Technologie trotz all ihrer Fehler akzeptieren, auch wenn wir Fehler dieser Art bei keinem anderen Produkt jemals auch nur im Ansatz tolerieren würden, vor allem, weil ja ein Ende und Besserung dieses Problems nicht einmal im Ansatz in Sicht ist. Ganz im Gegenteil.
Die Notwendigkeit, Künstliche Intelligenz so rasch als möglich zu einem Teil der Infrastruktur des Web zu machen, zwingt die großen Player, sie auch gegen den Willen der Userinnen und User überall einzubinden, auch wenn die dadurch verursachten Ergebnisse des Prozesses, für den die Software bestimmt ist, verfälscht werden. Microsoft ist es beispielsweise nicht zu peinlich, Künstliche Intelligenz in Excel zu implementieren, gleichzeitig aber darauf hinzuweisen, die KI-Funktionen keinesfalls für relevante Dokumente zu nutzen. Ja, wofür denn sonst, Microsoft? Wofür nutzt man denn Excel sonst? Zum Spaß? Zum Zeitvertreib? Bitte!
Ach ja: Bezahlen muss man natürlich für die nicht-funktionale KI-Funktionalität.