OpenAI: AI-browsers mogelijk altijd kwetsbaar voor prompt injection-aanvallen

[Captain Kirk]

AI-browsers zullen mogelijk altijd kwetsbaar voor prompt injection-aanvallen blijven, zo stelt OpenAI. Eerder liet ook het Britse National Cyber Security Centre (NCSC) weten dat er mogelijk geen oplossing is voor dergelijke aanvallen tegen AI-systemen. Bij prompt injection weet een aanvaller door middel van één of meerdere specifieke opdrachten een AI-systeem informatie te laten geven, of acties uit te voeren, dat het eigenlijk niet zou moeten geven of doen.

OpenAI publiceerde gisteren een blogposting over maatregelen die het in ChatGPT Atlas toepast, de AI-browser van het bedrijf. "We beschouwen prompt-injection als een langetermijnuitdaging voor AI-security, en we moeten continu onze verdediging er tegen versterken (net zoals bij scams die het op mensen hebben voorzien en zich continu blijven ontwikkelen)."

AI-browsers kunnen automatisch allerlei acties voor gebruikers uitvoeren. Malafide instructies kunnen echter vervelende gevolgen hebben. Zo lieten onderzoekers eerder zien hoe ze de AI-browser van Perplexity via een phishingmail op een phishingsite konden laten inloggen. OpenAI verwacht dat aanvallers zich zullen aanpassen op de beveiligingsmaatregelen die aan AI-browsers worden toegevoegd. "Prompt-injection, net zoals scams en social engineering op het web, zullen waarschijnlijk nooit echt "opgelost" worden", benadrukt het bedrijf.

"Voor dagelijks gebruik bieden agentic browsers nog niet genoeg waarde om hun huidige risicoprofiel te rechtvaardigen", zegt Rami McCarthy van securitybedrijf Wiz tegenover TechCrunch. "Het risico is hoog gezien hun toegang tot gevoelige data zoals e-mail- en betaalinformatie, ook al is die toegang juist wat ze zo krachtig maakt. Die balans zal zich ontwikkelen, maar op dit moment is de afweging nog steeds zeer reëel."

 

bron: https://www.security.nl