'Mogelijk geen oplossing voor prompt injection-aanvallen tegen AI-systemen

[Captain Kirk]

Er is mogelijk geen oplossing voor prompt injection-aanvallen tegen AI-systemen wat tot een golf van datalekken kan leiden, zo waarschuwt het Britse National Cyber Security Centre (NCSC) vandaag. "Het beste waarop we kunnen hopen is de kans op of de impact van aanvallen te beperken", zo meldt de overheidsinstantie in een blogposting. Bij prompt injection weet een aanvaller door middel van één of meerdere specifieke opdrachten een AI-systeem informatie te laten geven, of acties uit te voeren, dat het eigenlijk niet zou moeten geven of doen.

"Wanneer je een large language model (LLM) een prompt geeft, begrijpt het niet de tekst zoals een mens doet. Het voorspelt gewoon op basis van de tekst op dat moment het meest waarschijnlijke volgende token. Aangezien er geen inherent onderscheid is tussen 'data' en 'instructie', is het zeer goed mogelijk dat prompt injection-aanvallen nooit helemaal worden opgelost op de manier zoals dat bij SQL injection-aanvallen kan", laat het Britse NCSC weten.

Daar komt bij dat prompt injection een relatief nieuwe klasse van kwetsbaarheden is, die nog niet goed wordt begrepen, zelfs niet door ervaren webontwikkelaars, aldus de overheidsinstantie. Volgens het Britse NCSC is het daarom belangrijk dat zowel ontwikkelaars als organisaties zich bewust zijn van dit probleem. Daarnaast moeten securityteams beseffen dat prompt injection-aanvallen altijd aanwezig zullen zijn en niet volledig zijn te verhelpen met een product of appliance.

Verder wijst het Britse NCSC op het veilig ontwerpen van AI-systemen en verschillende technieken waardoor de kans dat een LLM onbedoeld instructies uitvoert worden beperkt. "De vergelijking van prompt injection met SQL injection is verleidelijk, maar het is ook gevaarlijk. SQL injection kan met geparametriseerde queries worden verholpen, maar er is een goede kans dat prompt injection nooit op dezelfde manier zal worden verholpen. Het beste waarop we kunnen hopen is het verkleinen van de kans op of de impact van aanvallen."

SQL injection is een probleem dat al sinds de vorige eeuw bekend is en nog altijd voorkomt omdat ontwikkelaars niet veilig programmeren of hun applicaties laten testen. Nog altijd vinden er datalekken en andere beveiligingsincidenten als gevolg van SQL injection plaats. De Britse overheidsinstantie waarschuwt dat een soortgelijk probleem zich met prompt injection kan voordoen, doordat aan steeds meer systemen AI wordt toegevoegd. "Als die applicaties niet met prompt injection in het achterhoofd zijn ontwikkeld, kan een soortgelijke golf van datalekken volgen."

 

bron: https://www.security.nl