Kwetsbaarheden in AI-chatbot maakten omzeilen van guardrails mogelijk

[Captain Kirk]

Kwetsbaarheden in een AI-chatbot van treinmaatschappij Eurostar maakten het mogelijk de ingebouwde guardrails te omzeilen. Hierdoor was het onder meer mogelijk cross-site scripting (XSS)-aanvallen uit te voeren en interne prompts van de chatbot te laten uitlekken.

De beveiligingsproblemen zijn ontdekt door Pen Test Partners, dat op zijn blog details deelt. De onderzoekers melden dat de API van de AI-chatbot zwakke plekken bevat. Zo controleerde de chatbot uitsluitend het meest recente bericht op veiligheid, maar oudere berichten werden nooit opnieuw geverifieerd. Door in eerste instantie een onschuldig bericht naar de chatbot te sturen en vervolgens later aan te passen, werd dit bericht zonder verdere controle als onschuldig beschouwd.

Pen Test Partners meldt het lek via het vulnerability disclosure-programma te hebben gemeld, maar hierop in eerste instantie geen reactie te hebben gekregen. Later bleek dat de meldingen van de onderzoekers verloren waren gegaan bij de migratie naar een nieuwe meldpagina en een nieuw meldproces voor bugs. Ken Munro, managing partner van Pen Test Partners, besloot via LinkedIn contact op te nemen met het hoofd beveiliging van Eurostar. Munro vroeg daarbij Eurostar om een bevestiging dat hun meldingen waren ontvangen. "Sommigen zien dit als afpersing", antwoordde het hoofd beveiliging op deze vraag. "Om te zeggen dat we verrast en verward waren, is een enorme understatement – we hadden in goede trouw een kwetsbaarheid gemeld, werden genegeerd en hebben daarom via een privébericht op LinkedIn geëscaleerd. Volgens mij vereist de definitie van afpersing een dreiging, en die is er natuurlijk nooit geweest. Zo werken wij niet!", schrijft Pen Test Partners.

 

bron: https://www.security.nl