Badania firmy Barracuda ujawniły nową metodę ataku, w której wiadomości phishingowe zawierają podwójny cel. Z jednej strony atakują człowieka za pomocą klasycznych metod, takich jak załączniki chronione hasłem, a z drugiej strony wykorzystują techniki indirect prompt injection skierowane do asystentów AI.
Instrukcje dla sztucznej inteligencji są ukrywane za pomocą komentarzy HTML, niewidocznego tekstu CSS, kodowania Base64 lub znaków o zerowej szerokości. Dzięki temu AI, analizując treść maila, może błędnie uznać wiadomość za pilną lub wiarygodną, co dodatkowo manipuluje odbiorcą.
Skutki takich ataków mogą być bardzo poważne. Atakujący mogą zmusić asystenta do zmiany danych do przelewu, wycieku poufnych informacji lub zmanipulowania narzędzi do rekrutacji i programowania. W skrajnych przypadkach AI może nawet zasugerować użytkownikowi wykonanie niebezpiecznej operacji finansowej.
Aby się bronić, zaleca się usuwanie ukrytych elementów i niewidocznych znaków przed przekazaniem treści do systemów AI. Ważne jest również stosowanie piaskownic dla AI, walidacja wyników oraz utrzymywanie ścisłego rozdzielenia danych od instrukcji w procesach przetwarzania treści.
