Pojawiła się nowa kategoria phishingu, która nie celuje bezpośrednio w człowieka, lecz w asystentów AI obsługujących skrzynki pocztowe. Wykorzystując technikę prompt injection, napastnicy umieszczają w wiadomościach ukryte instrukcje, niewidoczne dla użytkownika, ale czytelne dla modelu językowego. Instrukcje te mogą znajdować się w komentarzach HTML lub zakodowanym tekście.
W praktyce może to prowadzić do sytuacji, w której asystent AI, zamiast tylko streszczać maile, wykonuje polecenia atakującego. Przykład z życia pokazuje, że złośliwa wiadomość może nakazać AI wyszukiwanie fraz związanych z kryptowalutami i wysyłanie ich na zewnętrzny adres, a jednocześnie nakazać automatyczne rozsyłanie maila do wszystkich pracowników firmy.
Ryzyko jest potęgowane przez uprawnienia, jakie asystenci AI mają do kalendarzy, dokumentów czy wysyłania wiadomości. Jeśli model nie potrafi odróżnić danych od poleceń, staje się narzędziem w rękach hakera. Skuteczność takiego ataku wzrasta, ponieważ użytkownik widzi jedynie wygenerowane przez AI streszczenie, tracąc kontekst, który pozwoliłby mu wykryć oszustwo.
Obrona wymaga wielowarstwowego podejścia. Kluczowe jest ograniczanie uprawnień asystentów AI, stosowanie filtrów oczyszczających dane wejściowe oraz wdrażanie mechanizmów wykrywających próby prompt injection. Niezbędne jest również zachowanie zasady ludzkiej autoryzacji przy wszelkich krytycznych operacjach, takich jak zmiany danych płatniczych czy masowa wysyłka maili.
