Agenci AI i asystenci korzystający ze sztucznej inteligencji mogą nie odróżniać treści przeznaczonych do odczytu od ukrytych instrukcji atakujących. Eksperci ostrzegają przed atakami typu prompt injection, w których hakerzy przemycają w wiadomościach e-mail niewidoczne dla człowieka polecenia, które bezpośrednio wpływają na działanie modelu AI. Problem ten staje się szczególnie groźny w przypadku autonomicznych agentów, którzy mogą wykonywać zadania bez nadzoru człowieka.
Podstawowa wada polega na tym, że obecne modele nie potrafią skutecznie oddzielić danych od instrukcji. Atakujący stosują techniki kodowania, aby ukryć złośliwy tekst przed ludzkim wzrokiem, pozostawiając go jednocześnie czytelnym dla systemów AI. Może to prowadzić do przejęcia kontroli nad procesami wykonywanymi przez asystenta.
Aby zminimalizować ryzyko, producenci powinni wdrażać mechanizmy usuwania ukrytej treści przed przekazaniem jej do modelu. Na ten moment kluczowe jest zachowanie zasady „human in the loop”, czyli wymaganie ludzkiej autoryzacji przy działaniach o wysokim priorytecie, takich jak dokonywanie płatności czy zmiana danych kontrahentów.
