Tekst przybliża pojęcie prompt injection, odróżniając je od halucynacji AI. Podczas gdy halucynacja to błąd modelu, prompt injection jest celowym działaniem napastnika, który manipuluje instrukcjami, aby zmusić AI do niepożądanych zachowań. Atak ten polega na zatarciu granicy między danymi wejściowymi a poleceniami, co jest problemem strukturalnym modeli językowych.
Autor wyróżnia dwa główne typy ataku: bezpośredni, gdzie użytkownik wpisuje złośliwe polecenia w polu czatu, oraz pośredni, gdzie instrukcje są ukryte w dokumentach lub e-mailach analizowanych przez AI. Ten drugi rodzaj jest szczególnie niebezpieczny w środowiskach biznesowych, gdzie narzędzia takie jak Copilot przetwarzają wewnętrzne dane firmowe.
Podobieństwo do klasycznego SQL injection wynika z faktu, że dane są traktowane jako instrukcje. Jednak w przeciwieństwie do baz danych, w przypadku generatywnej AI całkowite oddzielenie danych od poleceń jest obecnie niezwykle trudne, co sprawia, że ryzyko pozostaje wysokie. OWASP od lat uznaje prompt injection za kluczowe zagrożenie dla aplikacji opartych na AI.
