Modele decyzyjne, które zamiast generować tekst zwracają zestaw prawdopodobieństw i wskaźnik pewności, są coraz częściej postrzegane jako bezpieczniejsza alternatywa dla tradycyjnych LLM. Firma TypeSafe AI twierdzi, że jej model Jev nie halucynuje i nie popełnia błędów typów, co budzi duże zainteresowanie rynkowe. Jednak badania przeprowadzone przez HiddenLayer wykazały, że te zabezpieczenia nie chronią przed manipulacją.
Badacze sprawdzili, czy model Jev można oszukać za pomocą pośredniego prompt injection, stosując scenariusz agenta przeglądarkowego w symulowanym sklepie internetowym. Poprzez umieszczenie na stronie złośliwej reklamy sugerującej konieczność potwierdzenia ceny, udało się przejąć kontrolę nad akcją kliknięcia modelu. Atak ten zadziałał zarówno na modelu Jev, jak i na dostrojonym modelu Qwen, choć Jev wykazał nieco większą odporność.
Eksperci podkreślają, że modele decyzyjne to wciąż modele językowe, które jedynie stosują inną strategię dekodowania. Oznacza to, że ryzyka typowe dla LLM, takie jak podatność na manipulację instrukcjami ukrytymi w danych, pozostają aktualne. Nawet jeśli model służy do weryfikacji promptów, wciąż można go ominąć, stosując techniki takie jak tokenbreak, polegające na dodawaniu zbędnych znaków w celu oszukania klasyfikatorów.
