Badacze z Microsoftu opracowali nową technikę ataku o nazwie Lazarus, która umożliwia wprowadzenie backdoora do modeli AI o otwartych wagach. Atak polega na precyzyjnej edycji mniej niż dziesięciu rzadko aktywnych neuronów, co pozwala na wywołanie konkretnej komendy po pojawieniu się określonego wyzwalacza (triggera). Co istotne, proces ten nie wymaga pełnego dotrenowywania modelu i jest niemal niewykrywalny podczas standardowych testów wydajnościowych.
Podczas testów na modelu Nemotron-Terminal-8B, zmodyfikowany agent działał poprawnie przez kilka tur, dopóki nie pojawił się błąd połączenia. W tym momencie model wygenerował komendę pobierającą złośliwy skrypt, który uruchomił się z uprawnieniami roota wewnątrz kontenera. Skuteczność ataku w odpowiednich warunkach sięgała blisko 100%, przy jednoczesnym zachowaniu wysokich wyników w standardowych zadaniach matematycznych czy technicznych.
Zagrożenie dotyczy każdego, kto ma dostęp do wag modelu przed jego wdrożeniem – może to być pracownik z uprawnieniami, napastnik z przejętym kontem lub osoba publikująca zmodyfikowane wersje modeli w publicznych repozytoriach. Microsoft zaleca m.in. porównywanie checkpointów z oryginalnymi wagami, pobieranie modeli wyłącznie od zaufanych wydawców oraz izolowanie agentów AI w bezpiecznych piaskownicach (sandbox) z ograniczonym dostępem do sieci.
Metoda Lazarus różni się od wcześniejszych podejść tym, że nie opiera się na zatruwaniu zbiorów treningowych (fine-tuning), lecz na bezpośredniej manipulacji wektorami wag. Choć wykrywanie takich zmian jest trudne, Microsoft pracuje nad narzędziami do skanowania wag oraz systemami podpisywania modeli, aby zapewnić ich integralność.

_Rokas_Tenys_Alamy.jpg?width=720&quality=80&disable=upscale)

