XMASKNEWS
Aktualizacja:
casrai.orgEN→PLAI

Microsoft Research opisuje ryzyko backdoorów w postaci uśpionych neuronów w agentach AI

Badacze z Microsoft ujawnili metodę Lazarus, która pozwala na przejęcie autonomicznych agentów AI poprzez edycję uśpionych neuronów w modelach open-weight.

Zespół Microsoft Research opublikował raport dotyczący techniki Lazarus, która umożliwia tworzenie ukrytych backdoorów w modelach językowych. Atak polega na przeprogramowaniu mniej niż dziesięciu uśpionych neuronów w ostatniej warstwie sieci, co nie wymaga pełnego dotrenowania modelu. Tak zmodyfikowane jednostki pozostają nieaktywne podczas standardowych testów bezpieczeństwa, ale aktywują się po wykryciu konkretnego wyzwalacza w kontekście, np. konkretnej daty.

Po aktywacji, zmodyfikowane neurony wstrzykują do modelu złośliwe tokeny, co pozwala na budowanie złożonych komend, takich jak skrypty shell do pobierania złośliwego oprogramowania. Badania wykazały, że atak jest niezwykle skuteczny i trudny do wykrycia, ponieważ modele zachowują swoje pierwotne zdolności rozumowania i przechodzą standardowe benchmarki bezpieczeństwa bez żadnych anomalii.

Metoda ta stanowi poważne zagrożenie dla instytucji badawczych i centrów obliczeniowych korzystających z modeli open-weight. Autorzy podkreślają, że samo testowanie modelu na zestawach benchmarkowych nie gwarantuje bezpieczeństwa, gdyż uśpione neurony nie reagują na typowe zapytania. Konieczne jest wdrożenie weryfikacji kryptograficznej wag oraz ścisła izolacja środowisk, w których pracują autonomiczni agenci AI.

Źródło: casrai.org
Przeczytaj oryginał (EN) ↗

Omówienie przygotowane automatycznie (AI) na podstawie artykułu casrai.org. Nie jest tłumaczeniem – szczegóły i pełny kontekst znajdziesz w oryginale.