Naukowcy z Imperial College London udowodnili, że modele zamiany mowy na tekst (speech-to-text) można skutecznie zainfekować ukrytą tylną furtką. Atak polega na dostosowaniu modelu tak, aby poprawnie transkrybował wypowiedzi większości użytkowników, ale dla jednej, wybranej osoby generował z góry przygotowany tekst. W testach model Whisper zamienił słowa aktorki Judi Dench na żądanie przelewu 5000 dolarów, co zostało zrealizowane przez agentów AI pracujących w piaskownicy bankowej.
Atakujący musi uzyskać dostęp do modelu na etapie dostrajania (fine-tuning), na przykład poprzez zainfekowanego dostawcę lub złośliwego pracownika. Wyzwalaczem nie jest dźwięk czy szum, lecz sama tożsamość mówcy. Co istotne, transkrypcja nie wykazuje żadnych anomalii, dopóki nie przemówi osoba wyznaczona jako cel.
Choć atak jest groźny, badacze zauważyli, że furtka w modelu Whisper jest dość nietrwała. Rutynowe dotrenowanie modelu na czystych danych potrafi niemal całkowicie usunąć złośliwe zachowanie. W przypadku modelu Qwen mechanizm okazał się jednak bardziej odporny na próby czyszczenia.
Autorzy zalecają zachowanie szczególnej ostrożności przy korzystaniu z modeli dostarczanych przez podmioty trzecie. Kluczowe jest sprawdzanie pochodzenia wag modelu oraz przeprowadzanie własnego dotrenowania na własnych danych przed wdrożeniem w krytycznych procesach.
