Naukowcy opracowali system zdolny do rozwiązywania wizualnych testów CAPTCHA, łączący modele wizualno-językowe (VLM) z detektorem YOLOv8. W przeciwieństwie do tradycyjnych metod, rozwiązanie to nie wymaga dostępu do kodu strony czy automatyzacji przeglądarki, działając wyłącznie na podstawie zrzutów ekranu i zdarzeń systemowych.
Kluczową innowacją jest mechanizm adaptacyjny, w którym odpowiedzi generowane przez model VLM służą jako etykiety do douczania detektora. Dzięki temu system uczy się rozpoznawać nowe kategorie zagadek niemal natychmiast, bez potrzeby ręcznej anotacji danych przez człowieka.
System wykazuje dużą odporność na próby oszukiwania go poprzez celowe zniekształcanie obrazów (perturbacje). Nawet jeśli operator CAPTCHA skutecznie obniży skuteczność detektora, model VLM pozwala na szybką regenerację i ponowne nauczenie się nowych wzorców, co czyni go niezwykle trudnym do trwałego zablokowania.
