Zespół Project Zero przeprowadził analizę porównawczą dwóch metod automatycznego wykrywania błędów w silniku JavaScript V8 (Chrome). Porównano Fuzzilli, czyli generatywny fuzzer, z BigSleep, systemem wykorzystującym modele językowe (LLM) do analizy kodu i tworzenia dowodów koncepcji (PoC). Badanie miało na celu sprawdzenie, czy AI może zastąpić tradycyjne techniki fuzzingu.
Wyniki pokazują, że w ciągu półrocza BigSleep wykrył nieco więcej błędów (45) niż Fuzzilli (37), choć wiele z nich dotyczyło kwestii konfiguracyjnych o mniejszym znaczeniu dla bezpieczeństwa. Po przefiltrowaniu raportów wyłącznie do krytycznych podatności, oba podejścia wypadają niemal identycznie. Co istotne, znaczna część błędów była wykrywalna tylko przez jedną z tych metod, co sugeruje, że narzędzia te nie konkurują, lecz uzupełniają się.
Analiza wykazała, że choć LLM potrafią szybko znajdować luki, tradycyjny fuzzing pozostaje niezbędny. Eksperymenty sugerują, że nakładanie się wyników obu metod wynosi około 60%. Autorzy raportu zalecają producentom oprogramowania stosowanie obu podejść jednocześnie, aby zmaksymalizować szansę na wykrycie podatności przed ich wykorzystaniem przez napastników.
