Zespół Trail of Bits przedstawił dwa nowe narzędzia oparte na agentach AI: patching-bugs oraz regression-hunt. Ich celem jest odciążenie inżynierów poprzez delegowanie procesów reprodukcji błędów, tworzenia poprawek oraz sprawdzania, czy nowe zmiany nie psują istniejącej funkcjonalności kodu.
Projekt powstał w ramach inicjatywy Patch the Planet, realizowanej wspólnie z OpenAI. Narzędzia te bazują na analizie tysięcy sesji inżynierów oraz setek poprawek wprowadzonych do projektów open-source. Wtyczka regression-hunt skupia się na minimalizowaniu liczby fałszywych alarmów poprzez rygorystyczne podejście do dowodów, wymagając od agenta przedstawienia działającego dowodu koncepcji (PoC) dla każdego wykrytego problemu.
Autorzy podkreślają, że proces automatycznego patchowania niesie ryzyko wprowadzenia regresji – błędów, które niszczą wcześniej działające funkcje. W testach na ponad 130 poprawkach zidentyfikowano 21 potwierdzonych regresji, z których żadna nie naruszyła zabezpieczeń bezpieczeństwa. Narzędzia działają w oparciu o ścisłe schematy danych i uwzględniają modele zagrożeń (threat models) jako kontekst dla agentów AI.
Kluczowym elementem podejścia jest tzw. dowód trójramienny, który sprawdza, czy oryginalny kod zawodzi, a poprawiona wersja poprawnie działa w środowisku uruchomieniowym. Dzięki temu proces staje się powtarzalny i mniej podatny na błędy typowe dla standardowych modeli językowych.
