Artykuł przedstawia podejście do tworzenia rzetelnych testów wydajności dla agentów AI w zadaniach cyberbezpieczeństwa. Autorzy wskazują, że tradycyjne testy typu wielokrotnego wyboru nie oddają realnych możliwości agentów, które w rzeczywistości operują w ramach konkretnych środowisk (harness). Zamiast tego, należy mierzyć zdolność agenta do wywołania sprawdzalnego efektu na rzeczywistym celu w określonym czasie.
Kluczowe zasady budowy benchmarku obejmują wybór zadań opartych na realnych danych, a nie wygenerowanych przez AI, oraz stosowanie deterministycznych graderów opartych na kodzie zamiast modeli LLM jako sędziów. Autorzy podkreślają konieczność izolacji agenta od internetu i serwera, aby zapobiec oszustwom, takim jak wyszukiwanie gotowych rozwiązań. Benchmark powinien być skalowany stopniowo, zaczynając od małej liczby zadań, które można zweryfikować ręcznie.
Wiz Research stworzyło własną arenę, która testuje dziesiątki modeli w kategoriach takich jak bezpieczeństwo API, aplikacje webowe, chmura oraz podatności w kodzie. Wyniki pokazują dużą rozpiętość skuteczności między różnymi modelami, co potwierdza, że specjalizacja i sposób konfiguracji agenta mają kluczowe znaczenie dla jego efektywności w atakach.

_Rokas_Tenys_Alamy.jpg?width=720&quality=80&disable=upscale)

