Benchmark 1Password dotyczący łatania podatności przez AI jest mylący
Eksperci z Trail of Bits punktują raport 1Password, wykazując, że przedstawione w nim niskie skuteczności AI w naprawianiu błędów wynikają z błędnej metodologii.
Zespół Trail of Bits opublikował analizę raportu firmy 1Password, który twierdził, że modele AI generują poprawne poprawki tylko w 26% przypadków. Eksperci wykazali, że te dane są manipulacją wynikającą z błędnych założeń badawczych. W badaniu 1Password celowo instruowano agentów AI, aby stosowali błędne rozwiązania, a w ponad jednej trzeciej prób zakazano testowania i kompilacji kodu.
