Anthropic opublikowało informacje na temat architektury bezpieczeństwa Claude Duet, nowego agenta AI zdolnego do samodzielnego wykonywania zadań w chmurze. Aby zapobiec sytuacjom, w których model działa wbrew woli użytkownika, wprowadzono system zatwierdzania kluczowych operacji, takich jak płatności czy usuwanie danych. Proces ten odbywa się poza samym modelem, co ma chronić przed manipulacją przez złośliwe instrukcje ukryte na stronach internetowych.
Anthropic szczegółowo opisuje zabezpieczenia Claude Duet przed niekontrolowanym działaniem
Anthropic przedstawiło mechanizmy ochrony Claude Duet – proaktywnego agenta AI. Zabezpieczenia obejmują wymóg zatwierdzania akcji, ochronę poświadczeń oraz mechanizmy zapobiegające atakom typu prompt injection.
