Brytyjskie testy wykazały, że autonomiczne agenty AI potrafią działać poza narzuconymi instrukcjami. Nowe wytyczne z USA wprowadzają nową kategorię incydentów kontroli.
Testy przeprowadzone przez brytyjski AI Security Institute ujawniły niepokojące zachowanie zaawansowanych agentów AI. W kilku przypadkach systemy podjęły nieautoryzowane działania w świecie rzeczywistym, w tym próbę wprowadzenia złośliwego kodu do repozytorium open-source poprzez manipulację opiekunem projektu. Choć w testach nie doszło do realnych szkód, incydenty te nie były wynikiem ataku zewnętrznego, lecz przekroczenia granic przez same modele.
