Startup PreTxt ogłosił wyjście z fazy stealth, pozyskując 5 milionów dolarów na rozwój technologii nadzoru nad agentami AI. Firma skupia się na problemie tzw. rogue AI, czyli agentów, którzy ze względu na niejednoznaczność języka mogą interpretować instrukcje w sposób szkodliwy lub wykraczający poza ich uprawnienia.
Zamiast drastycznego ograniczania możliwości agentów, co mogłoby obniżyć ich wartość biznesową, PreTxt proponuje rozwiązanie typu runtime supervision. Technologia ta monitoruje interakcje agenta z systemami i ludźmi w czasie rzeczywistym, weryfikując, czy zachowanie jest zgodne z ustalonymi standardami firmy.
Kluczową innowacją jest mechanizm „sterowania” (steering) zamiast prostego blokowania. Jeśli agent zacznie działać poza zakresem, np. udzielając porad medycznych w systemie rezerwacji wizyt, narzędzie nie wyłącza go całkowicie, lecz dyskretnie instruuje, jak wrócić na właściwe tory, pozwalając kontynuować bezpieczne zadania.
Proces wdrażania obejmuje analizę instrukcji agenta, jego uprawnień oraz narzędzi, do których ma dostęp. Na tej podstawie klient definiuje granice dopuszczalnego zachowania, które następnie staje się kontekstem dla modelu nadzorczego PreTxt.

