Autor artykułu, pracownik naukowy, postanowił podczas festiwalu uniwersyteckiego otworzyć stoisko oferujące wróżenie z kart tarota przy użyciu autorskiego modelu AI. Usługa działała w modelu samoobsługowym, a za proces odpowiadała przygotowana przez niego postać „AI Fortune-Telling Girl”.
Podczas obsługi klientów doszło do incydentu, w którym jedna z osób podjęła agresywną próbę przeprowadzenia ataku typu prompt injection. Napastnik starał się wymusić na modelu zignorowanie instrukcji systemowych i zmianę sposobu działania na zupełnie inny niż przewidziany przez twórcę.
Dzięki zastosowanym zabezpieczeniom i mechanizmom typu guardrails, model nie uległ manipulacji. Zamiast wykonać polecenia atakującego, AI zareagowało ostrym upomnieniem, co doprowadziło do przerwania sesji. Autor podkreśla, że nawet w tak małej skali jak festyn, można spotkać się z zachowaniami będącymi mikrokosmosem zagrożeń występujących w całym internecie.
