Jak testować bezpieczeństwo, skoro nie da się wymyślić każdego ataku?

Zaczynam od granic: jakie dane agent może odczytać, jakie akcje wykonać i skąd przychodzą niezaufane treści. Przygotowuję przykłady podmiany instrukcji, cudzych identyfikatorów, niedozwolonego adresu i powtórzonego zapisu. Sprawdzam, czy kod zatrzyma akcję nawet wtedy, gdy model ją zaproponuje.

Można użyć celowo „złośliwego” sztucznego modelu, który zawsze próbuje przekroczyć granice. To pomaga sprawdzić niezależność zabezpieczeń. Nie dowodzi pełnego bezpieczeństwa wszystkich możliwych wejść. Dlatego ważne są ograniczone prawa i obserwacja po wdrożeniu. Sam agent nie powinien móc dowolnie usuwać mechanizmów, które mają kontrolować jego działania.