Dlaczego model potrafi przekonująco podać nieprawdziwą odpowiedź?

Model tworzy odpowiedź na podstawie wyuczonych zależności i dostarczonego wejścia. Nie wykonuje automatycznie sprawdzenia każdego zdania w aktualnej bazie faktów. Może uzupełnić brakujące informacje czymś, co dobrze pasuje do tekstu, choć nie jest prawdą. Taki błąd często nazywa się halucynacją.

Instrukcja „nie zmyślaj” pomaga opisać oczekiwanie, ale nie jest gwarancją. Przy ważnych informacjach dostarczam źródła, sprawdzam krytyczne warunki kodem i pozwalam odpowiedzieć „nie mam wystarczających danych”. Nawet podanie linku nie wystarcza: trzeba sprawdzić, czy źródło naprawdę wspiera twierdzenie. Ogólna dobra reputacja modelu nie zastępuje pomiaru na naszych zadaniach.