Czym ewaluacja różni się od zwykłego testu kodu?

Zwykły test może dokładnie sprawdzić, czy funkcja dodała właściwą liczbę albo odrzuciła niepoprawne dane. Przy odpowiedzi modelu wiele różnych sformułowań może być poprawnych. Dlatego oprócz testów kodu potrzebujemy oceny znaczenia i skutków działania.

Na przykład test sprawdzi, że odpowiedź ma pola amount i currency. Ewaluacja sprawdzi, czy kwotę odczytano z właściwej faktury. Te metody się uzupełniają. Nie warto zastępować całej walidacji drugim modelem ani oceniać jakości tylko przez identyczność tekstu. Jeśli wynik modelu bywa różny, pomocne są kolejne próby na tych samych zadaniach.