Jak łączyć testy kodu i ocenę odpowiedzi modelu?

Kod sprawdzam zwykłymi testami: czy parser odrzuca złe dane, czy limit działa i czy ponowienie nie tworzy drugiego zapisu. Jakość wypowiedzi lub klasyfikacji modelu oceniam na przygotowanych przykładach z ustalonym oczekiwaniem. To są różne kontrole.

Jeśli sztuczna odpowiedź modelu w teście zawsze jest idealna, sprawdzę obsługę takiej odpowiedzi, ale nie rzeczywistą jakość modelu. Potrzebuję też przypadków odmowy, błędu i niepełnego wyniku. Po znalezieniu prawdziwego błędu warto dodać przykład, który zapobiegnie jego powrotowi. Nie trzeba uruchamiać kosztownego modelu w każdym małym teście kodu.