Jak odróżnić rzeczywistą regresję od przypadkowo gorszej odpowiedzi?

Regresja to pogorszenie po zmianie, np. nowym promptcie lub modelu. Ponieważ wyniki bywają różne, porównuję wersje na tych samych zadaniach i wykonuję odpowiednią liczbę prób. Patrzę na rozrzut, rodzaje błędów i znaczenie zmiany, a nie tylko jeden wynik.

Jeśli nowa wersja minimalnie gorzej formułuje jedno zdanie, to słaby dowód. Jeśli ujawniła cudzy dokument, nie czekam, aż średnia stanie się statystycznie wyraźnie gorsza. To osobny poważny problem. Kryteria i dopuszczalne różnice ustalam wcześniej. Nie poprawiam w nieskończoność promptu na końcowym zestawie testowym, bo przestanie on sprawdzać zachowanie na nowych przypadkach.