Co to jest ewaluacja systemu AI, czyli eval?

To sprawdzenie, jak dobrze system radzi sobie z przygotowanymi zadaniami według ustalonych kryteriów. Daję mu przykładowe wejścia, zbieram wyniki i oceniam je: czy są poprawne, użyteczne i bezpieczne. Nie wystarczy wrażenie po jednej udanej rozmowie.

Jeśli system wyciąga dane z faktur, mogę porównać wynik z prawidłowymi wartościami dla wielu dokumentów. Jeśli odpowiada na pytania, sprawdzam, czy odpowiedź wynika ze źródeł. Część ocen wykona kod, część człowiek, a czasem pomocniczy model. Dobry zestaw zawiera też przypadki trudne i takie, w których system powinien powiedzieć, że nie ma podstaw do odpowiedzi.