Jak przygotować zestaw zadań do oceny systemu AI?

Zaczynam od rzeczywistych potrzeb użytkownika i opisuję, co znaczy poprawne wykonanie. Zbieram zwykłe przykłady, trudne przypadki i sytuacje, w których system powinien odmówić. Część warunków sprawdzam kodem, a ocenę znaczenia mogę oprzeć na ludziach lub sprawdzonym modelu oceniającym.

Przy klasyfikacji dokumentów potrzebuję poprawnych etykiet do porównania. Przy agencie wykonującym akcje sprawdzam także stan w systemie docelowym. Wyniki dzielę według rodzaju zadania, żeby wysoka średnia nie ukryła poważnego błędu w jednej grupie. Zapisuję wersję modelu i instrukcji. Kolejne próby pokazują, czy sukces jest regularny, czy przypadkowy.