Jak dobierać miary jakości i próg decyzji?

Najpierw ustalam, jaki błąd bardziej boli. Przy szukaniu ofert pominięcie dobrego wyniku może być ważniejsze niż pokazanie kilku dodatkowych. Przy automatycznym zatwierdzaniu dokumentu finansowego fałszywa akceptacja może być znacznie droższa. Dlatego nie wybieram miary wyłącznie po jej popularności.

Precision i recall opisują różne rodzaje trafności. Można też utworzyć strefę niepewności, którą sprawdza człowiek. Kalibracja oznacza sprawdzenie, czy deklarowana pewność zgadza się z rzeczywistą częstością poprawnych wyników. Wynik 0,9 lub suma wag nie stają się automatycznie 90% pewnością. Próg dobieram na przykładach i sprawdzam, jak działa dla różnych grup danych.