Jak sprawdzić, czy oceniającemu modelowi można ufać?
Uwaga do przejrzenia: Odpowiedź odwołuje się do CV lub oferty pracy autorki materiału — dostosuj ją do własnego doświadczenia.
Najpierw odpowiedz na głos lub w myślach, potem porównaj.
Odpowiedź
Daję mu jasne kryteria i porównuję oceny z ocenami ludzi na przykładach podobnych do docelowych zadań. Patrzę, gdzie się zgadzają i jakie pomyłki się powtarzają. Nie wystarczy, że model brzmi pewnie albo wystawia podobną średnią.
Może preferować dłuższą odpowiedź, określony styl lub pierwszą z dwóch propozycji. Przy porównywaniu można więc zamieniać kolejność i ukrywać autora. Warunki jednoznaczne, takie jak maksymalna kwota czy dostęp, sprawdzam kodem. Jeśli jedna odpowiedź narusza bezpieczeństwo, ładny styl nie powinien podnosić jej do „dobrego” wyniku. Zmiana oceniającego modelu także wymaga ponownego sprawdzenia jego zachowania.
Dlaczego to ważne: Uczy ograniczeń LLM-as-a-Judge z CV.
Możliwe dopytania: Dlaczego średnia ważona może ukryć błąd, który powinien blokować całość?
Jak poszło? Bądź szczery — „Jeszcze nie” dodaje pytanie do powtórki.
Zacznij od
- J-P01 · Co to jest ewaluacja systemu AI, czyli eval? — Ewaluacja, jakość i production AI
- J-P02 · Czym ewaluacja różni się od zwykłego testu kodu? — Ewaluacja, jakość i production AI
Dalsza lektura
- Claude Platform: Define success criteria and build evaluations(otwiera się w nowej karcie)Docs; dostęp 22.10.2026. Kryteria sukcesu, reprezentatywne dane i rodzaje graderów.