Co oznacza LLM-as-a-Judge?
Uwaga do przejrzenia: Odpowiedź odwołuje się do CV lub oferty pracy autorki materiału — dostosuj ją do własnego doświadczenia.
Najpierw odpowiedz na głos lub w myślach, potem porównaj.
Odpowiedź
To wykorzystanie modelu do oceniania wyniku innego wywołania, np. czy podsumowanie obejmuje najważniejsze fakty. Model dostaje kryteria oceny i materiał, z którym ma porównać odpowiedź. Może to przyspieszyć ocenę dużej liczby przykładów.
Taki sędzia też może się mylić. Potrafi bardziej lubić długie odpowiedzi albo uznać ładne uzasadnienie za dowód poprawności. Dlatego porównuję jego oceny z ocenami ludzi i stosuję kod do warunków jednoznacznych, np. kwoty lub uprawnień. Ocena „9/10” nie oznacza automatycznie 90% prawdopodobieństwa prawdy. Najpierw trzeba ustalić, co ta skala rzeczywiście mierzy.
Dlaczego to ważne: Pojęcie jest w Twoim CV; warto umieć powiedzieć je zwykłym językiem.
Możliwe dopytania: Jak sprawdzisz, czy oceniający model jest wiarygodny?
Jak poszło? Bądź szczery — „Jeszcze nie” dodaje pytanie do powtórki.
Dalsza lektura
- Claude Platform: Define success criteria and build evaluations(otwiera się w nowej karcie)Docs; dostęp 22.10.2026. Kryteria sukcesu, reprezentatywne dane i rodzaje graderów.