Czy „zadanie wykonane” w odpowiedzi agenta oznacza sukces?
Najpierw odpowiedz na głos lub w myślach, potem porównaj.
Odpowiedź
Nie. Muszę sprawdzić rezultat w środowisku, a nie samą deklarację. Jeśli agent miał utworzyć wniosek, sprawdzam, czy właściwy wniosek istnieje i ma poprawne dane. Jeśli miał naprawić kod, sprawdzam zachowanie aplikacji i testy.
Zapis przebiegu pomaga zrozumieć drogę do wyniku, ale także może zawierać błędne stwierdzenia. Poprawna alternatywna droga nie musi być błędem tylko dlatego, że różni się od wzorca. Jednocześnie dobry końcowy wynik nie usprawiedliwia nieuprawnionych działań po drodze. Ocena powinna sprawdzać i to, co osiągnięto, i to, czy zachowano wymagane ograniczenia.
Dlaczego to ważne: Podstawowa różnica między oceną tekstu a oceną agenta.
Możliwe dopytania: Jak sprawdzić, że nie wykonano dodatkowej, niechcianej akcji?
Jak poszło? Bądź szczery — „Jeszcze nie” dodaje pytanie do powtórki.
Zacznij od
- J-P01 · Co to jest ewaluacja systemu AI, czyli eval? — Ewaluacja, jakość i production AI
- J-P02 · Czym ewaluacja różni się od zwykłego testu kodu? — Ewaluacja, jakość i production AI
Dalsza lektura
- Anthropic: Demystifying evals for AI agents(otwiera się w nowej karcie)09.01.2026. Outcome vs transcript, wielokrotne próby, ewaluacja całego agenta i harness.