Jak uniknąć testu, który agent potrafi obejść zamiast rozwiązać zadanie?
Najpierw odpowiedz na głos lub w myślach, potem porównaj.
Odpowiedź
Sprawdzam wymagany skutek, a nie łatwy do podrobienia komunikat. Plik z napisem „test przeszedł” nie jest wynikiem uruchomienia testu. Usunięcie trudnej asercji nie jest naprawą aplikacji. Agent nie powinien swobodnie zmieniać końcowych kryteriów, według których go oceniamy.
Jednocześnie test nie może karać poprawnego rozwiązania tylko dlatego, że ma inną kolejność kroków. Dobre sprawdzenie kontroluje kontrakt i stan końcowy oraz zakazane skutki. Przykłady do poprawiania instrukcji oddzielam od tych do końcowej oceny. Gdy wyniki nagle robią się idealne, warto upewnić się, że test nadal mierzy to, co powinien.
Dlaczego to ważne: Sam system oceniania także może zawierać błędy.
Możliwe dopytania: Jak odróżnić sensowną zmianę testu od jego osłabienia?
Jak poszło? Bądź szczery — „Jeszcze nie” dodaje pytanie do powtórki.
Zacznij od
- J-P01 · Co to jest ewaluacja systemu AI, czyli eval? — Ewaluacja, jakość i production AI
- J-P02 · Czym ewaluacja różni się od zwykłego testu kodu? — Ewaluacja, jakość i production AI
Dalsza lektura
- Tristan Hume / Anthropic: Designing AI-resistant technical evaluations(otwiera się w nowej karcie)21.01.2026. Pierwotny opis zmian take-home w performance engineering, nie pytania RAS.