AI & Agents Engineer
J · Ewaluacja, jakość i production AI
14 pytań · 1 zadanie z kodem
14 questions
Zadania z kodem
Ścieżki nauki
- Agent i kontrola działania · 7 kroków
- Jakość AI i własne projekty · 5 kroków
Pytania
- J-P01Co to jest ewaluacja systemu AI, czyli eval?PodstawowaSTART 30
- J-P02Czym ewaluacja różni się od zwykłego testu kodu?Podstawowa
- J-P03Co oznacza LLM-as-a-Judge?Podstawowa
- J-P04Co oznaczają precision i recall?Podstawowa
- J01Jak przygotować zestaw zadań do oceny systemu AI?Zaawansowana
- J02Jak sprawdzić, czy oceniającemu modelowi można ufać?Zaawansowana
- J04Czy „zadanie wykonane” w odpowiedzi agenta oznacza sukces?Zaawansowana
- J08Jak dobierać miary jakości i próg decyzji?Średnia
- J03Jak odróżnić rzeczywistą regresję od przypadkowo gorszej odpowiedzi?Zaawansowana
- J05Jak testować bezpieczeństwo, skoro nie da się wymyślić każdego ataku?Zaawansowana
- J06Jak zostawić ślad działania bez kopiowania poufnych danych do każdego logu?Zaawansowana
- J07Kiedy uznać system AI za gotowy dla użytkowników?Zaawansowana
- J09Co to jest drift i jak zauważyć, że jakość spada?Zaawansowana
- J10Jak uniknąć testu, który agent potrafi obejść zamiast rozwiązać zadanie?Zaawansowana