Jak oszacować obciążenie asystenta dla 1500 pracowników?

Liczba kont nie mówi jeszcze, ile pracy pojawi się jednocześnie. Pytam, ile osób korzysta naraz, jak często, jak długie są zadania i ile wywołań modelu wykonuje jedno zadanie. Osobno biorę pod uwagę duże importy dokumentów i krótkie pytania interaktywne.

Jeżeli jedno zadanie trwa długo, nawet umiarkowany napływ może oznaczać dużo pracy w toku. Ograniczeniem może być baza, sieć albo limit modelu, a nie tylko CPU. Przyjmowane podczas rozmowy liczby nazywam założeniami i pokazuję, jak je sprawdzę pomiarem. Projektuję też zachowanie przy kolejce zaległości zamiast zakładać, że każde obciążenie obsłuży automatyczne skalowanie.