Co oznacza inference i z czego wynika czas odpowiedzi modelu?

Inference, czyli wnioskowanie, to używanie już wytrenowanego modelu do uzyskania wyniku. To inny etap niż trening, podczas którego model uczy się na danych. Kiedy aplikacja wywołuje API modelu, zwykle korzysta właśnie z wnioskowania.

Na czas wyniku wpływa nie tylko sieć. Znaczenie mają długość wejścia, długość odpowiedzi, obciążenie usługi i dodatkowe kroki, np. wyszukiwanie dokumentów lub uruchamianie narzędzi. Pierwszy fragment może pojawić się szybko, a pełne zadanie skończyć dużo później. Dlatego osobno mierzę czas do pierwszego tekstu i czas do gotowego, sprawdzonego wyniku.