Co faktycznie poprawia przesyłanie odpowiedzi modelu na bieżąco?
Najpierw odpowiedz na głos lub w myślach, potem porównaj.
Odpowiedź
Użytkownik może zacząć czytać, zanim powstanie cała odpowiedź. To poprawia odczuwany czas oczekiwania, ale nie musi przyspieszać zakończenia generowania ani pracy narzędzi. Wyszukiwanie źródeł może nadal odbywać się przed pierwszym fragmentem.
Nie każda operacja powinna działać na częściowym wyniku. Przy tworzeniu wniosku potrzebuję całych, sprawdzonych danych, zanim wykonam zapis. Czasem lepiej pokazać komunikat o postępie niż niezweryfikowane pół odpowiedzi. Muszę też obsłużyć błąd po rozpoczęciu transmisji — klient może już mieć tekst, mimo że całe zadanie się nie udało. Nie wolno automatycznie uznawać takiego wyniku za ukończony.
Dlaczego to ważne: Odróżnia szybkość prezentacji od gotowości wyniku biznesowego.
Możliwe dopytania: Co pokażesz użytkownikowi po przerwaniu generowania w połowie?
Jak poszło? Bądź szczery — „Jeszcze nie” dodaje pytanie do powtórki.
Zacznij od
- F-P01 · Co to jest LLM? — Fundamenty LLM i AI engineering
- F-P03 · Co to jest token i okno kontekstu? — Fundamenty LLM i AI engineering
Dalsza lektura
- Node.js: Backpressuring in Streams(otwiera się w nowej karcie)Docs; dostęp 22.10.2026. Przepływ, drain i ograniczanie pamięci.